随着智能体不断普及,并从试点阶段迈向生产阶段,我们需要将关注点从智能体构建平台转向AI编排平台和AI治理、风险与合规管理平台。随着智能体自主性的提升,企业内诸如IT和人力资源等部门应如何管理它们,以及应如何对待它们,这些问题也接踵而至。
智能体正日益深入地融入企业流程,关于它们可能如何开始侵蚀长期存在的SaaS模式的争论也日益增多。企业正从独立的智能体试点,转向现实世界中的多智能体部署,在企业流程中实施数百甚至数千个智能体。
根据毕马威最新的AI季度动态调查,大多数企业已超越智能体实验阶段,其中33%的企业至少部署了一些智能体,这一比例在连续两个季度保持在11%后增长了两倍,所有这些都引发了关于我们如何将它们视为软件进行监管,同时也将它们视为像人类员工一样自主工作以实现既定目标的思考。
例如,从人力资源的角度来看,将智能体视为类人员工是否合适,以及最终是否应由人力资源部门而非IT部门来管理、雇佣和解雇它们?智能体将如何处理角色和职责的重叠,如果根据绩效和成果进行衡量和支付报酬,它们将如何获得认可?供应商是否会通过提示工程使它们获得超出应得的认可?如果智能体失控,比如最近发生的智能体删除公司整个数据库的例子,会产生哪些意想不到的后果?
从IT的角度来看,编排将如何从简单的步骤协调发展到复杂的步骤协调,并最终实现自主编排,形成自己的外部合作伙伴关系和联盟?许多供应商,如微软,已经在支持多种AI编排模式方面取得了巨大进展,如顺序、并发、群聊、交接和磁性模式。我们还有年度AI信任指数,现在也有针对特定AI公司的评级,但我们是否也需要为每个智能体设定信任或风险评分?如何判断一个智能体有资格执行某项任务,以及何时需要、何时不需要人工介入?
对于希望解决这些问题以及许多其他问题,以不仅跟上步伐,而且领先于如何管理智能体的CIO和首席AI官(CAIO)来说,以下是四条建议。
探索AI编排和AI治理平台的交汇点
目前管理智能体的解决方案既存在于AI原生平台,也存在于传统平台,随着企业寻求在技术、伦理、法律和运营上应对AI管理挑战,AI编排和AI治理平台正日益融合。
例如,ServiceNow的AI控制塔(AI Control Tower)帮助企业端到端地管理任何AI,并为首席AI官、CIO、CTO以及风险和安全领导者提供基于角色的访问权限,这是将企业内所有相关利益者聚集在一起的有用一步,并为每个角色提供独特的报告和仪表板,以深入了解智能体行为。
在编排和治理领域,由于这一领域发展迅速,CIO和首席AI官应密切关注并持续探索这些平台、它们的融合方式以及哪些对他们的企业有意义。
扩大AI卓越中心(COE)的范围
如果你已经有一个专注于传统AI、机器学习和GenAI的AI卓越中心,那么如果尚未涵盖自主式AI,请扩大其范围以纳入其中。
此外,如果你有一个内部全球业务服务(GBS)企业,这可能是考虑设立卓越中心的地方,因为全球业务服务通常同时支持人力资源和IT,以及财务、供应链等其他职能。
重点应放在人类和AI的编排上。多智能体咨询公司magentIQ的联合首席执行官兼联合创始人伊恩·巴金(Ian Barkin)表示,解决之道不是更多的AI,而是编排。他说:“AI本身缺乏在企业规模上安全运行所需的判断力、上下文理解和治理意识,人类监督是必需的,因此未来的工作不会仅仅是AI,而是AI和人类的混合体,其中AI和人类动态协作,具有明确的问责和升级机制。”
将人力资源纳入智能体劳动力管理的所有方面
毕马威的动态调查显示,近九成的领导者认为智能体将要求企业重新定义绩效指标,并促使他们对当前可能被取代岗位上的员工进行技能提升。
项目管理协会(PMI)的AI参与和社区主任凯瑟琳·沃尔奇(Kathleen Walch)表示:“如果你像管理软件开发一样管理智能体,那么你已经落后了。有远见的领导者将智能体视为动态数字人才,这意味着它们需要入职培训、绩效评估以及道德和可信的界限。人力资源必须参与定义数字角色和职责,卓越中心需要指导智能体的部署、使用和实验,还需要建立AI治理机制,以授权团队进行实验、向他人学习,并负责任和战略性地扩展智能体的部署。”
智能体将要求重新定义员工的绩效指标,但随着人类和智能体更加紧密地协作,这也将要求重新定义智能体的绩效,最终,智能体可能像人类员工一样,为企业工作,而IT部门则负责IT相关任务,它们还将从平台和基础设施的角度由IT部门管理,从人员和流程的角度由人力资源部门管理。
如果你还没有这样做,请让人力资源部门参与你的智能体编排和治理的所有方面,包括你的战略、卓越中心和委员会。
让治理成为一场向上的竞赛,而非向下的竞赛
缺乏AI治理可能带来的问题显而易见。巴金表示:“如果放任不管,智能体将给IT、信息安全和数据安全团队带来混乱,使公司面临声誉、财务和法律风险。每一个未经授权的智能体部署都可能成为潜在的政策违规行为,而每一次不受监管的交互都可能带来AI行为不可预测的风险,与企业伦理或监管期望不符,这不是一个遥远的威胁,而是一个已经在那些在没有AI治理策略的情况下推动AI优先的企业中显现的运营雷区。”
这也不应仅仅是关于合规的问题。企业应超越遵守法规,如欧盟AI法案,并寻求帮助推动行业发展,而不仅仅是打个勾。巴金补充道:“成功将不再取决于你部署了多少智能体,而是它们如何安全有效地交付成果,并在设计时就融入合规和控制。”
AI治理和AI安全的责任,现在和未来都落在AI供应商、企业和最终用户身上。毕马威美国技术咨询主管马库斯·墨菲(Marcus Murph)表示,智能体驱动型企业的基础正在奠定,如果领导者觉得自己落后了,那他们确实落后了。他说:“真正的风险不是行动过快,而是将实验误认为是转型。赢家不会是那些拥有最多试点项目的企业,而是那些现在就在可扩展数据架构、智能体治理模型和劳动力准备方面进行投资的企业。因为一旦智能体无处不在,再想 retrofit(事后弥补)信任、结构或战略就为时已晚了。”
现在,在AI编排和治理上投入更多时间,并思考智能体将如何影响你的技术平台、卓越中心和治理方法,将使你的企业能够更迅速地扩展,并在未来几个月和几年内提升你的AI成熟度。