AI的潜在价值与企业最近才开始体验到的可衡量价值之间存在巨大差距。2022年，ChatGPT的推出引发了企业对AI认知的重大转变。试点项目纷纷启动，人们承诺会带来高回报，创新也迅猛发展。大语言模型、检索增强生成管道和多智能体系统正被嵌入到关键决策工作流程中，涵盖从合同分析到客户支持再到财务审批的各个领域。技术变革的步伐如此之快，以至于许多企业现在都在努力跟上节奏。
但有一个残酷的事实：在37个GenAI试点项目中，只有3个真正取得了成功。虽然数据质量已成为主要关注点，但专家们还担心其他问题，包括安全性、可观测性、评估和集成。这些因素对于GenAI的安全性和成功而言是不可或缺的。
1. 安全与数据隐私：超越防火墙
Anthropic对Claudius的试验令人大开眼界。该试验表明，生成式AI的安全性不在于边界防御，而在于控制模型和智能体能够看到和执行的操作。与传统模型不同，传统模型在边界处建立数字屏障即可保障系统安全，而GenAI系统可能遭受提示注入攻击、智能体操控或通过逆向工程创建的影子模型攻击。
像防火墙、身份验证和DDoS防护这样的边界防御至关重要，但它们只能控制谁可以访问系统或有多少数据可以流入或流出。然而，近期出现了多种确保模型能够看到或执行的操作的方法，包括在安全飞地内运行推理、动态个人身份信息清除、基于角色的数据过滤以及为智能体设置最小权限访问控制。根据我的实验，有两种策略尤为突出：采用基于策略的个人身份信息保护的机密计算和细粒度智能体权限设置。
机密计算+基于策略的个人身份信息保护
在金融科技、医疗科技、监管科技等领域，大语言模型经常处理敏感数据，如合同、患者记录和财务信息。在这些领域，即使你信任云服务，监管机构也可能不信任。机密计算可确保数据在使用过程中得到保护，即使面对云服务运营商也不例外。它保证了强大的合规性。
但这也有一个权衡。该技术仍处于早期阶段，可能产生高昂成本。尽管如此，它仍可用于受监管数据的特定用例。当与Presidio或Immuta等动态个人身份信息清除工具结合使用时，它能根据地理位置、用户角色或数据分类提供自适应保护，从而产生令人满意的结果。
细粒度智能体权限设置(大语言模型的零信任机制)
默认将智能体视为不受信任的实体，只授予它们所需的精确访问权限，不多给一分。全面访问权限是危险的，就像让实习生不受限制地控制你的ERP系统一样。当每个智能体-工具对都获得一个范围能力令牌，明确界定其允许执行的操作时，智能体能够更安全地工作。
例如，发票提取智能体可能解析PDF文件，但无权访问财务数据库。像开放策略代理或Cerbos这样的策略引擎可作为集中式访问管理器，大规模地执行这些权限。
一些团队尝试使用基于区块链的审计跟踪来实现防篡改日志记录，这在国防或供应链场景中很有用，但对于大多数企业来说，这通常是不必要的开销。
2. 可观测性：驯服黑箱
调试自主智能体的难度远高于调试聊天机器人。如果可观测性不足，你将面临“黑箱混乱”的风险。没有透明度，团队将很难理解、信任或改进系统。
GenAI的可观测性不仅仅意味着日志记录。你需要在不可预测的工作流程中追踪、调试、回放和验证智能体的决策。尽早实施这些措施，从被动救火转向主动保障可靠性。我推荐两种解决方案。
分布式追踪与智能体图谱
在多智能体系统中，调试和优化很棘手，因为任务经常以不可预测的方式分配。OpenTelemetry、LangSmith和Grafana等工具有助于可视化智能体如何做出决策、跟踪其任务流程并测量每一步的延迟。
这些工具能够创建清晰的交互图谱，并通过解释系统行为和加速根本原因分析来识别瓶颈。然而，详细的追踪会产生存储开销，并且如果敏感提示或输出未得到妥善保护，还会存在数据泄露风险。
回放与模拟环境
智能体系统中的许多生产问题是由异常输入或时机造成的“一次性”错误。回放环境允许团队重新运行提示链并模拟极端情况，这对于诊断故障和防止回归至关重要。这样的设置确保了稳健的部署，并在推送变更前支持更严格的测试。
然而，不要期望这个解决方案能完全复制现实场景。实际生产环境的复杂性和不可预测性完全是一个不同的挑战。将此解决方案作为实时监控的补充，而非替代。
3. 评估与模型迁移准备
传统的企业发布周期无法与快速演变的大语言模型环境相匹配。新模型出现的速度使大语言模型生态系统领先了几步。如果企业无法跟上步伐，就可能在创新上落后或产生高昂的技术债务。
在没有结构化方法的情况下切换到新模型或框架，可能会导致生产环境中的性能回归或意外行为。每次切换模型时都存在风险。大语言模型的行为与其他常规软件升级不同。新模型可能会给出不同的答案、违反合规规则或在你的业务所依赖的特定用例中失败。此外，供应商经常更改定价，API会被弃用，领导层也经常推动成本节约或提高准确性。
持续评估和安全模型迁移是两种可能的解决方案。
持续评估管道
将大语言模型的模型评估视为软件开发中的持续集成/持续部署管道。像测试代码一样持续测试大语言模型。使用包含领域问答、极端情况和红队提示的精选测试集，以确保模型与业务目标保持一致并发现潜在问题。
每周评估让团队能够在问题影响生产或用户之前发现回归。这种主动方法使模型能够抵御不断变化的数据和用户需求。
然而，频繁评估会带来显著成本，包括令牌使用、基础设施和人工维护测试集的努力。
通过每季度轮换测试集并纳入匿名化的真实用户数据来平衡成本和评估。这优化了流程，同时模拟了现实场景并保护了隐私。
双轨迁移策略
在生产环境中迁移到新模型需要精确和谨慎。部署双轨策略，让旧模型和新模型并行运行。然后，你可以实时比较它们的输出，并根据预定义的评估阈值进行最终切换。
让我用一个例子来解释这一点。金融服务公司对其要求非常具体，如隐私、可观测性等。我们为一家这样的公司同时运行了GPT-4和Mistral模型六周，然后才进行切换，以了解它们的优缺点。这确保了平稳过渡，因为我们监控了它们的输出，并且只有在新模型持续达到或超过性能基准时才进行切换。
快速说明一下：将大语言模型视为模块化基础设施组件，而非风险过高而不可触碰的单一系统。有了正确的评估和迁移策略，企业可以保持敏捷性、降低风险并持续提升其AI能力。
4. 安全业务集成：从概念验证到生产
大多数企业通过基本的API或聊天界面将GenAI集成到工作流程中。这对于原型开发来说可行，但缺乏企业级的安全保障。安全性、治理和问责方面的担忧很快阻碍了其采用。
真正的企业AI需要与强大的安全性、治理和问责机制深度集成。AI必须嵌入到能够执行组织政策、监控行为并确保可追溯性的系统中。这意味着将AI能力与业务规则、合规要求和运营标准相结合。
如果没有适当的集成，即使高性能的模型也会成为负担，导致数据泄露、未经授权的操作或偏见决策。
与企业系统进行政策感知的集成
将GenAI与核心企业平台(如SAP、Salesforce或ServiceNow)集成时，安全保障至关重要。这些系统处理敏感数据和关键操作，不受约束的AI访问会大幅增加风险。
实施政策执行点作为AI行动的合规层。例如，起草销售提案的AI需要管理层对超过5万美元的提案进行审批。没有这一安全保障，系统可能会自主批准有争议的交易。加拿大航空公司的案例就是一个很好的例子，该公司的机器人向客户提供了错误信息，法院判定该公司对此负责。
该系统可以通过基于角色的数据过滤进一步增强。该系统可以确保AI只能访问人类用户有权查看的数据。这将防止机密信息的意外泄露。
影响分析与风险仪表板
传统的安全日志不足以了解GenAI应用程序的实际影响。企业需要了解AI如何影响结果，比如它是否减少了升级率、标记了有问题的合同或提高了运营效率。为此，你需要影响分析仪表板来跟踪运营指标和业务KPI。
然而，存在AI可能针对错误指标进行优化的风险，比如为了缩短周转时间而批准边缘案例。这可能会损害质量或合规性。
现在，这个解决方案可能是最受推荐的。企业必须实施人工介入检查点，并定期进行审计，以确保AI决策与战略目标和道德标准保持一致。我想再提一个额外步骤：创建分层阈值。
对于起草内部邮件这样的低风险行动，让GenAI自主行动。但从那里开始，你必须格外小心。对于客户响应这样的中等风险行动，随机抽取样本进行人工审核。对于合同审批和财务变更这样的高风险行动，没有捷径可走。你必须强制要求签字批准。
妥协导致灾难
安全性、可观测性、评估和集成是阻碍企业AI采用的四个关键因素。企业处理的数据集庞大且敏感，任何妥协都可能是灾难性的。
• 控制模型和智能体能够看到和执行的操作至关重要。采用基于策略的个人身份信息保护的机密计算和大语言模型的零信任保障措施已成为两种有效措施。
• 可观测性可以消除“黑箱混乱”。分布式追踪与智能体图谱，以及回放和模拟环境，已被证明是一种高效的方法，但不要期望第二种方法能完美模拟现实场景。
• 评估和模型迁移有助于企业避免技术债务并简化创新。持续评估管道和双轨迁移策略可以使它们紧跟市场步伐，但企业也必须考虑成本，评估频率的增加可能会影响投资回报率。
• 95%的概念验证项目未能进入生产阶段。这是因为概念验证的安全保障无法应对现实世界的安全风险，政策感知的集成和带有风险仪表板的影响分析可以确保更平稳的过渡，分层阈值可以提高性能。
