近日，AI 安全初创公司 Irregular 宣布获得8000万美元的融资，这轮融资由著名投资公司 Sequoia Capital 和 Redpoint Ventures 领投，同时还吸引了 Wiz 的首席执行官 Assaf Rappaport 参与。根据与此交易相关的消息来源，Irregular 目前的估值已达到4.5亿美元。
图源备注：图片由AI生成，图片授权服务商Midjourney
Irregular 的联合创始人 Dan Lahav 表示:“我们认为，未来大量的经济活动将来自人机交互和 AI 与 AI 之间的互动，而这将会在多个环节打破现有的安全体系。” 该公司原名为 Pattern Labs，已经在 AI 评估领域占据了重要地位，公司的工作成果被广泛引用于 Claude3.7Sonnet 及 OpenAI 的 o3和 o4-mini 模型的安全评估中。此外，Irregular 开发的模型漏洞检测能力评分框架（SOLVE）在业内也得到了广泛使用。
尽管 Irregular 在现有模型的风险评估方面取得了显著进展，但其此次融资的目标更为雄心勃勃:在模型进入实际应用之前，识别潜在的新风险和行为。为此，Irregular 构建了一个复杂的模拟环境系统，能够在模型发布前进行深入测试。
联合创始人 Omer Nevo 提到:“我们有复杂的网络模拟，在这些模拟中，AI 扮演攻击者和防御者的角色。因此，当新的模型推出时，我们可以观察防御在何处有效，何处失效。”
随着 AI 行业对安全问题的关注加剧，前沿模型所带来的潜在风险愈发显现。今年夏天，OpenAI 便对其内部安全措施进行了全面的调整，以防止可能的企业间谍行为。同时，AI 模型在发现软件漏洞方面的能力也日益增强，这对攻击者和防御者都产生了深远影响。
对 Irregular 的创始人而言，这只是由大型语言模型不断增强的能力所带来的安全隐患中的第一个挑战。Lahav 表示:“如果前沿实验室的目标是创造越来越复杂和强大的模型，那么我们的目标就是确保这些模型的安全。然而，这是一项不断变化的任务，因此未来还有非常非常多的工作要做。”
划重点:
🌟 Irregular 成功融资8000万美元，估值达到4.5亿美元。
🔒 公司致力于评估 AI 模型的安全风险，特别是新模型的潜在风险。
⚙️ Irregular 通过复杂的网络模拟，测试 AI 模型的防御能力，以提高安全性。
