AI在线 7 月 26 日消息，2025 世界 AI 大会今日在上海开幕，图灵奖得主约书亚・本吉奥发表演讲称，前沿模型近期在规划和推理方面取得了显著进展。如果这样的趋势持续，AI 的规划推理能力有望在十年内达到人类的水平。
AI在线从演讲中获悉，如果缺乏坚实的防护措施，强大的 AI 系统可能会放大虚假信息，网络攻击和生物威胁等现有风险。更令人担忧的是，人类恐将失去对自我保护型智能体的控制，这些智能体的认知能力或将“很快超越人类”。
本吉奥认为，科学界仍有相当比例认为这种情况可能发生，就必须保持最高警惕。目前尚无科学验证方法确保 AI 可信且始终遵从人类意图。更糟糕的是，欺骗和自我保护行为在最强模型中似乎更加明显。“随着 AI 的智能水平不断提升，这才是真正令人担忧的地方，因为智能意味着权利。”
本吉奥表示，我们急需在技术和政策层面采取措施，以应对这些风险和其他潜在的问题。理性的政策应鼓励开发不具备危险能力的 AI 开源项目；同时，禁止其他情况下的开发，并对闭源模型实施充分的安全保障措施，包括网络安全和物理安全，确保其不易被犯罪分子、恐怖分子或流氓国家所利用。
