AI在线 AI在线

麻省理工学院教授呼吁 AI 公司量化产品失控风险:像首次核试验之前那样

麻省理工学院AI安全研究者马克斯·泰格马克指出,他进行了类似当年美国物理学家阿瑟·康普顿在“三位一体”核试前所做的概率计算,结果显示:高度发达的AI有九成可能带来生存威胁。

据英国《卫报》10 日报道,麻省理工学院 AI 安全研究者马克斯・泰格马克指出,他进行了类似当年美国物理学家阿瑟・康普顿在“三位一体”核试前所做的概率计算,结果显示:高度发达的 AI 有九成可能带来生存威胁

麻省理工学院教授呼吁 AI 公司量化产品失控风险:像首次核试验之前那样

AI在线注:1945 年,美国在获知原子弹引发大气层燃烧的可能性几乎为零后,推进了历史性的“三位一体”核试验。

泰格马克与三名麻省理工学生合作发表论文,建议借鉴“康普顿常数”的概念 —— 即强 AI 失控的概率。在 1959 年的一次采访中,康普顿提到,他是在确认失控核聚变的几率“不足三百万分之一”后才批准了核试验。

泰格马克强调,AI 企业必须认真计算“人工超级智能”(ASI)是否会脱离人类掌控,而非凭感觉行事。“打造超级智能的公司必须计算康普顿常数,即我们可能失控的几率,光说‘我们有信心’是不够的,必须拿出具体数据。”

他指出,如果多家公司联合计算康普顿常数并形成共识,将有助于推动全球范围内 AI 安全机制的建立。

泰格马克是麻省理工学院的物理学教授及 AI 研究者,其参与创办了致力于推动 AI 安全发展的非营利组织“未来生命研究所”。2023 年,该机构发布公开信,呼吁暂停开发更强大的 AI 系统。这封信获得超过 3.3 万人签名,其中包括早期支持者埃隆・马斯克和苹果联合创始人史蒂夫・沃兹尼亚克。

信中警告称,各大实验室正陷入“失控竞赛”,开发越来越强大的 AI 系统,而这些系统“人类无法理解、预测或可靠控制”。

相关资讯

阿里CEO吴泳铭:AI 终局不止 AGI,通往“超级人工智能”的路线图曝光

在杭州举行的云栖大会上,阿里巴巴集团CEO吴泳铭发表主旨演讲,首次系统阐述了阿里巴巴对人工智能未来发展的战略愿景。 他提出,尽管通用人工智能(AGI)的实现已是必然,但这并非终点,人类的最终目标是发展出能自我迭代、全面超越人类的超级人工智能(ASI)。 吴泳铭将通往 ASI 的道路分为三个关键阶段:第一阶段:“智能涌现”:AI 通过学习海量知识,具备了泛化智能。
9/24/2025 2:31:19 PM
AI在线

调查:超72% 的企业选择 AI 工具时最看重易用性

根据最近的一项 CIO 报告,企业在人工智能(AI)领域的投资高达2.5亿美元,尽管在证明投资回报率(ROI)方面面临挑战。 商业领袖们正努力提高生产力,但新技术的集成往往需要重构现有应用、更新流程并激励员工学习,以适应现代商业环境。 QuickBlox 首席执行官 Nate MacLeitch 对136位高管进行了调查,以揭示 AI 采用的现实情况,探讨领导者的首要任务、主要担忧以及他们在2025年寻找可信工具的信息来源。
3/18/2025 10:02:00 AM
AI在线

​Instacart CEO即将加盟 OpenAI,领导应用部门

Instacart 的首席执行官 Fidji Simo 将于8月18日正式加入 OpenAI,担任应用部门的负责人。 Simo 将领导 OpenAI 公司至少三分之一的业务,并直接向 OpenAI 的首席执行官 Sam Altman 汇报。 她的新职位是 “应用首席执行官”,主要任务是扩展和推动人工智能技术的应用场景。
7/22/2025 4:11:19 PM
AI在线
  • 1