AI在线 AI在线

麻省理工学院教授呼吁 AI 公司量化产品失控风险:像首次核试验之前那样

麻省理工学院AI安全研究者马克斯·泰格马克指出,他进行了类似当年美国物理学家阿瑟·康普顿在“三位一体”核试前所做的概率计算,结果显示:高度发达的AI有九成可能带来生存威胁。

据英国《卫报》10 日报道,麻省理工学院 AI 安全研究者马克斯・泰格马克指出,他进行了类似当年美国物理学家阿瑟・康普顿在“三位一体”核试前所做的概率计算,结果显示:高度发达的 AI 有九成可能带来生存威胁

麻省理工学院教授呼吁 AI 公司量化产品失控风险:像首次核试验之前那样

AI在线注:1945 年,美国在获知原子弹引发大气层燃烧的可能性几乎为零后,推进了历史性的“三位一体”核试验。

泰格马克与三名麻省理工学生合作发表论文,建议借鉴“康普顿常数”的概念 —— 即强 AI 失控的概率。在 1959 年的一次采访中,康普顿提到,他是在确认失控核聚变的几率“不足三百万分之一”后才批准了核试验。

泰格马克强调,AI 企业必须认真计算“人工超级智能”(ASI)是否会脱离人类掌控,而非凭感觉行事。“打造超级智能的公司必须计算康普顿常数,即我们可能失控的几率,光说‘我们有信心’是不够的,必须拿出具体数据。”

他指出,如果多家公司联合计算康普顿常数并形成共识,将有助于推动全球范围内 AI 安全机制的建立。

泰格马克是麻省理工学院的物理学教授及 AI 研究者,其参与创办了致力于推动 AI 安全发展的非营利组织“未来生命研究所”。2023 年,该机构发布公开信,呼吁暂停开发更强大的 AI 系统。这封信获得超过 3.3 万人签名,其中包括早期支持者埃隆・马斯克和苹果联合创始人史蒂夫・沃兹尼亚克。

信中警告称,各大实验室正陷入“失控竞赛”,开发越来越强大的 AI 系统,而这些系统“人类无法理解、预测或可靠控制”。

相关资讯

调查:超72% 的企业选择 AI 工具时最看重易用性

根据最近的一项 CIO 报告,企业在人工智能(AI)领域的投资高达2.5亿美元,尽管在证明投资回报率(ROI)方面面临挑战。 商业领袖们正努力提高生产力,但新技术的集成往往需要重构现有应用、更新流程并激励员工学习,以适应现代商业环境。 QuickBlox 首席执行官 Nate MacLeitch 对136位高管进行了调查,以揭示 AI 采用的现实情况,探讨领导者的首要任务、主要担忧以及他们在2025年寻找可信工具的信息来源。
3/18/2025 10:02:00 AM
AI在线

思谋发布首个工业大模型开发底座 大模型开发成本直降40%

6月27日,华南工博会现场,思谋科技宣布行业首个工业大模型开发与应用底座SMoreLrMo正式发布。SMoreLrMo是面向工业场景的大模型开发与应用平台,覆盖了应用层面、算法框架、基础设施服务等开发全场景,涉及算力资源调度管理能力、数据自动标注管理能力、应用开发管理能力、算法服务管理能力等人工智能模型全生命周期。今年以来,大模型的火热点燃了新一轮人工智能发展浪潮,也正在引领新一轮工业革命,帮助企业重塑生产及经营各环节以实现提质降本增效。而SMoreLrMo平台的发布,将为大模型在工业领域的应用提供了基础,进一步降
6/27/2023 3:51:00 PM
新闻助手

集聚场景驱动力,激发AI生产力——WAIC 2024“人工智能+”应用场景持续广泛征集

今年的政府工作报告提出,大力推进现代化产业体系建设,加快发展新质生产力。同时要深化大数据、人工智能等研发应用,开展“人工智能 ”行动。近年来,上海市委、市政府不断创新政策举措,探索应用场景,深入推进城市转型、产业升级,为新一代人工智能发展开辟了广阔天地。世界人工智能大会(WAIC)作为行业标杆性盛会,每年都集聚了全球人工智能领域最具影响力的科学家、企业家、政界人士、高校组织、投资人及初创团队,已然成为全球人工智能领域学术与行业交流、展览展示、合作洽谈的重要平台和窗口。2024世界人工智能大会将于7月初在上海举办,大
5/20/2024 4:33:00 PM
新闻助手
  • 1