AI在线 AI在线

英政府机构专家警告:世界“恐将没时间”为应对 AI 安全风险做好准备

AI在线 1 月 5 日消息,当地时间 1 月 4 日,据英国《卫报》报道,英国先进研究与发明署(Aria Agency)项目主管、AI 安全专家 David Dalrymple 警告称,前沿 AI 系统带来的安全风险发展速度之快,可能已经让世界来不及充分准备。 Dalrymple 在接受采访时指出,AI 能力的快速跃升值得高度关注。 人们应当关注在现实世界中完成各类事务、并且表现优于人类的系统。

AI在线 1 月 5 日消息,当地时间 1 月 4 日,据英国《卫报》报道,英国先进研究与发明署(Aria Agency)项目主管、AI 安全专家 David Dalrymple 警告称,前沿 AI 系统带来的安全风险发展速度之快,可能已经让世界来不及充分准备

Dalrymple 在接受采访时指出,AI 能力的快速跃升值得高度关注。人们应当关注在现实世界中完成各类事务、并且表现优于人类的系统。“为了维持对文明、社会和地球的控制,人类需要在若干关键领域保持主导地位,而在这些领域中,人类将被全面超越。”

英政府机构专家警告:世界“恐将没时间”为应对 AI 安全风险做好准备

Dalrymple 认为,政府部门与 AI 企业之间,对即将出现的技术突破仍存在明显认知落差。从安全角度看,防护措施很可能难以跑在技术前面。在 5 年左右的时间尺度内,大多数具有经济价值的工作,可能会被机器以更低成本和更高质量完成。

他同时强调,各国政府不能假定先进 AI 系统天然可靠。“在经济压力之下,用于验证可靠性的科学方法,很可能无法及时成熟。因此,现实可行的选择,是尽可能控制并缓解潜在风险。”

他将“技术进步跑在安全前面”的后果形容为安全与经济体系的潜在失稳,并呼吁加强对先进 AI 行为的理解与控制。技术进步也可能带来积极结果,但整体风险极高,而人类社会对这场转变仍显得警觉不足

AI在线从报道中获悉,英国 AI 安全研究所本月发布的评估显示,先进 AI 模型能力在各领域持续快速提升,部分性能指标约每 8 个月翻倍。领先模型在学徒级任务中的成功率已从去年的约 10% 升至 50%,并已能够独立完成耗时超过 1 小时的专业任务。

研究所还测试了模型的自我复制能力。由于自我复制可能导致系统失控,这被视为核心安全风险之一。测试中,两款前沿模型的成功率超过 60%,但研究所同时指出,在现实环境中出现极端失控情况的概率仍然较低。

Dalrymple 进一步判断,到 2026 年末,AI 可能具备自动完成整日研发工作的能力,并在数学和计算机科学等关键领域实现自我强化,从而推动新一轮能力加速。

相关资讯

​年薪55.5万美元起!OpenAI全网寻人:紧急招募新任“防灾”负责人

​年薪55.5万美元起!OpenAI全网寻人:紧急招募新任“防灾”负责人

近日,OpenAI官方发布招聘启事,高薪寻觅一名新的准备工作负责人(Head of Preparedness)。 据AIbase报道,该职位的起薪高达55.5万美元(约合人民币400万元),此外还包含优厚的股权奖励。 此次招人并非例行的人事更替,而是源于OpenAI对“前沿风险”的日益担忧。
12/29/2025 2:41:13 PM AI在线
​Anthropic悄然删除拜登时代 AI 安全承诺,政策风向显著改变

​Anthropic悄然删除拜登时代 AI 安全承诺,政策风向显著改变

近日,AI 公司Anthropic在其网站上悄然删除了与拜登政府时期有关的人工智能(AI)安全承诺。 该承诺最初由一个名为 “Midas Project” 的 AI 监督机构发现,上周从Anthropic的透明性中心删除,透明性中心列出了公司关于负责任的 AI 开发的 “自愿承诺”。 虽然这些承诺并不具有法律约束力,但它们承诺与政府分享有关 AI 风险(包括偏见)的信息和研究。
3/8/2025 10:59:00 AM AI在线
OpenAI、Anthropic 研究人员齐声谴责 xAI:安全文化“完全不负责任”

OpenAI、Anthropic 研究人员齐声谴责 xAI:安全文化“完全不负责任”

AI在线 7 月 17 日消息,据外媒 TechCrunch 今日报道,OpenAI、Anthropic 等机构的 AI 安全研究人员近日公开发声,批评马斯克 xAI 的安全文化“鲁莽”“完全不负责任”。 目前在 OpenAI 担任 AI 安全研究员的哈佛大学计算机科学教授 Boaz Barak 在 X 上发文说:“我原本不打算评论 Grok 的安全问题,毕竟我所在的公司与 xAI 存在竞争关系,但这件事根本不是竞争问题。 我尊重 xAI 的科学家和工程师,但他们处理安全的方式实在太不负责任了。
7/17/2025 3:12:59 PM 清源