AI在线 AI在线

安全

业内首个 AI 大模型供应链安全国际标准发布，蚂蚁集团、微软、谷歌、百度等数十家单位共同编制

业内首个 AI 大模型供应链安全国际标准发布，蚂蚁集团、微软、谷歌、百度等数十家单位共同编制
世界数字技术院（WDTA）公众号昨日（9 月 6 日）发布博文，宣布其在外滩大会上正式发布了国际标准《大模型供应链安全要求》。该标准由云安全联盟（CSA）大中华区联合蚂蚁集团、微软、谷歌、百度、NIST、Meta、PrivateAI 等数十家单位的专家共同编制。AI在线注：这是业内首个大模型供应链安全国际标准，标志着全球 AI 治理的国际合作又迈出了坚实的一步。云安全联盟（CSA）大中华区主席李雨航表示，大模型系统的运行依赖于分布在全球相互联系的供应链生态系统。李雨航表示此次发布的《大模型供应链安全要求》为大模型系
9/7/2024 12:45:37 PM
故渊
2024（首届）中国数字人大会官宣，9 月 23 日-24 日在北京举办

2024（首届）中国数字人大会官宣，9 月 23 日-24 日在北京举办
中国互联网协会 29 日宣布，2024（首届）中国数字人大会将于 9 月 23 日 —24 日在北京中关村国家自主创新示范区展示交易中心举办。本次大会以“数字人应用与未来”为主题，就关乎数字人发展的战略、技术、应用、安全、人才等问题进行系统研究。大会组织的系列精品内容包括开幕大会、多场专题论坛、两场行业赛事、多场产业生态活动。汇聚政府相关主管部门领导、院士专家、国内外数字人产业领军企业代表、相关研究机构、终端厂商、数字人应用单位、人工智能企业、安全企业、高校等产业链上下游，分享在数字人领域的成果、经验和观点，为数字
8/30/2024 5:09:33 PM
清源
比亚迪王朝发布全新IP“夏”，同名首款中大型旗舰MPV成都车展全球首发亮相！

比亚迪王朝发布全新IP“夏”，同名首款中大型旗舰MPV成都车展全球首发亮相！
8月30日，比亚迪王朝全新IP“夏”在成都车展正式发布。其同名车型、王朝首款中大型旗舰MPV夏全球首发亮相！新车基于比亚迪新一代插混整车平台打造，采用华美龙颜设计语言，拥有技术、平台、安全、设计、空间、智能六大核心价值，预计售价30万起，将于年内正式上市，全球销售！在中高端市场为用户提供豪华MPV全新选择。何以华夏？“夏”命名故事作为中华民族的朝代之首，夏朝奠定了整个华夏文明的基石。以首为尊，以夏为名，最能代表王朝旗舰MPV的定位和开创意义。同时，源远流长的华夏文明，是人类文化的瑰宝，凝聚着华夏人民智慧的结晶。以夏
8/30/2024 4:51:00 PM
新闻助手
前员工爆料，OpenAI AGI 安全团队已流失近半成员

前员工爆料，OpenAI AGI 安全团队已流失近半成员
OpenAI 一直致力于开发能够造福全人类的人工智能技术，然而最近的一份报告揭示了一个令人担忧的现象：近一半曾专注于超级智能 AI 长期风险的研究人员已经离开了这家公司。图源 Pexels据 Fortune 报道，OpenAI 前治理研究员 Daniel Kokotajlo 表示，在过去几个月里，OpenAI 几乎一半的 AGI 安全团队成员已经离职。这引发了外界对公司是否正在忽视 AI 安全性的担忧。AGI 安全研究人员主要负责确保未来开发的 AGI 系统不会对人类构成生存威胁。然而，随着 OpenAI 越来越专
8/30/2024 9:40:02 AM
远洋
OpenAI 和 Anthropic 同意推出新模型前交给美国政府评估安全

OpenAI 和 Anthropic 同意推出新模型前交给美国政府评估安全
感谢人工智能公司 OpenAI 和 Anthropic 已经同意允许美国政府在这些公司发布重大新的人工智能模型之前访问这些模型，以帮助提高它们的安全性。图源 Pexels美国人工智能安全研究所（US AI Safety Institute）周四宣布，这两家公司已经与该研究所签署了谅解备忘录，承诺在模型公开发布之前和之后提供访问权限。美国政府表示，这一举措将有助于他们共同评估安全风险并缓解潜在问题。该机构表示，将与英国的对应机构合作，就安全改进提供反馈。OpenAI 首席战略官 Jason Kwon 对合作表示支持：
8/30/2024 7:40:12 AM
远洋
阿尔特曼：OpenAI 公司为 AI 安全工作分配至少 20% 计算资源

阿尔特曼：OpenAI 公司为 AI 安全工作分配至少 20% 计算资源
感谢OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）昨日（8 月 1 日）在 X 平台发布推文，宣布为 AI 安全相关研究和开发工作，保障提供至少 20% 计算资源。AI在线翻译该推文内容如下：OpenAI 在 AI 安全方面的简要更新正如我们在 7 月下旬所说的，我们保障调配至少 20% 的计算资源，用于 AI 安全方面的工作。我们已经和美国人工智能安全研究所达成协议，让其提前访问我们的下一代基础模型，以便我们能够共同推动人工智能评估的科学发展。对此我们感到很兴奋！对于现任和前任员工能提出关于 AI
8/2/2024 2:46:50 PM
故渊
致力设计标准化人工智能框架，微软 / 英伟达 / 英特尔 / 谷歌等厂商联手组建 CoSAI 安全联盟

致力设计标准化人工智能框架，微软 / 英伟达 / 英特尔 / 谷歌等厂商联手组建 CoSAI 安全联盟
专门推动全球结构化信息标准的非营利组织 OASIS Open（由微软、英伟达、英特尔、谷歌、OpenAI、IBM、亚马逊、思科等厂商组建）在 7 月 18 日宣布建立 CoSAI 安全联盟（Coalition for Secure AI，安全 AI 联盟）。AI在线获悉，该联盟计划与学术界共同解决三大重点领域，分别是 AI 软件供应链安全性、网络领域安全性及 AI 安全治理性。同时将与 Frontier Model Forum、Partnership on AI、Open Source Security Found
7/21/2024 11:57:27 AM
漾仔
售价43.9万元起，豪华MPV新标杆全新极氪009全球上市

售价43.9万元起，豪华MPV新标杆全新极氪009全球上市
今日，极氪智能科技正式发布豪华旗舰MPV全新极氪009，其左舵和右舵版本全球同步发售。中国大陆地区的官方零售价为43.9万元起，中国香港地区的用户，在享受一换一补贴后零售价为港元75.5万起。即日起，中国大陆地区的用户可通过极氪App、极氪官网、全国各大城市的极氪门店等官方渠道进行订购。2024年8月31日 24:00（含）前支付定金2万元的用户，可享受限时购车权益：2024年7月19日 21:00（含）前，完成交付的极氪009新车首任车主，或完成锁单的极氪009 光辉新车首任车主，购买首台全新极氪009可享受3万
7/20/2024 10:24:00 AM
新闻助手
构筑 AI 安全防线，谷歌、微软、英伟达等 14 家公司组建安全 AI 联盟

构筑 AI 安全防线，谷歌、微软、英伟达等 14 家公司组建安全 AI 联盟
感谢昨日举办的阿斯彭安全论坛（Aspen Security Forum）会议中，谷歌、微软、OpenAI、亚马逊、英伟达、英特尔等 14 家 AI 领域的大公司宣布联合组建安全人工智能联盟（Coalition for Secure AI，CoSAI）。CoSAI 由 OASIS 全球标准机构主办，是一项开源计划，旨在为所有 AI 从业人员和开发人员提供创建设计安全人工智能系统所需的指导和工具。CoSAI 将建立一个合作生态系统，共享开源方法、标准化框架和工具等等。CoSAI 的创始赞助商包括谷歌、IBM、英特尔、微
7/19/2024 7:17:22 AM
故渊
全网围观魏建军直播：长城端到端智驾大模型挑战重庆「魔幻路况」

全网围观魏建军直播：长城端到端智驾大模型挑战重庆「魔幻路况」
机器之心发布机器之心编辑部2024 年 6 月 30 日，长城汽车董事长魏建军亲自操盘，通过直播向全球展示了长城汽车全场景 NOA 在重庆的挑战性路段的实际表现。这次直播不仅是对长城汽车智能驾驶技术的一次全方位检验，更是一次向公众彰显其领先的智能驾驶解决方案 ——Coffee Pilot Ultra（CP Ultra）的力量展示。技术核心：SEE 模型的实战检验SEE 模型，长城汽车的技术王牌，是真正的游戏规则改变者。这个端到端智驾大模型整合了感知、决策、规控等关键环节，实现了数据的全链路一体化处理。在重庆的多变道
6/30/2024 8:40:00 PM
机器之心
15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性
最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。这项研究标题为《跨模态安全调整》（Cross-Modality Safety Alignment），提出了一个全新的“安全输入但不安全输出”（SIUO），涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。研究人员说，大型视觉语言模型（LVL
6/25/2024 9:12:58 AM
故渊
代码大模型安全规范正式定稿：百度阿里小米 vivo 等参与，中国信通院启动首轮评估

代码大模型安全规范正式定稿：百度阿里小米 vivo 等参与，中国信通院启动首轮评估
近年来，代码大模型已成为企业研发人员辅助编程必备助手，能够生成、翻译、补全代码，帮助定位和修复错误。然而，代码大模型背后隐藏的风险挑战还有待讨论。中国信息通信研究院（以下简称“中国信通院”）依托中国人工智能产业发展联盟（AIIA），联合业内近 30 家单位共同编制了《代码大模型安全风险防范能力要求及评估方法》规范（简称“规范”），聚焦代码大模型的安全能力，从基础功能出发，评估代码大模型的基础能力和安全风险防范能力。2024 年 6 月 18 日，规范第三次研讨会成功举办，对规范内容做出进一步的完善和修订，现已完成定
6/20/2024 4:18:53 PM
汪淼
OpenAI 回应员工担忧：支持监管，必要保障措施到位前不发 AI 新技术

OpenAI 回应员工担忧：支持监管，必要保障措施到位前不发 AI 新技术
OpenAI 和谷歌 DeepMind 员工联名发声，担忧高级 AI 风险巨大，亟需加强监管，对此 OpenAI 今天发布声明，强调该致力于提供功能强大且安全的人工智能系统。IT之家翻译 OpenAI 公司官方声明内容如下：我们为自己能提供能力最强、最安全的人工智能系统而感到自豪，并坚信我们能以科学的方法应对风险。鉴于 AI 技术的重要性，我们认同公开信中的内容，如何通过严肃的讨论，对于更好推进 AI 技术发展至关重要。我们将继续接触各国政府、民间社会和世界各地的其他社区，共同营造和谐的 AI 环境。包括匿名诚信热
6/5/2024 11:10:02 AM
故渊
OpenAI 又一吹哨人离职！拉响安全警报，风险隐患实在太大

OpenAI 又一吹哨人离职！拉响安全警报，风险隐患实在太大
OpenAI 离职潮中，又一研究员官宣离职，并且还发出了“警告”信息：Ilya 和 Jan Leike 的担忧正是我的担忧，还有一些额外的问题。我们需要做更多事来改进决策流程等基础性的事务，包括问责制、透明度、文档、策略执行、如何谨慎使用技术，以及减轻不平等、权利和环境影响的措施。主人公名叫 Gretchen Krueger（简称格姐），是 OpenAI 的 AI 策略研究员。她在 2019 年加入 OpenAI，参与过 GPT-4 和 DALL・E 2 的开发工作，还在 2020 年领导了 OpenAI 第一个全
5/26/2024 5:52:30 PM
远洋
微软谷歌等 AI 巨头齐聚首尔：承诺安全开发人工智能模型，必要时关闭尖端系统

微软谷歌等 AI 巨头齐聚首尔：承诺安全开发人工智能模型，必要时关闭尖端系统
路透社报道，微软 、谷歌 、OpenAI 等 16 家科技公司在 21 日和 22 日举行的“人工智能（AI）首尔峰会”上承诺安全开发 AI 模型，在无法控制最极端风险的情况下关闭其尖端系统（cutting-edge systems）。参会的公司还包括国内企业智谱 AI（IT之家备注：腾讯、阿里、美团和小米曾对其投资）、IBM、亚马逊、Meta 和三星。安全承诺包括发布框架，阐明公司将如何衡量其模型的风险。在风险严重且“无法接受”的极端情况下，如果无法减轻风险，人工智能公司将不得不按下紧急停止开关，停止开发或部署其
5/22/2024 10:23:19 AM
沛霖（实习）
OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先

OpenAI 高管 Jan Leike 离职，批判公司内部已不再将“安全”视为优先
感谢继 OpenAI 共同创始人 Ilya Sutskever 离职之后，另一名 OpenAI 高管 Jan Leike 在 X 平台发布贴文，宣布他已经在上周离开公司。据悉，Jan Leike 是 OpenAI 旗下 Superalignment（超级对齐）团队的共同主管，他表示最近几年 OpenAI 已经不惜内部文化，忽视安全准则，执意高速推出“吸引眼球”的产品。IT之家经查询得知，OpenAI 在 2023 年 7 月设立 Superalignment 团队，任务是“确保那些具备‘超级智能’、‘比人类还聪明’
5/21/2024 1:43:20 PM
漾仔
欧拉全球化战略再进阶，2024款欧拉好猫&GT木兰版北京车展超值上市！

欧拉全球化战略再进阶，2024款欧拉好猫&GT木兰版北京车展超值上市！
4月26日，2024北京国际车展欧拉品牌发布会以“欧拉美学，全球经典”为主题，重磅发布了欧拉全球化出海战略。欧拉将从产品覆盖、市场布局和出海模式等三个维度上不断深化，由“单品出海”向全价值体系“生态出海”进阶，开启全球化2.0新时代。发布会上，2024款欧拉好猫&GT木兰版同步超值上市！2024款欧拉好猫售价10.58万元-13.58万元区间，带来颜值、配置和安全等方面的全面升级；2024款欧拉好猫GT木兰版售价为11.98万元-12.98万元，以更酷飒、更智能、更安全的方式与新世代一同玩转纯电GT，双车更有5重权
5/13/2024 2:04:00 PM
新闻助手
“共筑安全星河：首届AI安全大赛在中关村论坛盛大启动”

“共筑安全星河：首届AI安全大赛在中关村论坛盛大启动”
在2024年的中关村论坛数据安全治理与发展论坛上，一项具有里程碑意义的活动——首届生成式人工智能安全大赛，正式拉开了帷幕。这场大赛是在北京市互联网信息办公室和中国科学院网络安全和信息化领导小组办公室的共同指导下，由中国科学院信息工程研究所与信息内容安全国家工程研究中心联合主办。此次大赛以“共筑安全星河，护航AI发展”作为核心主题，其宗旨在于依托中国科学院信息工程研究所Galaxy（星河）生成式人工智能安全风险测评平台，为参赛者提供一个专业的比赛环境。Galaxy平台，被誉为安全风险测评的“星河”，其核心是一个“以攻
4/28/2024 11:17:00 AM
新闻助手