安全

人工智能是保护身份的秘密武器吗？

随着组织在身份和访问管理（IAM）方面面临越来越多的挑战，很明显，需要一种更强大的方法来对抗基于身份的攻击的传播。虽然人工智能是问题的一部分，但它也可能是解决方案的一部分。理解身份挑战身份无疑是组织最大的攻击面，它可以跨越位置、账户和设备。

11/6/2024 2:30:38 PM

Harris编译

近日，谷歌宣布其大语言模型（LLM）项目“Big Sleep”成功发现了一个SQLite数据库引擎中的内存安全漏洞，这是人工智能首次在真实软件中发现可利用的内存安全漏洞（且该漏洞无法通过传统的模糊测试检测到）。 AI首次发现内存安全漏洞谷歌的“Project Naptime”项目旨在评估LLM在进攻性安全研究方面的能力，后来该项目演变为“Big Sleep”，由谷歌Project Zero和DeepMind团队共同参与。 Big Sleep项目致力于探索AI在发现软件漏洞中的潜力，特别关注高危漏洞的检测与利用。

11/5/2024 2:48:57 PM

佚名

填补 AI 安全空白：谷歌上线安全人工智能框架风险评估工具

感谢谷歌公司于 10 月 24 日发布博文，宣布推出 SAIF 风险评估工具，旨在帮助人工智能开发者和组织评估其安全态势，识别潜在风险，并实施更强的安全措施。 SAIF 简介AI在线注：谷歌去年发布了安全人工智能框架（SAIF），旨在帮助用户安全、负责任地部署 AI 模型，SAIF 不仅分享了最佳实践，还为行业提供了一个安全设计的框架。为了推广这一框架，谷歌与行业伙伴共同成立了安全人工智能联盟（CoSAI），以推动关键的 AI 安全措施。

10/26/2024 8:21:09 AM

故渊

苹果为其 AI 构筑“云处理安全堡垒”：公开指南和研究环境，漏洞悬赏最高 100 万美元

科技媒体 MacRumors 昨日（10 月 24 日）发布博文，报道称苹果公司最新推出了“私有云计算”（Private Cloud Compute）的云智能系统，确保 Apple Intelligence 在云端处理数据时构筑安全的请求环境。苹果公司承诺安全和隐私研究人员可以验证“私有云计算”中的端到端安全和隐私承诺，并向安全研究人员公开“私有云计算”虚拟研究环境（VRE）及其他材料。苹果公司发布了一份“私有云计算”安全指南，详细介绍了“私有云计算”的所有组成部分及其如何运作以提供云端人工智能处理的隐私保护。

10/25/2024 7:01:15 AM

故渊

《人工智能安全治理框架》1.0 版发布

感谢据央视新闻今日报道，在 2024 年国家网络安全宣传周主论坛上，全国网络安全标准化技术委员会发布《人工智能安全治理框架》1.0 版。制定该《框架》旨在落实《全球人工智能治理倡议》，遵循“以人为本、智能向善”的发展方向，推动政府、国际组织、企业、科研院所、民间机构和社会公众等各方，就人工智能安全治理达成共识、协调一致，有效防范化解人工智能安全风险。《框架》提出了包容审慎、确保安全，风险导向、敏捷治理，技管结合、协同应对，开放合作、共治共享等人工智能安全治理的原则。针对模型算法安全、数据安全和系统安全等内生安全风险

9/9/2024 5:19:27 PM

汪淼

业内首个 AI 大模型供应链安全国际标准发布，蚂蚁集团、微软、谷歌、百度等数十家单位共同编制

世界数字技术院（WDTA）公众号昨日（9 月 6 日）发布博文，宣布其在外滩大会上正式发布了国际标准《大模型供应链安全要求》。该标准由云安全联盟（CSA）大中华区联合蚂蚁集团、微软、谷歌、百度、NIST、Meta、PrivateAI 等数十家单位的专家共同编制。AI在线注：这是业内首个大模型供应链安全国际标准，标志着全球 AI 治理的国际合作又迈出了坚实的一步。云安全联盟（CSA）大中华区主席李雨航表示，大模型系统的运行依赖于分布在全球相互联系的供应链生态系统。李雨航表示此次发布的《大模型供应链安全要求》为大模型系

9/7/2024 12:45:37 PM

故渊

2024（首届）中国数字人大会官宣，9 月 23 日-24 日在北京举办

中国互联网协会 29 日宣布，2024（首届）中国数字人大会将于 9 月 23 日 —24 日在北京中关村国家自主创新示范区展示交易中心举办。本次大会以“数字人应用与未来”为主题，就关乎数字人发展的战略、技术、应用、安全、人才等问题进行系统研究。大会组织的系列精品内容包括开幕大会、多场专题论坛、两场行业赛事、多场产业生态活动。汇聚政府相关主管部门领导、院士专家、国内外数字人产业领军企业代表、相关研究机构、终端厂商、数字人应用单位、人工智能企业、安全企业、高校等产业链上下游，分享在数字人领域的成果、经验和观点，为数字

8/30/2024 5:09:33 PM

清源

比亚迪王朝发布全新IP“夏”，同名首款中大型旗舰MPV成都车展全球首发亮相！

8月30日，比亚迪王朝全新IP“夏”在成都车展正式发布。其同名车型、王朝首款中大型旗舰MPV夏全球首发亮相！新车基于比亚迪新一代插混整车平台打造，采用华美龙颜设计语言，拥有技术、平台、安全、设计、空间、智能六大核心价值，预计售价30万起，将于年内正式上市，全球销售！在中高端市场为用户提供豪华MPV全新选择。何以华夏？“夏”命名故事作为中华民族的朝代之首，夏朝奠定了整个华夏文明的基石。以首为尊，以夏为名，最能代表王朝旗舰MPV的定位和开创意义。同时，源远流长的华夏文明，是人类文化的瑰宝，凝聚着华夏人民智慧的结晶。以夏

8/30/2024 4:51:00 PM

新闻助手

前员工爆料，OpenAI AGI 安全团队已流失近半成员

OpenAI 一直致力于开发能够造福全人类的人工智能技术，然而最近的一份报告揭示了一个令人担忧的现象：近一半曾专注于超级智能 AI 长期风险的研究人员已经离开了这家公司。图源 Pexels据 Fortune 报道，OpenAI 前治理研究员 Daniel Kokotajlo 表示，在过去几个月里，OpenAI 几乎一半的 AGI 安全团队成员已经离职。这引发了外界对公司是否正在忽视 AI 安全性的担忧。AGI 安全研究人员主要负责确保未来开发的 AGI 系统不会对人类构成生存威胁。然而，随着 OpenAI 越来越专

8/30/2024 9:40:02 AM

远洋

OpenAI 和 Anthropic 同意推出新模型前交给美国政府评估安全

感谢人工智能公司 OpenAI 和 Anthropic 已经同意允许美国政府在这些公司发布重大新的人工智能模型之前访问这些模型，以帮助提高它们的安全性。图源 Pexels美国人工智能安全研究所（US AI Safety Institute）周四宣布，这两家公司已经与该研究所签署了谅解备忘录，承诺在模型公开发布之前和之后提供访问权限。美国政府表示，这一举措将有助于他们共同评估安全风险并缓解潜在问题。该机构表示，将与英国的对应机构合作，就安全改进提供反馈。OpenAI 首席战略官 Jason Kwon 对合作表示支持：

8/30/2024 7:40:12 AM

远洋

阿尔特曼：OpenAI 公司为 AI 安全工作分配至少 20% 计算资源

感谢OpenAI 首席执行官山姆・阿尔特曼（Sam Altman）昨日（8 月 1 日）在 X 平台发布推文，宣布为 AI 安全相关研究和开发工作，保障提供至少 20% 计算资源。AI在线翻译该推文内容如下：OpenAI 在 AI 安全方面的简要更新正如我们在 7 月下旬所说的，我们保障调配至少 20% 的计算资源，用于 AI 安全方面的工作。我们已经和美国人工智能安全研究所达成协议，让其提前访问我们的下一代基础模型，以便我们能够共同推动人工智能评估的科学发展。对此我们感到很兴奋！对于现任和前任员工能提出关于 AI

8/2/2024 2:46:50 PM

故渊

致力设计标准化人工智能框架，微软 / 英伟达 / 英特尔 / 谷歌等厂商联手组建 CoSAI 安全联盟

专门推动全球结构化信息标准的非营利组织 OASIS Open（由微软、英伟达、英特尔、谷歌、OpenAI、IBM、亚马逊、思科等厂商组建）在 7 月 18 日宣布建立 CoSAI 安全联盟（Coalition for Secure AI，安全 AI 联盟）。AI在线获悉，该联盟计划与学术界共同解决三大重点领域，分别是 AI 软件供应链安全性、网络领域安全性及 AI 安全治理性。同时将与 Frontier Model Forum、Partnership on AI、Open Source Security Found

7/21/2024 11:57:27 AM

漾仔

售价43.9万元起，豪华MPV新标杆全新极氪009全球上市

今日，极氪智能科技正式发布豪华旗舰MPV全新极氪009，其左舵和右舵版本全球同步发售。中国大陆地区的官方零售价为43.9万元起，中国香港地区的用户，在享受一换一补贴后零售价为港元75.5万起。即日起，中国大陆地区的用户可通过极氪App、极氪官网、全国各大城市的极氪门店等官方渠道进行订购。2024年8月31日 24:00（含）前支付定金2万元的用户，可享受限时购车权益：2024年7月19日 21:00（含）前，完成交付的极氪009新车首任车主，或完成锁单的极氪009 光辉新车首任车主，购买首台全新极氪009可享受3万

7/20/2024 10:24:00 AM

新闻助手

构筑 AI 安全防线，谷歌、微软、英伟达等 14 家公司组建安全 AI 联盟

感谢昨日举办的阿斯彭安全论坛（Aspen Security Forum）会议中，谷歌、微软、OpenAI、亚马逊、英伟达、英特尔等 14 家 AI 领域的大公司宣布联合组建安全人工智能联盟（Coalition for Secure AI，CoSAI）。CoSAI 由 OASIS 全球标准机构主办，是一项开源计划，旨在为所有 AI 从业人员和开发人员提供创建设计安全人工智能系统所需的指导和工具。CoSAI 将建立一个合作生态系统，共享开源方法、标准化框架和工具等等。CoSAI 的创始赞助商包括谷歌、IBM、英特尔、微

7/19/2024 7:17:22 AM

故渊

全网围观魏建军直播：长城端到端智驾大模型挑战重庆「魔幻路况」

机器之心发布机器之心编辑部2024 年 6 月 30 日，长城汽车董事长魏建军亲自操盘，通过直播向全球展示了长城汽车全场景 NOA 在重庆的挑战性路段的实际表现。这次直播不仅是对长城汽车智能驾驶技术的一次全方位检验，更是一次向公众彰显其领先的智能驾驶解决方案 ——Coffee Pilot Ultra（CP Ultra）的力量展示。技术核心：SEE 模型的实战检验SEE 模型，长城汽车的技术王牌，是真正的游戏规则改变者。这个端到端智驾大模型整合了感知、决策、规控等关键环节，实现了数据的全链路一体化处理。在重庆的多变道

6/30/2024 8:40:00 PM

机器之心

15 个 AI 模型只有 3 个得分超 50%，SIUO 跑分被提出：评估多模态 AI 模型的安全性

最新发表在 arXiv 的研究论文指出，包括 GPT-4V、GPT-4o 和 Gemini 1.5 在内的大部分主流多模态 AI 模型，处理用户的多模态输入（例如一起输入图片和文本内容）之后，输出结果并不安全。这项研究标题为《跨模态安全调整》（Cross-Modality Safety Alignment），提出了一个全新的“安全输入但不安全输出”（SIUO），涉及道德、危险行为、自残、侵犯隐私、信息误读、宗教信仰、歧视和刻板印象、争议性话题以及非法活动和犯罪等 9 个安全领域。研究人员说，大型视觉语言模型（LVL

6/25/2024 9:12:58 AM

故渊

代码大模型安全规范正式定稿：百度阿里小米 vivo 等参与，中国信通院启动首轮评估

近年来，代码大模型已成为企业研发人员辅助编程必备助手，能够生成、翻译、补全代码，帮助定位和修复错误。然而，代码大模型背后隐藏的风险挑战还有待讨论。中国信息通信研究院（以下简称“中国信通院”）依托中国人工智能产业发展联盟（AIIA），联合业内近 30 家单位共同编制了《代码大模型安全风险防范能力要求及评估方法》规范（简称“规范”），聚焦代码大模型的安全能力，从基础功能出发，评估代码大模型的基础能力和安全风险防范能力。2024 年 6 月 18 日，规范第三次研讨会成功举办，对规范内容做出进一步的完善和修订，现已完成定

6/20/2024 4:18:53 PM

汪淼

OpenAI 回应员工担忧：支持监管，必要保障措施到位前不发 AI 新技术

OpenAI 和谷歌 DeepMind 员工联名发声，担忧高级 AI 风险巨大，亟需加强监管，对此 OpenAI 今天发布声明，强调该致力于提供功能强大且安全的人工智能系统。IT之家翻译 OpenAI 公司官方声明内容如下：我们为自己能提供能力最强、最安全的人工智能系统而感到自豪，并坚信我们能以科学的方法应对风险。鉴于 AI 技术的重要性，我们认同公开信中的内容，如何通过严肃的讨论，对于更好推进 AI 技术发展至关重要。我们将继续接触各国政府、民间社会和世界各地的其他社区，共同营造和谐的 AI 环境。包括匿名诚信热

6/5/2024 11:10:02 AM

故渊

资讯热榜

智谱AI全新企业级超级助手Agent CoCo正式上线苹果发布全新Xcode 26开发者工具：内置ChatGPT先进AI功能豆包App“一句话P图”功能全新升级基于SeedEdit 3.0实现全面优化 DeepSeek前高管秘密创业，新AI Agent项目已获顶级VC押注 Google AI Studio 政策变动:Gemini2.5Pro 模型免费访问遭“限流” 那个男人回来了！Ilya现身多伦多大学毕业典礼：AI 像是用数字方式复制出来的大脑！不管你愿不愿意，AI都将深刻影响你的一生！苹果向开发者开放本地AI能力，推出全新Foundation Models框架支持MCP！开源智能体开发框架 Rowboat：打造你的智能助手只需几分钟

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 Meta GPT 学习图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法英伟达代码 Anthropic 芯片开发者生成式蛋白质腾讯神经网络训练 3D 研究生成智能体苹果计算机器学习 Sora AI设计 Claude AI for Science GPU AI视频人形机器人搜索华为百度场景大语言模型 xAI 预测伟达深度学习 Transformer LLM 字节跳动 Agent 模态具身智能神器推荐工具文本视觉 LLaMA 算力 Copilot 驾驶大型语言模型 API RAG 应用架构

安全