安全

你的RAG系统安全么？

生成式人工智能（GenAI）近年来发展迅速，大语言模型成为这一浪潮的核心力量。无论是商业还是开源模型，它们都具备强大的语言理解与生成能力，正广泛应用于内容创作、聊天机器人等场景，让企业更容易落地智能应用。但一个关键挑战是如何让这些通用的 LLM 更懂特定领域，同时保持知识的时效性。

7/1/2025 9:36:42 AM

曹洪伟

ICML 2025 Oral | 从「浅对齐」到「深思熟虑」，清华牵头搭起大模型安全的下一级阶梯

本工作共同第一作者包括：张亦弛，清华大学计算机系三年级博士生，师从朱军教授，研究方向是多模态大模型和大模型安全，在CVPR、NeurIPS、ICML等顶会发表多篇论文，曾主导开发了首个多模态大模型可信度全面评测基准MultiTrust；张思源，清华大学计算机系一年级硕士生，导师是苏航副研究员，研究方向是大模型安全与对齐算法。本文通讯作者是清华大学人工智能学院董胤蓬助理教授和计算机系朱军教授。其他合作者来自北航、瑞莱智慧、阿里安全、百川智能等单位。

6/26/2025 8:42:00 AM

特斯拉Robotaxi终于来了，但这11个误区你得先搞清楚

6月22日，特斯拉在奥斯汀正式启动了Robotaxi服务。我在推特上看到那些邀请函截图时，说实话有点震惊——这个被马斯克承诺了无数次的服务，居然真的开始了。不过，网上关于特斯拉Robotaxi的讨论，很多都是错误的。

6/24/2025 9:16:48 AM

阿丸笔记

马斯克放大招：Robotaxi 真的来了！首批10辆开跑，千万网友围观，全网猜测：安全监控员干啥的？网友：不知道该怎么定义接管了

编辑 | 云昭出品 | 51CTO技术栈（微信号：blog51cto）统一车费 4.20 美元、首发奥斯汀、仅10余辆车上线运行……马斯克的 Robotaxi 终于开跑了。 6月23日清晨，马斯克在 X 上官宣：特斯拉自动驾驶出租车服务正式在德州奥斯汀启动试点，每单统一收取 4.20 美元，用户可以通过 Tesla App 体验这一“未来交通”。并在置顶的帖子上表示：向 @Tesla_AI 的软件和芯片设计团队表示超级祝贺，@Robotaxi 成功上线！

6/23/2025 12:27:01 PM

云昭

本世纪最伟大AI专访之一：AI安全、Agent、OpenAI等重磅话题

昨晚，油管千万级大V The Diary Of A CEO放出了，与图灵奖、诺贝尔奖获得者，被誉为AI教父的Geoffrey Hinton最新深度专访。二人以对话形式主要探讨了AI的发展、安全、应用；虽然AI存在一定的风险，但在帮助人类提升科研、工作、生活水平质量等方面是非常高效。当然也会抢走一部分人的工作，从而创造一些全新的职位。

6/17/2025 9:26:09 AM

两万字详解，如何为开放平台设计一个安全好用的 OpenAPI

前言为了确保软件接口的标准化和规范化，实现业务模块的重用性和灵活性，并提高接口的易用性和安全性，OpenAPI规范应运而生。这一规范通过制定统一的接口协议，规定了接口的格式、参数、响应和使用方法等内容，从而提高了接口的可维护性和可扩展性。同时，为了也需要考虑接口的安全性和稳定性，本文将针对这些方面介绍一些具体的实践方式。

6/11/2025 2:11:00 AM

60%情况下，主流大模型没理解风险只是装懂！别被模型的“安全答案”骗了

让推理模型针对风险指令生成了安全输出，表象下藏着认知危机：即使生成合规答案，超60%的案例中模型并未真正理解风险。换句话说，主流推理模型的安全性能存在系统性漏洞。针对此种现象，淘天集团算法技术-未来实验室团队引入「表面安全对齐」（Superficial Safety Alignment, SSA）这一术语来描述这种系统性漏洞。

6/10/2025 11:25:06 AM

简析新一代身份安全解决方案—— AI IAM

统一身份和访问管理（Identity and access management，IAM）是一套体系化的身份安全解决方案，涵盖了技术、策略和流程，主要用于管理用户身份并控制用户对企业资源的合规访问。在当今“数字优先”的世界中，IAM技术对组织变得越来越重要，因为组织内的员工需要在任何设备（服务）上实现“work-from-anywhere“的访问模式，这就需要比以往更加安全地赋予和验证数字身份，以实现安全的数字连接。在此背景下，基于先进AI技术构建的新一代IAM解决方案应运而生。

6/9/2025 2:00:00 AM

博士级AI智能体写的论文，首次登上顶会ACL！人类作者只是监工

有个叫Zochi的AI系统写了一篇研究论文，并且被顶级学术会议ACL 2025的主会场接受了！ ACL是自然语言处理（NLP）领域里最顶尖的会议之一。 Zochi是Intology AI开发的首个博士级智能体，就像一个从头到尾完成科学研究「AI科学家」。

5/30/2025 9:15:00 AM

xAI 承诺的安全报告未如期发布

近日，埃隆・马斯克创办的人工智能公司 xAI 未能如期发布一份有关 AI 安全的最终框架，这一消息引起了监测机构 “Midas Project” 的关注。 xAI 在 AI 安全方面的表现一直不尽如人意，其 AI 聊天机器人 Grok 在处理某些请求时，曾出现不当行为，比如不经意地处理女性照片。同时，Grok 在语言表达上也比竞争对手如 Gemini 和 ChatGPT 更加粗俗，频繁使用脏话。

5/14/2025 9:01:03 AM

AI在线

DataBahn.ai推出“数据礁”智能化安全情报的新时代

在网络安全领域，如何快速而准确地处理海量数据是企业面临的一大挑战。最近，数据科技公司 DataBahn.ai 推出了一款名为 “数据礁”（Reef）的创新产品，旨在将高流量、高速度的安全监测信息转化为及时、可操作的情报，帮助企业做出更明智的决策。如今，企业收集的日志、警报和监测数据多达数 PB，但实际上仅分析不到5%。

4/28/2025 6:00:40 PM

AI在线

CrowdStrike 推出 Charlotte AI，开启安全运营新纪元

在近期的 RSA2025大会上，网络安全领导者 CrowdStrike（NASDAQ: CRWD）正式发布了其全新的 AI 平台 Charlotte AI，旨在彻底改革安全运营中心(SOC)的运作模式。 Charlotte AI 不仅将智能自动化与人类网络安全专家的经验相结合，还通过其独特的 “自主推理和响应” 能力，提升了对网络威胁的检测、调查和响应效率。 Charlotte AI 平台包括几个核心模块，首次实现了在没有人工提示的情况下，自动分析和处理第一方和第三方数据。

4/28/2025 6:00:40 PM

AI在线

首个大模型全链路安全综述！南洋理工新国立等发布LLM Safety全景图：从数据、训练到部署的全面梳理

随着人工智能技术迅猛发展，大模型（如GPT-4、文心一言等）正逐步渗透至社会生活的各个领域，从医疗、教育到金融、政务，其影响力与日俱增。然而，技术的进步也伴随着潜在风险——大模型安全这一议题正成为全球科技界关注的焦点。南洋理工大学、新加坡国立大学等全球40余所顶尖机构的67位学者联袂打造大模型全链路安全综述，综合梳理了843篇文章，系统的从全栈视角分析了大模型从出生到应用的全栈安全，涵盖数据准备→预训练→后训练→部署→商业化应用以及安全性评估等全部阶段。

4/27/2025 9:07:00 AM

量子位

AI 生成的代码真的安全吗？

译者 | 陈峻审校 | 重楼软件开发与编程曾经被认为是只有具备深厚专业知识与技能的程序员才能胜任的工作。不过，现在貌似任何人都可以利用自然语言工具来实现并完成了。与此同时，过去那些需要数天、甚至数月才能开发出来的功能，现在完全可以在 AI 模型的代码加持下、在几分钟之内被开发出来。

3/28/2025 8:00:00 AM

陈峻

AI安全助手重塑SOC运作方式

随着微软六个新的AI安全副驾驶的推出，越来越多人意识到AI安全助手在安全运营中心（SOC）的价值。这些工具正在重塑SOC的运作方式，使安全团队能够更快、更准确地应对威胁。解决SOC团队痛点在当今网络安全领域，安全运营中心（SOC）面临着双重挑战：一方面是海量告警信息的持续涌入，另一方面是专业人才的严重短缺。

3/28/2025 12:00:00 AM

SplxAI 获 700 万美元融资，助力组织安全部署 Agentic AI

在人工智能（AI）技术迅猛发展的背景下，SplxAI 公司宣布成功获得700万美元的种子融资，由 LAUNCHub Ventures 领投，Rain Capital、Inovo、Runtime Ventures、DNV Ventures 及 South Central Ventures 也参与了投资。此次融资将用于加速 SplxAI 平台的开发与推广，帮助企业确保内部 AI 代理和面向客户的 AI 应用程序的安全性。图源备注：图片由AI生成，图片授权服务商MidjourneySplxAI 是一家专注于 Agentic AI 的攻防安全公司，旨在为安全领导者和 AI 开发者提供有效的安全测试工具。

3/27/2025 5:58:00 PM

AI在线