GenAI

保护由AI代理创建的软件：下一个安全范式

译者 | 晶颜审校 | 重楼代理式人工智能（Agentic AI）具备自主编写与部署代码的能力，由此衍生出新的安全风险，因而需要人工监督与强有力的保障机制。自2022年底ChatGPT及生成式人工智能（GenAI）成为主流以来，其影响力的持续攀升对软件开发行业产生了直接影响。生成式人工智能工具编写可执行代码的能力被视作显著优势之一，且此后人工智能一直在持续迭代优化。

6/12/2025 8:15:24 AM

晶颜

银行业迅速认识到了GenAI的商业潜力，同时也意识到盲目采用可能带来的风险，该行业最大的机构擅长管理风险，在将试点项目推向生产环境时采取了谨慎而坚定的态度。跟踪北美、欧洲和亚洲50家最大银行的Evident Insights公司表示，过去一年里，GenAI的采用势头有所增强，该公司情报部门副总裁Colin Gilbert周二在行业分析师公司举办的虚拟圆桌会议上表示，截至上周，这50家银行共宣布了266个AI应用案例，高于2月份的167个。 “绝大多数，即约75%的应用案例仍然是面向内部或员工的，”他说，并补充道，GenAI和传统预测性AI应用案例的分布大致为五五开。

6/12/2025 7:10:00 AM

Matt Ashare

IT领导者阻碍AI成功的五大障碍

AI，尤其是GenAI，正迅速成为提高整个企业生产力的有效解决方案，但成功的几个常见障碍仍然存在。 IT领导者越早识别并克服这些问题，他们的企业就能越快地从基于AI的系统中获得更多价值。以下是企业在实现AI价值过程中需要克服的一些更具挑战性的障碍，以及IT领导者可以采取的应对措施。

6/11/2025 7:00:00 AM

Bob Violino

如何解决导致GenAI程序沉没的两个问题

在GenAI时代，发展轨迹呈现出典型的“进两步，退一步”模式。随着公司逐渐掌握GenAI的独特复杂性，初期取得的进展往往伴随着倒退和重复工作，在某些情况下，甚至可能威胁到整个开发进程的停滞。导致挫败感和延误的原因众多，从人才短缺到持续的数据质量问题不一而足，但根据我们过去两年与超过150家公司合作开展GenAI项目的经验来看，在构建过程中几乎总会遇到两个主要障碍：• 创新失败：流程限制、缺乏专注以及重复性的返工扼杀了创新。

6/10/2025 7:09:00 AM

Curt Jacobsen

Gartner高级顾问总监：从生产力陷阱到财务效率的理性转向，生成式AI的降本困境与破局之道

谈到2025年科技圈的热点，非生成式AI莫属。可以说，生成式AI已经成为推动企业业务创新和数字化转型的核心焦点。根据Gartner调研显示，过去两年中，全球企业IT预算持续收缩，但AI与安全领域的投入逆势增长。

6/3/2025 1:21:37 PM

在工作中与GenAI工具共享内容时要谨慎

我们在工作中使用GenAI来简化任务，但我们是否意识到其中的风险?据Netskope称，现在平均每个企业每月与AI工具共享的数据量超过7.7GB，75%的企业用户正在使用具有GenAI功能的应用程序。 GenAI的阴暗面事实上，89%的企业对AI的使用情况一无所知，这暴露了监督和控制方面的空白，更重要的是，71%的GenAI工具是通过个人非工作账户访问的。即使使用了公司账户，也有58%的登录绕过了单点登录(SSO)，这意味着安全团队无法看到员工使用的工具或共享的信息。

5/27/2025 7:00:00 AM

Sinisa

许多人匆忙部署GenAI，往往没有安全保障

根据Thales的报告，70%的企业认为AI的发展速度，特别是在GenAI方面，是与其采用相关的首要安全担忧，其次是数据完整性(64%)和可信度(57%)的缺乏。 GenAI成为首要支出重点许多企业已经在采用GenAI，三分之一的受访者表示，它要么正在被整合，要么正在积极改变他们的运营方式。随着GenAI引入数据安全挑战，同时也为加强防御提供了战略机遇，其日益增长的整合标志着企业从实验阶段向更成熟、更运营化的部署转变。

5/26/2025 7:10:00 AM

一些银行高管预测，GenAI可能承担高达40%的工作量

根据毕马威四月份发布的一项调查，60%的银行高管将GenAI列为今年的首要投资重点。毕马威最近对银行高管进行的一项调查显示，近一半的受访者预计，到今年年底，GenAI将能够处理其团队21%至40%的日常任务。银行在AI方面的投入巨大：根据毕马威四月份发布的一份报告，60%的银行高管表示，尽管经济存在不确定性，GenAI仍是他们今年的首要投资重点。

5/21/2025 7:05:00 AM

Caitlin

急于实施AI时被忽视的八个安全风险

在追求GenAI带来的生产力提升的过程中，大多数企业都忽视了这样做可能带来的安全影响，转而倾向于寄希望于具有变革性的创新，而非采用可靠的安全实践。根据世界经济论坛与埃森哲合作进行的一项研究，63%的企业在部署AI工具之前未能评估其安全性，从而给企业带来了一系列风险。这既包括现成的AI解决方案，也包括与软件开发团队合作创建的内部实现。

5/20/2025 2:37:33 PM

John

AI促进智能劳动力协作的六种方式

制造业的未来并非在于取代人类工人，而是让他们工作得更聪明，AI是人类专业知识的延伸。制造业和供应链是以人为本的行业，建立在人与人之间的联系之上。牢固的关系是它们的基础，然而，如今这两个行业正面临着由快速技术进步和熟练工人需求增长所驱动的重大前线变革，随着合格员工日益稀缺，这种需求变得更加紧迫。

5/15/2025 7:15:00 AM

Chris Kuntz

三分之一的员工对AI的使用保密

员工对利用技术提高生产力的担忧日益加剧，同时对工作感到不满且缺乏工作动力。事实上，根据Ivanti公司的调查，在工作中使用GenAI工具的员工中，有30%担心自己的工作可能被裁掉，27%的员工则出现了由AI引发的冒名顶替综合征，他们表示不希望别人质疑自己的能力。 “Ivanti的研究表明，员工仍然希望在工作生活中拥有更大的自主权，并希望得到能帮助他们做到最好的AI解决方案，”Ivanti的首席法律顾问兼人力资源与安全高级副总裁布鲁克·约翰逊(Brooke Johnson)表示，“为了应对这一问题，企业应考虑建立一个可持续的AI治理模型，将透明度放在首位，并通过创新来解决由AI引发的冒名顶替综合征这一复杂挑战。

5/14/2025 8:00:00 AM

即使最好的保障措施也无法阻止大语言模型被愚弄

在采访中，诺丁汉大学副教授Michael Pound分享了他对与大型语言模型(LLM)相关的网络安全风险的见解。他讨论了CISO和安全团队在LLM使用方面存在的理解或准备上的最大差距，以及在将LLMs集成到业务运营中时保护敏感数据所需的预防措施。你认为在LLM使用方面，CISO和安全团队在理解或准备上存在的最大差距是什么?许多安全专业人员——相当合理地——对LLM背后的机器学习原理并不精通。

5/12/2025 8:00:00 AM

Mirko Zorz

AWS报告：2025年全球技术预算中GenAI将超越安全

“我认为这并不值得担忧，”AWS GenAI和AI/ML市场推广副总裁拉胡尔·帕塔克(Rahul . Pathak)在接受采访时表示，“我的理解是，客户的安全仍然是重中之重。我们看到AI在预算优先级方面如此重要，是因为客户看到了AI的众多应用场景。

5/8/2025 3:00:00 AM

Michael

美国银行对AI的大力押注始于小规模

今年，美国银行将投资40亿美元用于AI及相关技术创新，但这家金融服务巨头七年前自主研发的AI助手Erica，如今依然是关键的投资回报率来源、客户与员工体验的核心，也是其引以为傲的成果。 2018年时，很少有人使用“助手”一词，更不用说“自主式AI”了，但美国银行组建了一个由软件工程师、语言学家和银行业专家组成的团队，打造了这款小型语言模型，该模型多年来根据呼叫中心收集的客户反馈数据不断优化。美国银行消费者、商业和财富管理技术部门负责人哈里·戈帕尔克里什南(Hari Gopalkrishnan)表示，Erica之所以能够成功且经久不衰，关键在于其规模较小。

4/28/2025 7:05:00 AM

Paula Rooney

企业中最常用的十种GenAI工具

从AI聊天机器人和虚拟助手，到音频和视频生成器，这些都是当今最前沿的GenAI工具。自OpenAI于2022年推出ChatGPT以来，GenAI已大规模进入企业领域。根据Precedence Research的数据，2024年全球GenAI市场规模已超过250亿美元，并预计到2033年将达到惊人的8030亿美元。

4/25/2025 7:10:00 AM

Thor Olavsrud

CISO仍未遏制影子AI飙升的数据风险

GenAI带来了诸多益处，但同时也伴随着数据安全风险，这主要通过影子AI的使用和敏感信息的泄露来实现。在企业中，这些风险正在加剧，因为员工经常使用私人GenAI账户来处理敏感数据。根据Netskope的一项研究，尽管大多数企业(90%)都提供了官方批准的GenAI应用，甚至更多(98%)的企业为用户提供了包含AI功能的应用，但企业中未经授权的AI服务使用仍在激增。

4/25/2025 7:05:00 AM

John

2025年全球GenAI手机出货量有望突破4亿部，渗透率约占三分之一

根据Counterpoint的最新预测，2025年全球智能手机市场将迎来一个重要的里程碑：三分之一的智能手机出货量将支持生成式人工智能（GenAI），预计全年出货量将超过4亿部。这一趋势标志着智能手机行业在人工智能技术集成方面的快速进步，也预示着GenAI将成为未来智能手机的核心功能之一。 d3001.pngGenAI集成加速，技术与市场需求推动变革从2024年到2025年，全球智能手机支持GenAI的比例显著提升。

4/22/2025 6:58:02 AM

五个强大的AI提示词，可助力任何商业创意

你已经有了一个很棒的商业想法，这是一个开始，但要将它付诸实践还有大量工作要做。幸运的是，在这个领域，GenAI可以发挥极大的帮助作用，它虽然不会为你提供万无一失的策略，但它可以帮助你进行商业计划的头脑风暴、研究市场和微调营销内容和信息。不过，这并不是简单地将你的指令输入ChatGPT，然后指望它为你完成所有艰苦的工作。

4/17/2025 7:00:00 AM

Bernard Marr

资讯热榜

苹果发布全新Xcode 26开发者工具：内置ChatGPT先进AI功能 Microsoft Releases 700 Real AI Cases to Explore New Intelligent Work Models 微软发布 700 个真实 AI 案例，探索智能化工作新模式豆包App“一句话P图”功能全新升级基于SeedEdit 3.0实现全面优化 Li Hang, head of ByteDance AI Lab, resigns; Seed team enters adjustment period DeepSeek前高管秘密创业，新AI Agent项目已获顶级VC押注苹果向开发者开放本地AI能力，推出全新Foundation Models框架支持MCP！开源智能体开发框架 Rowboat：打造你的智能助手只需几分钟

标签云

人工智能 AI OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌数据机器人大模型 Midjourney 用户智能开源微软 GPT Meta 学习图像技术 AI创作 Gemini 论文马斯克 Stable Diffusion 算法英伟达代码 Anthropic 芯片开发者生成式蛋白质腾讯神经网络训练 3D 研究生成智能体苹果计算机器学习 Sora Claude AI设计 AI for Science GPU AI视频人形机器人搜索华为百度场景大语言模型 xAI 预测伟达深度学习 LLM 字节跳动 Transformer Agent 模态具身智能神器推荐工具文本视觉 LLaMA 算力 Copilot 驾驶大型语言模型 API RAG 应用架构