AI在线 AI在线

Anthropic 开源神经网络追踪工具,可生成归因图直观展示 AI 模型处理提示词具体过程

Anthropic开源新一代神经网络追踪工具,可生成归因图展示AI模型推理过程,并与Neuronpedia平台结合提供互动体验。CEO Dario Amodei强调此举将提升大模型可解释性。#AI可解释性# #开源工具#

Anthropic 公司现已正式开源了其新一代的神经网络追踪(Circuit Tracing)工具,旨在帮助研究人员深入解析大模型的内部推理机制。

据悉,该工具可生成一系列“归因图(Attribution Graphs)”以展示 AI 模型处理提示词的具体过程,便于开发者进一步观察、微调模型。

此外,Anthropic 还与 Decode Research 团队合作推出了 Neuronpedia 前端平台,用户可以在网页上直接与相应归因图进行互动。平台还提供了“示例笔记本”,展示如 Gemma-2-2b 和 Llama-3.2-1b 等模型的内部运作方式,鼓励用户尝试各种提示词,比较不同模型的具体行为。

Anthropic 开源神经网络追踪工具,可生成归因图直观展示 AI 模型处理提示词具体过程

Anthropic 公司首席执行官 Dario Amodei 指出,大模型的“可解释性”已成为业界共同关注的课题,这套神经网络追踪工具将促进社区参与度,有助于开发者加快对大模型行为逻辑的理解。

相关资讯

简化芯片设计传统,AI训练的新型算法正改变芯片研发范式

编辑丨&自1971年第一个商用微处理器的草图面世以来,芯片设计已经取得了长足的进步。 但是,随着芯片变得越来越复杂,设计人员必须解决的问题也越来越复杂。 而我们目前的工具并不总是能胜任这项任务。
1/7/2025 2:51:00 PM
ScienceAI

光中介层可能在 2025 年开始加速 AI

编辑丨toileter光纤电缆正在逐渐靠近高性能计算机中的处理器,用玻璃取代铜连接。 科技公司希望通过将光学连接从服务器外部移动到主板上,然后让它们与处理器并排放置,从而加速 AI 并降低其能源成本。 现在,科技公司准备在寻求成倍增加处理器潜力的道路上走得更远——通过滑入处理器下面的连接。
2/5/2025 2:30:00 PM
ScienceAI

2024 年 AI 十大故事,透视技术变革与未来挑战

编辑 | 20492024 年,人工智能技术持续改变着我们的生活和工作方式。 IEEE Spectrum 精选了年度最具影响力的 10 个 AI 故事,从技术突破到社会影响,全方位展现了 AI 发展的现状与挑战。 这些故事不仅反映了生成式 AI 的革命性进展,也揭示了其存在的局限与争议。
2/6/2025 2:06:00 PM
ScienceAI
  • 1