AI在线 AI在线

GLM-4.5:推理、编程与Agent能力的全面突破

GLM-4.5核心特性概览:•MoE 架构•混合推理模型•总参数 355B(激活参数 32B)•GQA 部分 RoPE•多 Token 预测•Muon 优化器 QK 归一化•22T Token 训练语料•Slime RL 基础设施•原生工具调用图片图片模型架构与预训练:GLM-4.5 总参数规模达 355B(激活参数 32B),采用更深但更窄的模型设计,通过增加层数和 96 个注意力头来优化推理能力。 轻量版 GLM-4.5-Air 为 106B 参数(激活参数 12B)。 图片训练语料库规模达 22T Token,其中包含 15T 通用数据和 7T 代码/推理专用数据。

GLM-4.5核心特性概览:

•MoE 架构

•混合推理模型

•总参数 355B(激活参数 32B)

•GQA + 部分 RoPE

•多 Token 预测

•Muon 优化器 + QK 归一化

•22T Token 训练语料

•Slime RL 基础设施

•原生工具调用

图片图片

图片图片

模型架构与预训练:GLM-4.5 总参数规模达 355B(激活参数 32B),采用更深但更窄的模型设计,通过增加层数和 96 个注意力头来优化推理能力。轻量版 GLM-4.5-Air 为 106B 参数(激活参数 12B)。

图片图片

训练语料库规模达 22T Token,其中包含 15T 通用数据和 7T 代码/推理专用数据。采用分组查询注意力(GQA)+ 部分旋转位置编码(RoPE)来提升长上下文处理效率和推理任务准确性。

中期训练的关键作用: "与早期在大规模通用文档上进行预训练不同,这些阶段采用中等规模的领域特定数据集,包括指令数据。"

其他设计亮点:多 Token 预测(MTP):支持推测解码,实现更快的推理速度。;Muon 优化器 + QK 归一化:提升大批量训练的稳定性和可扩展性。

Slime RL 基础设施

•支持agent强化学习的异步推出与训练分离

•混合精度推出(FP8 推理,BF16 训练)提升效率

图片图片

后训练流程:

•在推理和agent场景上进行监督微调

•针对推理(含课程学习)和agent任务(信息检索问答和代码执行)的强化学习

•专家蒸馏以整合专业技能

图片图片

整体性能表现:GLM-4.5 总排名第三,GLM-4.5 Air 排名第六。

agent能力:这是个令人兴奋的结果!GLM-4.5 提供 128K 上下文长度和原生函数调用能力,性能可媲美 Claude 4 Sonnet!

测试时扩展:GLM-4.5 在 BrowseComp 上的测试时扩展准确率呈现健康的增长曲线。

推理性能:GLM-4.5 在多个推理基准测试中表现极具竞争力。这种稳定的性能表现尤为重要,因为统一各种能力是很难做到的。

编程能力:虽未达到 Claude 4 Opus 或 o3 的水平,但仍极具竞争力,明显优于 DeepSeek-R1-0528,与 Kimi-K2 处于同一水准。

帕累托前沿分析:"GLM-4.5 和 GLM-4.5-Air 相比同等规模的模型展现出卓越性能,在性能-规模权衡边界上实现了最优效率。"

真实场景表现:GLM-4.5 在真实开发场景中的agent编程表现令人印象深刻,相比 Kimi K2 和 Qwen-3 Code 的胜率表现亮眼。

其他能力特性

原生工具调用:通过集成函数调用和agent规划,工具调用成功率达 90.6%。

全栈开发agent:通过类似 Claude Code 的界面实现多轮agent编程,支持前端/后端开发、幻灯片制作和产出物生成。

相关资讯

智谱宣布旗下多款大模型产品降价 其中GLM-4-Plus降价90%

4月24日,智谱BigModel开放平台宣布进入“亿时代”,对旗下多款大模型产品进行价格调整,大幅降低使用门槛,让更多的企业能够以极低成本拥抱大模型技术。 智谱BigModel开放平台此次价格调整涉及多个模型产品。 其中,GLM-4-FlashX模型每亿tokens的价格仅为10元,该模型基于强大的预训练基座,具有超快的推理速度,功能调用能力与GPT-4相当,在数据抽取、生成、翻译等方面表现出色。
4/24/2025 12:00:49 PM
AI在线

最接近GPT-4的国产大模型诞生了

2024 年,国产大模型的第一个重磅消息,来自智谱 AI。在 1 月 16 日举办的 2024 智谱 AI 技术开放日 Zhipu DevDay 上,智谱 AI 正式发布新一代基座大模型「GLM-4」。经历了三个月的技术迭代,GLM-4 相比上一代基座模型 GLM-3 实现了 60% 的性能全面提升,直接逼近 GPT-4。一方面,GLM-4 支持更长的上下文、更强的多模态能力;另一方面,GLM-4 支持更快的推理、更多并发,大大降低了推理成本。同时,GLM-4 也增强了智能体能力,智谱 AI 正式上线了「GLM-4
1/17/2024 3:02:00 PM
机器之心

GLM-4-32B 与 GLM-Z1-32B 在 OpenRouter 上线,免费开放

清华大学 KEG 实验室(THUDM)研发的 GLM-4-32B 及 GLM-Z1-32B 两款前沿大语言模型(LLM)正式在 OpenRouter 平台上线,且完全免费向全球用户开放。 这一里程碑式的事件标志着高性能 AI 模型的普及迈出了重要一步,为开发者、研究人员及 AI 爱好者提供了强大的工具,以推动人工智能应用的进一步创新。 模型上线:性能强劲,免费开放GLM-4-32B 作为一款拥有320亿参数的通用大语言模型,以其在复杂推理、数学能力及多语言处理方面的卓越表现,成为当前开源 LLM 领域的佼佼者。
4/22/2025 9:00:40 AM
AI在线
  • 1