dInfer
推理速度10倍提升,蚂蚁集团开源业内首个高性能扩散语言模型推理框架dInfer
近日,蚂蚁集团正式开源业界首个高性能扩散语言模型(Diffusion Large Language Model,dLLM)推理框架 dInfer。 在基准测试中,dInfer 将 dLLM 的推理速度相比于 Fast-dLLM 提升了 10 倍以上,并在关键的单批次(batch size=1)推理场景下,作为首个开源框架实现了大幅超越经过高度优化的自回归(AR)模型的性能里程碑,在 HumanEval 上达到 1011 tokens / 秒的吞吐量 。 dInfer 通过一系列算法与系统协同创新,攻克了 dLLM 的推理瓶颈,兑现了其内生并行生成带来的推理效率潜力。
10/13/2025 5:40:00 PM
机器之心
- 1
资讯热榜
最强OCR竟然不是DeepSeek、Paddle!HuggingFace新作:六大顶尖开源OCR模型横评!继DS后又杀出匹黑马!
如何把ChatGPT嵌入到自己的应用中?
OpenAI 内部警示:ChatGPT Atlas 面临“即时注入”安全威胁
基于JoyAgent的二开工程实践(信贷尽调报告生成)
ChatGPT 涉嫌“诱导”美国 16 岁少年自杀,家属指控 OpenAI 事发前放松安全措施
微软AI主管苏莱曼:微软不会开发情色类AI,与OpenAI划清界限
FM Agent登顶OpenAI MLE-Bench,由百度智能云研发
Kimi k2性能被赞超越 GPT-5,月之暗面再获数亿美元重磅融资
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
谷歌
AI绘画
机器人
大模型
数据
Midjourney
开源
Meta
智能
微软
用户
AI新词
GPT
学习
技术
智能体
马斯克
Gemini
图像
Anthropic
英伟达
AI创作
训练
LLM
论文
代码
算法
AI for Science
芯片
Agent
腾讯
Stable Diffusion
苹果
Claude
蛋白质
开发者
生成式
神经网络
xAI
机器学习
3D
人形机器人
RAG
研究
AI视频
生成
大语言模型
具身智能
Sora
工具
GPU
百度
华为
计算
字节跳动
AI设计
搜索
大型语言模型
AGI
视频生成
场景
深度学习
架构
DeepMind
生成式AI
编程
视觉
预测
Transformer
AI模型
伟达
亚马逊
特斯拉