SGLang
当开源创新遇上推理革命:SGLang如何炼就DeepSeek最强开源推理引擎?
2025 年开年,DeepSeek R1 和 V3 重磅发布,其超强的语言建模与推理能力,引爆了全球 AI 社区。 与此同时,一个隐藏在超大规模模型身后的技术命题浮出水面:如何让千亿参数超大规模 AI 模型真正达到商业级推理速度? 这一问题的答案,隐藏在推理引擎 SGLang 的代码仓库中。
3/6/2025 9:04:00 PM
机器之心
吞吐量提升5倍,联合设计后端系统和前端语言的LLM接口来了
大型语言模型 (LLM) 越来越多地用于需要多个链式生成调用、高级 prompt 技术、控制流以及与外部环境交互的复杂任务。然而,用于编程和执行这些应用程序的现有高效系统存在着明显的缺陷。现在,开源社区的研究者们面向 LLM 提出了一种结构化生成语言(Structured Generation Language)——SGLang。SGLang 能够增强与 LLM 的交互,通过联合设计后端运行时系统和前端语言,使 LLM 更快、更可控。机器学习领域知名学者、CMU 助理教授陈天奇还转发了这项研究。总的来说,SGLan
1/19/2024 11:27:00 AM
机器之心
- 1
资讯热榜
GPT-5 登场?OpenAI 预告北京时间明天凌晨 1 时直播
月之暗面开源 Kimi-K2:万亿参数,超强Agent,全线 SOTA
AI Programming Tools Gradually Shift to Terminal Interface, Future Development May Be Transformed Completely!
19种玩法超全总结!即梦 AI 垫图指南(附提示词)
Moon's Dark Side Kimi K2 API is Slow, Being Optimized Intensively!
Apple MLX Supports NVIDIA CUDA, AI Developers Benefit from Cost and Efficiency
ChatGPT 有望原生支持编辑 Excel 和 PPT 文件,OpenAI 挑战微软 Office
根本停不下来,Meta 被曝又从 OpenAI 挖走两名顶级研究人员
标签云
人工智能
AI
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
数据
机器人
大模型
Midjourney
开源
智能
用户
Meta
微软
GPT
学习
技术
图像
Gemini
AI创作
马斯克
论文
Anthropic
英伟达
代码
智能体
算法
Stable Diffusion
训练
芯片
开发者
蛋白质
生成式
腾讯
苹果
LLM
神经网络
AI新词
3D
Claude
研究
生成
机器学习
AI for Science
计算
xAI
人形机器人
Sora
AI视频
Agent
GPU
AI设计
百度
华为
搜索
大语言模型
工具
场景
字节跳动
预测
大型语言模型
深度学习
伟达
RAG
Transformer
具身智能
视觉
神器推荐
亚马逊
视频生成
AGI
Copilot
DeepMind
模态
LLaMA
文本