AI在线 AI在线

SGLang

大模型优秀大脑齐聚硬核开源聚会，SGLang社区举办国内首次Meetup

大模型优秀大脑齐聚硬核开源聚会，SGLang社区举办国内首次Meetup
远在大洋彼岸的 Pytorch Conference 2025 全球开发者峰会已经走向尾声。 作为全世界最具影响力的深度学习开发者社区的重大活动之一，Pytorch Conference 最近收获了相当的关注度，展现了相当的社区活力。       SGLang 同样参加了Pytorch Conference 2025，核心成员Yineng Zhang 在大会做了相关分享。
10/28/2025 2:42:00 PM
机器之心
首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合

首个开源实现100%可复现的稳定RL训练框架来了！2次结果完全重合
开源框架实现100%可复现的稳定RL训练！ 下图是基于Qwen3-8B进行的重复实验。 两次运行，一条曲线，实现了结果的完美重合，为需要高精度复现的实验场景提供了可靠保障。
9/27/2025 11:30:07 AM
衡宇
当开源创新遇上推理革命：SGLang如何炼就DeepSeek最强开源推理引擎？

当开源创新遇上推理革命：SGLang如何炼就DeepSeek最强开源推理引擎？
2025 年开年，DeepSeek R1 和 V3 重磅发布，其超强的语言建模与推理能力，引爆了全球 AI 社区。 与此同时，一个隐藏在超大规模模型身后的技术命题浮出水面：如何让千亿参数超大规模 AI 模型真正达到商业级推理速度？ 这一问题的答案，隐藏在推理引擎 SGLang 的代码仓库中。
3/6/2025 9:04:00 PM
机器之心
吞吐量提升5倍，联合设计后端系统和前端语言的LLM接口来了

吞吐量提升5倍，联合设计后端系统和前端语言的LLM接口来了
大型语言模型 (LLM) 越来越多地用于需要多个链式生成调用、高级 prompt 技术、控制流以及与外部环境交互的复杂任务。然而，用于编程和执行这些应用程序的现有高效系统存在着明显的缺陷。现在，开源社区的研究者们面向 LLM 提出了一种结构化生成语言（Structured Generation Language）——SGLang。SGLang 能够增强与 LLM 的交互，通过联合设计后端运行时系统和前端语言，使 LLM 更快、更可控。机器学习领域知名学者、CMU 助理教授陈天奇还转发了这项研究。总的来说，SGLan
1/19/2024 11:27:00 AM
机器之心
  • 1