AI在线 AI在线

模型

妈妈再也不用担心延迟了!斯坦福手搓Llama超级内核,推理仅需0.00068秒

想象一下:你和AI聊天时,每句话都要等它3秒——血压是不是瞬间飙升? 低延迟LLM推理,就是专门针对这个问题的解决办法。 博客地址:「整了个大活」:他们手搓了个叫做「Megakernel」超级玩具(推理引擎),把Llama-1B的前向传播整个塞进单个GPU内核!
5/30/2025 9:12:00 AM

基准测试揭秘大模型“字数危机”:26个模型长文本生成普遍拉胯,最大输出长度过度宣传

你是否曾对大语言模型(LLMs)下达过明确的“长度指令”? 比如,“写一篇10,000字的长文,详细分析某个议题。 ”看似简单的要求,实际却往往让这些模型“力不从心”:不是生成内容不足,就是重复啰嗦,甚至直接罢工拒绝生成。
5/30/2025 9:10:00 AM

135 个项目、七大趋势、三大赛道:撕开大模型开源生态真相,你会怎么卷?

在微软 Build、谷歌 I/O、 Code with Claude 三大开发者大会接连登场的一周里,微软为 Windows 加装模型上下文协议(MCP),Google Gemini 野心初显「AI 操作系统」,Claude 4.0 高调抢滩编程主战场。 就在这样的节奏下,5 月 27 日,蚂蚁集团的开源团队「接棒」发布了一张《 2025 大模型开源开发生态全景图》。 访问地址::——135 个社区核心项目、19 个技术领域,全面覆盖从智能体应用到模型基建,系统性梳理了开源力量在大模型浪潮下的集结与演化路径。
5/30/2025 9:07:00 AM

Linear-MoE:线性注意力遇上混合专家的开源实践

近年来随着大语言模型的爆火,旨在取代 Transformer 的高效模型架构及其预训练成为大模型领域的研究热点,主要包括线性序列建模(如 Linear Attention、SSM、Linear RNN 等)和混合专家(Mixture-of-Experts, MoE)两部分。 这两部分分别都有了长足的进步,但两者的结合却鲜少有人研究,两者结合后的 Linear-MoE 架构开源实现更是完全缺失。 值得一提的是,近期广受好评的 MiniMax-01 模型(使用 Lightning Attention-MoE)和腾讯混元 TurboS 模型(使用 Mamba2-MoE)均属于 Linear-MoE 架构。
5/30/2025 9:06:00 AM

SOTA大模型遇上加密数据评测:Qwen3未破10%,o1也栽了丨上海AI Lab等联合研究

大语言模型遇上加密数据,即使是最新Qwen3也直冒冷汗! 尽管当前的推理模型在各类基准测试中展现出卓越的性能,但在密码学这一对逻辑严密性和细节精确度要求近乎苛刻的专业领域,模型的推理能力仍有待深入探索。 密码学不仅需要模型具备高阶数学运算能力和严密的逻辑推理链条,更要求其能够精准识别复杂加密模式中的潜在规律;成功解密需要模型具有极强的综合推理能力。
5/30/2025 9:03:00 AM

LLM省钱大测评!48块GH200,首个百亿级参数量实证

近年来,大型语言模型(LLM)如GPT系列取得了革命性进展,在自然语言处理、内容创作、多语言翻译乃至科学研究等众多领域展现出惊人能力。 然而,模型参数量(如DeepseekR1的671B参数)和上下文窗口的急剧膨胀,带来了巨大的计算力(GPT-3训练约需3640Petaflop/s-days)、能源消耗和资金投入(GPT-3训练成本估计超460万美元)。 高昂的成本已成为制约LLM进一步发展和广泛应用的关键瓶颈。
5/30/2025 8:50:00 AM

还得是华为!Pangu Ultra MoE架构:不用GPU,你也可以这样训练准万亿MoE大模型

Pangu Ultra MoE 是一个全流程在昇腾 NPU 上训练的准万亿 MoE 模型,此前发布了英文技术报告[1]。 最近华为盘古团队发布了 Pangu Ultra MoE 模型架构与训练方法的中文技术报告,进一步披露了这个模型的细节。 训练超大规模和极高稀疏性的 MoE 模型极具挑战,训练过程中的稳定性往往难以保障。
5/30/2025 8:45:00 AM

【一文读懂AI核心要点】什么是大模型?你真的知道“大模型”和“大语言模型”的区别吗?

在人工智能领域,“大模型”和“大语言模型”这两个词经常被提及,很多人甚至把它们当成了同义词。 其实,这两者之间存在本质的区别。 今天,我就带你深入剖析什么是大模型,什么是大语言模型(LLM),它们的区别在哪里,以及如何利用这些模型提升你的项目效率。
5/30/2025 5:00:00 AM
爱学习的蝌蚪

万人在看,用Deepseek根据需求定制化写文档并导出,你一定用的上!

需求分析前几天工程立项,主要批量写功能点用于新一年的工程预算。 但是工作量大,共计20000 行左右,要求3天之内完成。 图片文档主要结构及表头信息如下(提供模版部分字段)图片由于工作量太大,手工敲需要消耗大量的人力,于是借助deepseek大模型实现,让AI帮忙干活。
5/30/2025 2:10:00 AM
微微一笑

CVPR 2025 | 字节提出个性化多人图像生成新方法ID-Patch,可生成多人合影、姿势可控

相信扩散模型(DMs)大家一定都不陌生了,目前已经成为文本生成图像的核心方法,凭借强大的图像生成能力,正重塑艺术创作、广告设计、社交媒体内容生产格局。 现在,用一段文字生成个性化头像都不算啥新鲜事儿了。 不过仍然会有这样一个问题,目前我们看到的基于人物的文生图大多还是生成一个人的,对于多人同时生成的目前还没有很好的样例。
5/29/2025 9:34:14 AM
AIGC Studio

搜索Agent最新高效推理框架:吞吐量翻3倍、延迟降至1/5,还不牺牲答案质量丨南开& UIUC研究

AI越来越聪明,但如果它们反应慢,效率低,也难以满足我们的需求。 大语言模型(LLM)驱动的搜索智能体,通过动态拆解问题、交错执行“思考”(推理)和“查找”(检索)来解决复杂任务,展现了惊人能力。 然而,这种深度交互的背后,也隐藏着显著的效率痛点。
5/29/2025 9:21:28 AM

港科大Apple新研究:Tokens使用量减少,模型推理还更强了

1 1等于几? 现在的大推理模型(LRMs)已经展现出了非凡的推理能力。 但是面对这样最简单的数学问题,现有的LRMs仍需要花费1400 的tokens来思考。
5/29/2025 9:20:00 AM

准确率92.7%逼近Claude 3.5、成本降低86%,开源代码定位新神器LocAgent来了

又是一个让程序员狂欢的研究! 来自 OpenHands、耶鲁、南加大和斯坦福的研究团队刚刚发布了 LocAgent—— 一个专门用于代码定位的图索引 LLM Agent 框架,直接把代码定位准确率拉到了 92.7% 的新高度。 该研究已被 ACL 2025 录用。
5/29/2025 9:18:20 AM

爆火论文颠覆RL认知!「错误奖励」让LLM推理暴涨24.6%,学界惊了

今早的一篇爆火论文,彻底颠覆了人们对「强化学习」的传统认知。 仅用随机奖励,甚至是错误答案,也能让AI在数学推理中性能暴涨! 来自华盛顿大学、AI2、UC伯克利研究团队证实,「伪奖励」(Spurious Rewards)也能带来LLM推理能力提升的惊喜。
5/29/2025 9:14:17 AM

阿里通义发布并行计算新策略:1.6B等效4.4B,内存消耗骤降95%

既能提升模型能力,又不显著增加内存和时间成本,LLM第三种Scaling Law被提出了。 对于1.6B模型,能实现性能接近4.4B模型,内存占用仅为后者的1/22,延迟增加量为1/6。 并且可直接应用于现有模型(如Qwen-2.5),无需从头训练。
5/29/2025 9:14:00 AM

一个省略号提示+强化学习搞定大模型“过度思考”,中科院自动化所新方法:从强制推理到自主选择

在日益强调“思维能力”的大语言模型时代,如何让模型在“难”的问题上展开推理,而不是无差别地“想个不停”,成为当前智能推理研究的重要课题。 中国科学院自动化研究所联合鹏城实验室提出了一种高效的推理策略,赋予推理大模型根据题目难度自主切换思考模式的能力:通过一个小小的省略号作为提示词 多阶段强化学习,引导大模型自主决定是否深度思考、思考多少。 研究背景:大模型“想太多”,是优点还是负担?
5/29/2025 9:08:00 AM

刚刚,新版DeepSeek-R1正式开源!直逼o3编程强到离谱,一手实测来了

就在今天凌晨,新版DeepSeek-R1正式开源了! DeepSeek-R1-0528模型权重已上传到HuggingFace,不过模型卡暂未更新。 项目地址:,DeepSeek-R1完成了超进化,编码能力强到离谱,而且思考时间更长了。
5/29/2025 9:04:51 AM