模型
70%大小,100%准确!完美压缩LLM性能0损失,推理速度最高飙升39倍
人人都想有一个自己的DeepSeek,但并不是人人都有「一打」96GB显存的H20。 虽然量化可以极大地降低模型对于显存的需求,但它本质上是一种有损压缩技术。 换句话说就是,量化模型的输出分布不可避免地会受到影响,进而降低LLM的准确性和可靠性。
4/27/2025 9:15:40 AM
新智元
从底层重构强化学习训练框架,阿里高德开源新方法:抛弃替代损失函数,仅需优化原始目标
抛弃替代损失函数,仅需优化原始目标, 强化学习新范式来了:消除critic和reference模型,避免KL散度约束;解决优势函数和梯度估计两个偏差。 来自阿里-高德地图的团队提出了一种相当简单的强化学习训练新方法:组策略梯度优化GPG (Group Policy Gradient)。 GPG开创性地从底层重构强化学习训练框架,仅需优化原始目标,解决已有方法偏差,提高训练效率。
4/27/2025 9:12:00 AM
大模型何以擅长小样本学习?ICLR 2025这项研究给出详细分析
近年来,大语言模型(LLM)在人工智能领域取得了突破性进展,成为推动自然语言处理技术发展与通用人工智能实现的核心力量。 上下文学习能力(In-Context Learning, ICL)是 LLM 最显著且重要的能力之一,它允许 LLM 在给定包含输入输出示例的提示(prompt)后,直接生成新输入的输出,这一过程仅通过前向传播而无需调整模型权重。 这种能力使得 LLM 能够基于上下文中的示例快速理解并适应新任务,展现出强大的小样本学习和泛化能力。
4/27/2025 9:10:00 AM
机器之心
首个大模型全链路安全综述 !南洋理工新国立等发布LLM Safety全景图:从数据、训练到部署的全面梳理
随着人工智能技术迅猛发展,大模型(如GPT-4、文心一言等)正逐步渗透至社会生活的各个领域,从医疗、教育到金融、政务,其影响力与日俱增。 然而,技术的进步也伴随着潜在风险——大模型安全这一议题正成为全球科技界关注的焦点。 南洋理工大学、新加坡国立大学等全球40余所顶尖机构的67位学者联袂打造大模型全链路安全综述,综合梳理了843篇文章,系统的从全栈视角分析了大模型从出生到应用的全栈安全,涵盖数据准备→预训练→后训练→部署→商业化应用以及安全性评估等全部阶段。
4/27/2025 9:07:00 AM
量子位
北航推出全开源TinyLLaVA-Video-R1,小尺寸模型在通用视频问答数据上也能复现Aha Moment!
当前,基于强化学习提升多模态模型的推理能力已经取得一定的进展。 但大多研究者们选择 7B 的模型作为基座,这对于许多资源有限的科研人员而言仍存在显著的门槛。 同时,在视频推理领域,由于高质量强推理性数据较为稀少,通用问答数据较难激发模型的深层次逻辑推理能力,因此先前一些初步尝试的效果大多不尽如人意。
4/27/2025 9:00:00 AM
机器之心
英伟达AI奥赛夺冠,1.5B数学碾压DeepSeek-R1!代码全系开源,陶哲轩点赞
AI数学奥赛第一名「答卷」终于公布! NVIDIA公布并开源了他们的冠军模型OpenMath-Nemotron系列! 论文地址:、软件工程师Chan Kha Vu,则盛赞道:这些模型太不可思议了!
4/27/2025 8:54:00 AM
新智元
秒杀同行!Kimi开源全新音频基础模型,横扫十多项基准测试,总体性能第一
kimi 又发布了新的开源项目 —— 一个全新的通用音频基础模型 Kimi-Audio,支持语音识别、音频理解、音频转文本、语音对话等多种任务,在十多个音频基准测试中实现了最先进的 (SOTA) 性能。 结果显示,Kimi-Audio 总体性能排名第一,几乎没有明显短板。 例如在 LibriSpeech ASR 测试上,Kimi-Audio 的 WER 仅 1.28%,显著优于其他模型。
4/27/2025 8:50:00 AM
机器之心
英伟达开源「描述一切」模型,拿下7个基准SOTA
图像描述(image captioning)生成一直是计算机视觉和自然语言处理领域面临的长期挑战,因为它涉及理解和用自然语言描述视觉内容。 虽然近期的视觉语言模型 (VLM) 在图像级描述生成方面取得了令人瞩目的成果,但如何为图像中的特定区域生成详细准确的描述仍然是一个悬而未决的问题。 这一挑战在视频领域尤为突出,因为模型必须额外捕捉动态视觉内容,例如人类动作、物体运动以及人与物体的交互。
4/27/2025 8:30:00 AM
机器之心
如何利用网络爬虫进行大规模LLM数据收集
大语言模型的 “智慧” 很大程度上依赖于其训练数据的质量和数量。 想要打造一个能够理解真实世界的模型,就必须获取来自真实世界的信息,而互联网无疑是海量数据的主要来源。 本文将深入探讨如何利用网络爬虫收集大规模、适用于 AI 训练的数据,为人工智能模型的训练筑牢坚实基础。
4/27/2025 4:05:00 AM
大模型之路
不要小看线性回归!
在数据领域初学时,大家常听到的一个建议是:不要试图把整个机器学习都学透——因为它实在太庞大且变化太快,根本不现实;而更应该聚焦在少数几个与数据工作日常紧密相关的模型,比如决策树、支持向量机,当然,还有线性回归。 线性回归本身就是一个非常实用的模型,更有意思的是,许多其他机器学习模型其实都是在它的基础上稍作改动而来。 本文的目的,就是想让大家看到这一点。
4/27/2025 4:02:00 AM
你的 MCP 调用正在成为系统的"后门",这个解决方案刻不容缓!
在人工智能快速发展的今天,大型语言模型 (LLM) 已成为提升工作效率的重要工具。 随着 MCP(Model Context Protocol)的出现,我们有了一种标准化的方式来与 AI 模型交互。 然而,当需要同时使用多个 MCP 资源服务器时,管理和使用这些服务不仅变得复杂,安全问题也越发严重。
4/27/2025 3:34:00 AM
PIG AI
CVPR2025 | 即插即用!清华国科大等推出视觉微调框架,仅需调整5%骨干网络参数
仅调整5%的骨干网络参数,就能超越全参数微调效果? 还是在实例分割、目标检测、旋转目标检测这样的经典视觉任务场景。 这是来自清华、国科大、上海交大、阿里巴巴的一项研究,相关论文已被CVPR2025接受。
4/26/2025 4:44:45 PM
7B超越GPT!1/20数据,无需知识蒸馏,马里兰等推出全新视觉推理方法
在大模型时代,视觉语言模型(Vision-Language Models, VLMs)正在从感知走向推理。 在诸如图像问答、图表理解、科学推理等任务中,VLM不再只需要「看见」和「描述」,而是要能「看懂」和「想清楚」。 然而,当前主流的推理能力提升方法普遍存在两个问题:1.
4/26/2025 9:25:00 AM
新智元
AI入侵学术圈,超700篇顶刊论文暴雷!科学侦探揭秘真相,登Nature头版
「截至我最后的知识更新」,「重新生成响应」,「作为一个AI语言模型」......这些短句,已经成为顶刊论文中的常态。 2024年,一篇发表在Radiology Case Reports上论文,因文中出现了「我是一个AI语言模型」,直接被撤稿。 令人震惊的是,这句话不仅没有引起作者注意,更逃过了编辑、审稿人、排版人的审查。
4/25/2025 10:57:39 AM
新智元
刚刚,OpenAI推出「轻量级」Deep Research,免费用户也能薅羊毛!
刚刚,OpenAI 宣布推出「轻量级」版本的 Deep Research,免费用户也可以使用! 轻量级版本由 OpenAI 的 o4-mini 模型提供支持,而之前的 Deep Research 使用的是更强大的 o3 模型(或其变体)。 OpenAI 表示,虽然响应通常会更简短,但仍能够维持您所期待的深度和质量。
4/25/2025 10:26:19 AM
机器之心
RL真让大模型更会推理?清华新研究:其能力边界或仍被基座「锁死」
近年来,RLVR(可验证奖励的强化学习)训练大模型在数学、代码等各项任务中表现惊艳,大模型的推理能力快速提升,强化学习因而被视为重要的推手。 然而,其中直指核心的重要问题却悬而未决:强化学习真的能让大模型获得超越基础模型的新推理能力吗? 清华大学LeapLab团队联合上海交通大学开展的最新实证研究,通过实验现象揭示了一个值得关注的问题:当前的 RLVR 方法似乎尚未突破基座模型的能力上限。
4/25/2025 9:22:44 AM
机器之心
无需数据标注!测试时强化学习,模型数学能力暴增 | 清华&上海AI Lab
无需数据标注,在测试时做强化学习,模型数学能力暴增159%! 清华和上海AI Lab周伯文团队用这样的方法,对模型进行了强化——结果模型在多个数据集上的成绩均大幅提升,尤其是Qwen-2.5-Math-7B,它做AIME 2024竞赛题的成绩直接提高了159%。 实验过程中,强化学习的数据均由被训练的模型自身生成。
4/25/2025 9:20:00 AM
北大团队引领3D生成与对齐革新:OctGPT打破扩散模型垄断
近年来,智能三维形状生成(3D AIGC)技术迅速崛起,正成为推动数字内容创作革新的关键力量,特别是在游戏、影视、虚拟现实和工业设计等领域表现出巨大的应用潜力。 随着技术的不断进步,三维内容的生成质量与效率持续提升,成为业界与学界广泛关注的焦点。 最近,北京大学陈宝权教授带领团队在三维形状生成和三维数据对齐方面取得新的突破。
4/25/2025 9:15:00 AM
量子位
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
谷歌
AI绘画
大模型
机器人
数据
Midjourney
开源
AI新词
Meta
微软
智能
用户
GPT
学习
技术
智能体
马斯克
Gemini
Anthropic
英伟达
图像
AI创作
训练
LLM
论文
代码
算法
AI for Science
Agent
Claude
苹果
芯片
腾讯
Stable Diffusion
蛋白质
开发者
xAI
生成式
神经网络
机器学习
3D
RAG
具身智能
AI视频
人形机器人
研究
大语言模型
百度
生成
GPU
Sora
工具
华为
计算
字节跳动
AI设计
大型语言模型
AGI
搜索
视频生成
场景
生成式AI
深度学习
DeepMind
架构
MCP
AI模型
亚马逊
特斯拉
Transformer
编程
视觉
预测