AI
模型压缩到70%,还能保持100%准确率,无损压缩框架DFloat11来了
大型语言模型(LLMs)在广泛的自然语言处理(NLP)任务中展现出了卓越的能力。 然而,它们迅速增长的规模给高效部署和推理带来了巨大障碍,特别是在计算或内存资源有限的环境中。 例如,Llama-3.1-405B 在 BFloat16(16-bit Brain Float)格式下拥有 4050 亿个参数,需要大约 810GB 的内存进行完整推理,超过了典型高端 GPU 服务器(例如,DGX A100/H100,配备 8 个 80GB GPU)的能力。
上交大等探索键值压缩的边界:MILLION开源框架定义模型量化推理新范式,入选顶会DAC 2025
本篇工作已被电子设计自动化领域顶级会议 DAC 2025 接收,由上海交大计算机学院蒋力教授与刘方鑫助理教授带领的 IMPACT 课题组完成,同时也获得了华为 2012 实验室和上海期智研究院的支持。 第一作者是博士生汪宗武与硕士生许鹏。 在通用人工智能的黎明时刻,大语言模型被越来越多地应用到复杂任务中,虽然展现出了巨大的潜力和价值,但对计算和存储资源也提出了前所未有的挑战。
首个系统性工具使用奖励范式,ToolRL刷新大模型训练思路
钱成目前是伊利诺伊大学香槟分校 (UIUC) 一年级博士生,导师为季姮教授。 本科就读于清华大学,导师为刘知远教授。 其工作集中在大语言模型工具使用与推理以及人工智能体方向。
字节Seed团队PHD-Transformer突破预训练长度扩展!破解KV缓存膨胀难题
最近,DeepSeek-R1 和 OpenAI o1/03 等推理大模型在后训练阶段探索了长度扩展(length scaling),通过强化学习(比如 PPO、GPRO)训练模型生成很长的推理链(CoT),并在奥数等高难度推理任务上取得了显著的效果提升。 受此启发,研究人员开始探索预训练阶段的长度扩展,已有方法包括在序列中插入文本、插入潜在向量(如 Coconut)、复用中间层隐藏状态(如 CoTFormer)以及将中间隐藏状态映射为概念(如 COCOMix)。 不过,这些方法普遍存在问题,比如需要更大的 KV 缓存导致推理慢 / 占内存多。
AI三驾马车:数据、算力和算法,谁更重要?
人工智能(AI)好比一台超级跑车,正在高速公路上飞驰。 这台超级跑车由三个核心部件驱动:算法是引擎,决定了车辆性能的上限;算力是燃油,提供源源不断的能量;数据是道路,铺就了AI前进的方向。 这三者构成了AI发展的铁三角,缺一不可!算法:AI的思维引擎算法是AI的大脑,决定了系统如何学习和决策。
使用OAuth2保护Spring AI MCP服务!
Spring AI框架提供了对Model Context Protocol(简称MCP)的全面支持,使AI模型能够以标准化方式与外部工具和资源进行安全交互。 借助Spring AI,开发者仅需少量代码即可构建功能完备的MCP服务器,为AI模型提供丰富的功能扩展。 MCP 中的授权和安全MCP服务器默认支持通过STDIO传输在本地环境中运行。
猛击OpenAI o1、DeepSeek-R1!刚刚,阿里Qwen3登顶全球开源模型王座,深夜爆火
今天凌晨,从昨晚开始预热、备受全球 AI 圈关注的 Qwen3 系列模型终于正式亮相了! Qwen3 模型依旧采用宽松的 Apache2.0 协议开源,全球开发者、研究机构和企业均可免费在 HuggingFace、魔搭社区等平台下载模型并商用,也可以通过阿里云百炼调用 Qwen3 的 API 服务。 HuggingFace 地址: 地址: 地址:::,Qwen3 系列模型包含两款 MoE 模型以及六款密集模型,其中每一款又包含更多细分版本(比如基础版和量化版):MoE 模型:Qwen3-235B-A22B 和 Qwen3-30B-A3B;其中 235B 和 30B 分别是总参数量,22B 和 3B 分别是激活参数量。
苹果挥刀自救,肢解AI团队!神秘硬件或成救命稻草
曾被寄予厚望的苹果AI,似乎已被这个飞速迭代的时代淘汰了。 Siri,作为曾经的语音助手先驱,光环逐渐暗淡。 苹果AI的努力在谷歌OpenAI等巨头夹击之下,又显得力不从心。
RAG性能暴增20%!清华等推出“以笔记为中心”的深度检索增强生成框架,复杂问答效果飙升
在当前大语言模型(LLMs)广泛应用于问答、对话等任务的背景下,如何更有效地结合外部知识、提升模型对复杂问题的理解与解答能力,成为 RAG(Retrieval-Augmented Generation)方向的核心挑战。 来自清华大学、中国科学院大学、华南理工大学、东北大学、九星(AI9Stars)的联合研究团队提出了一项全新的适应式RAG方法——DeepNote。 它首次引入“笔记(Note)”作为知识载体,实现更深入、更稳定的知识探索与整合,在所有任务上均优于主流RAG方法,相较于基础RAG性能提升高达 20.1%。
100年企业知识超10万文件,「内网版ChatGPT」血洗最卷行业!全员70%和AI共事
要说什么行业是地球上「最卷」的,咨询行业说第一,恐怕没有哪个行业敢称第二。 在这个全球最精英、最高压的竞技场里,卷时间、卷精力、卷智力,现在要卷AI了! ChatGPT已经无法满足世界上最「卷」的这批人了。
Adaptive-RAG:让检索增强生成更智能
在人工智能领域,检索增强生成(Retrieval-Augmented Generation,RAG)一直是研究热点。 它通过结合检索和生成技术,为问答系统带来了更强大的性能。 然而,现有的RAG方法并非完美无缺。
非付费广告:OpenAI ChatGPT Search 搜索上线网购功能,基于评价 AI 洞察产品优缺点
OpenAI 公司今天(4 月 29 日)在 X 平台发布推文,宣布增强 ChatGPT Search 搜索体验,新增购物功能,首批覆盖时尚、美妆、家居用品和电子产品等类别。
MCP融合Spring AI,Java程序员大模型技术再上一层楼
在当下的技术发展浪潮中,大语言模型(LLMs)正深度渗透至企业应用开发领域,持续改写着该领域的格局。 开发者积极将其融入现代解决方案。 然而,快速发展背后,大语言模型通信和上下文处理缺乏标准化协议的问题日益凸显。
DataBahn.ai推出“数据礁”智能化安全情报的新时代
在网络安全领域,如何快速而准确地处理海量数据是企业面临的一大挑战。 最近,数据科技公司 DataBahn.ai 推出了一款名为 “数据礁”(Reef)的创新产品,旨在将高流量、高速度的安全监测信息转化为及时、可操作的情报,帮助企业做出更明智的决策。 如今,企业收集的日志、警报和监测数据多达数 PB,但实际上仅分析不到5%。
CrowdStrike 推出 Charlotte AI,开启安全运营新纪元
在近期的 RSA2025大会上,网络安全领导者 CrowdStrike(NASDAQ: CRWD)正式发布了其全新的 AI 平台 Charlotte AI,旨在彻底改革安全运营中心(SOC)的运作模式。 Charlotte AI 不仅将智能自动化与人类网络安全专家的经验相结合,还通过其独特的 “自主推理和响应” 能力,提升了对网络威胁的检测、调查和响应效率。 Charlotte AI 平台包括几个核心模块,首次实现了在没有人工提示的情况下,自动分析和处理第一方和第三方数据。
马蜂窝自主研发的 AI 旅行助手 “AI 小蚂” 上线
近日,马蜂窝正式宣布其自主研发的 AI 旅行助手 “AI 小蚂” 上线。 这款全新的旅行助手经过全面的技术升级,现已接入 DeepSeek 大模型,并结合马蜂窝多年来积累的旅行数据,旨在为用户提供更加精准和可靠的旅行推荐。 “AI 小蚂” 具备多项实用功能,包括实时问答、行程线路规划、在线旅行向导和个性化推荐等,用户可以在马蜂窝 APP 的首页搜索栏及目的地 POI 页面轻松使用这些功能。
谷歌每月向三星支付巨额款项,确保 Gemini AI 助理成为默认选择
在谷歌的反垄断审判中,有关谷歌与三星之间财务交易的细节浮出水面。 根据《彭博社》的报道,谷歌为了将 Gemini AI 应用程序预装在三星设备上,每月向三星支付 “巨额资金”。 这一消息是在法官阿米特・梅塔裁定谷歌的搜索引擎构成非法垄断的背景下披露的。
人工智能助力自闭症群体:社交障碍的“解码器”
随着人工智能技术的迅猛发展,AI应用正成为自闭症群体克服社交障碍的重要工具。 根据美国疾控中心(CDC)的数据显示,当前美国有超过500万成年人被诊断为自闭症。 这一群体通常在解读暗示性言语、非言语交流以及理解复杂社交情境方面面临挑战,而AI的介入为他们提供了前所未有的支持。
资讯热榜
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
谷歌
DeepSeek
AI新词
AI绘画
大模型
机器人
数据
Midjourney
开源
Meta
微软
智能
用户
GPT
学习
英伟达
Gemini
智能体
技术
马斯克
Anthropic
图像
AI创作
训练
LLM
论文
AI for Science
代码
腾讯
苹果
算法
Agent
Claude
芯片
具身智能
Stable Diffusion
xAI
蛋白质
人形机器人
开发者
生成式
神经网络
机器学习
AI视频
3D
字节跳动
大语言模型
RAG
Sora
百度
研究
GPU
生成
华为
工具
AGI
计算
生成式AI
AI设计
大型语言模型
搜索
亚马逊
AI模型
视频生成
特斯拉
DeepMind
场景
Copilot
深度学习
Transformer
架构
MCP
编程
视觉