推理

开源大模型王座突然易主，居然来自一家小创业团队，瞬间引爆业界。新模型名为 Reflection 70B，使用一种全新训练技术，让 AI 学会在推理过程中纠正自己的错误和幻觉。比如最近流行的数 r 测试中，一开始它犯了和大多数模型一样的错误，但主动在 反思 标签中纠正了自己。在官方评测中，70B 模型全面超越最强开源 Llama 3.1 405B、GPT-4o、Claude 3 Opus、Gemin…

Cerebras Systems 今日宣布推出 Cerebras Inference，官方称这是全球最快的 AI 推理解决方案。该新解决方案为 Llama 3.1 8B 提供每秒 1800 个 token，为 Llama 3.1 70B 提供每秒 450 个 token，速度是微软 Azure 等超大规模云中提供的基于英伟达 GPU 的 AI 推理解决方案的 20 倍。除了令人难以置信的性能之外，…

智谱 AI 今日宣布，GLM-4-Flash 大模型免费开放，通过智谱 AI 大模型开放平台调用。GLM-4-Flash 适用于完成简单垂直、低成本、需要快速响应的任务，生成速度能达到 72.14 token/s，约等于 115 字符/s。GLM-4-Flash 具备多轮对话、网页浏览、Function Call（函数调用）和长文本推理（支持最大 128K 上下文）等功能，同时支持包括中文、英语、…

最新论文表明，LLM 等生成模型可以通过搜索来扩展，并实现非常显著的性能提升。另一个复现实验也发现，让参数量仅 8B 的 Llama 3.1 模型搜索 100 次，即可在 Python 代码生成任务上达到 GPT-4o 同等水平。强化学习先驱、加拿大阿尔伯塔大学 CS 系教授 Rich Sutton 曾在 2019 年写下一篇名为《The Bitter Lesson》的博文，成为 AI 领域的经典…

科技媒体 The Information 昨日（7 月 24 日）发布博文，爆料称 OpenAI 目前用于 AI 推理的算力，预估相当于 35 万台包含英伟达 A100 芯片的服务器，其中约 29 万台用于 ChatGPT，而且近乎满负荷运行。报道称截至今年 3 月，OpenAI 公司花费近 40 亿美元使用微软服务器为 ChatGPT 运行推理工作负载；此外 OpenAI 今年训练 ChatGP…

生成式 AI 的迅猛发展和广泛应用引发了诸多担忧，从隐私安全到潜在的失业危机。虽然 AI 聊天机器人如 ChatGPT 和微软 Copilot 在短短时间内取得了惊人进步，能够写代码、纠错甚至挑战人类创意，但它们真的像表面看起来那么聪明吗？麻省理工学院计算机科学与人工智能实验室（CSAIL）的一项最新研究指出，这些强大的大型语言模型（LLM）似乎更依赖记忆而不是真正的推理能力。它们在熟悉的任务上表…

英伟达首席执行官黄仁勋发表新言论，表达将来职场会更“卷”，具备推理能力的 AI 可以充当“员工”的角色，处理各种繁杂的任务，在某些领域甚至会超越人类。图源：WikiMedia黄仁勋表达 AI 将会极大地改变将来就业形势，随着 AI 的盛行，程序员这个岗亭可能会“与世长辞”。黄仁勋表达由于写代码即将被淘汰，推荐下一代在专业方面最好选择生物、教育、制造或农业等其他职业。IT之家附上视频如下：黄仁勋预测…

本文探究了 transformers 在做数学推理题目时究竟是采用 case-based reasoning 还是 rule-based reasoning

感谢商汤科技宣布，鉴于商汤“日日新 SenseNova”大模型才智开发的数据分析产品“办公小浣熊”今天正式上线小次序版 ——“Raccoon 智能帮忙”。官方表示，可在小次序中，直接插入微信聊天中的文件（xls / xlsx / csv / txt / json 等），智能帮忙可以提炼重点、生成各类图表。所有结果采用流式方式输出，“所见即所得”，可随时打断。“办公小浣熊”是鉴于商汤大语言模型的大模…

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]本文由 HMI Lab 完成。HMI Lab依托北京大学视频与视觉技…

感谢IT之家网友 刺客 的线索投递！在基准尝试上频频屠榜的大模型们，竟然被一道简单的逻辑推理题打得全军覆没？最近，钻研机构 LAION 的几位作者共同发表了一篇文章，以「爱丽丝梦游仙境」为启发涉及了一系列简单的推理成绩，揭示了 LLM 基准尝试的盲区。一道简单的逻辑成绩，竟让几乎所有的 LLM 全军覆没？对于人类来说，这个名为「爱丽丝梦游仙境」（AIW）的尝试并不算很难 ——「爱丽丝有 N 个弟兄…

今日，云天励飞发布公告，公司与德元方惠签署《AI算力经营合作框架协定》。德元方恵将向云天励飞购买AI训练及推理异构算力效劳，总算力规模约4000PFLOPS，该协定预计在现在三年效劳期内为云天励飞贡献约16亿的营收。奠定现在的业绩本原作为国内领先的人工智能公司，云天励飞一直积极建设算力基座，并且对外提供算力经营效劳。今年3月，云天励飞在发布会上公布了“1 3”业务布局，即基于1个算法芯片化平台，打…

当地时间周六，据路透社援引 6 名知情人士消息，计算机科学家李飞飞正在建立一家草创公司。该公司旨在利用类似人类的视觉处理技能，使 AI 具备高级推理威力，有望成为 AI 技能的一次飞跃。IT之家注：李飞飞被广泛称为“AI 教母”，与通常用来指因 AI 技能突破而在 2018 年获得图灵奖的三位研究人员的“AI 教父”对应。这三名“AI 教父”则是杰弗里・辛顿、杨立昆、约书亚・本西奥。一位消息人士通…

感谢4 月 23 日，商汤科技发布了日日新 5.0 大模型。据介绍，该模型接纳 MOE 混合专家架构，在知识、数学、推理和代码才能方面大幅提高。该模型鉴于超过 10TB tokens 训练，具备 200K 推理上下文窗口（IT之家注：相当于 36.5 万个汉字），推理时上下文窗口达到 200K 左右，更号称“全面对标 GPT-4 Turbo”。其供应自然语言处理、图片生成、自动化数据标注、自定义模…

感谢baidu创始人、董事长兼 CEO 李彦宏今日在 Create 2024 baidu AI 开发者大会上默示，开源模型会越来越发展。李彦宏介绍，因为基础模型文心 4.0 可以根据需要，兼顾效验、响应速度、推理利润等各种考虑，剪裁出适合各种场景的更小尺寸模型，并且支持精调和 post pretrain。这样通过降维剪裁出来的模型，比直接用开源模型调出来的模型，一致尺寸下，效验明显更好；一致效验下…

分解数据持续解锁大模型的数学推理后劲！数学课题办理威力一直被视为衡量言语模型智能水平的重要指标。通常只有规模极大的模型或经过大量数学相关预训练的模型才能有机会在数学课题上表现出色。近日，一项由 Swin-Transformer 团队打造，来自西安交通大学、中国科学技术大学、清华大学和微软亚洲钻研院的学者共同完成的钻研工作 Xwin 颠覆了这一认知，揭示了通用预训练下 7B（即 70 亿参数）规模的…

近日，蚂蚁集团开源了一套新算法，可帮助大模型在推理时，提速2至6倍，引起业内关注。图：新算法在不同开源大模型上的提速表现。这套新算法名为Lookahead推理减速框架，能做到效果无损，即插即用，该算法已在蚂蚁大量场景举行了落地，大幅降低了推理耗时。以Llama2-7B-chat模型与Dolly数据集为例，实测token生成速度可由48.2个/秒，升至112.9个/秒，提速2.34倍。而在蚂蚁内部的…

12月28日，由信通院主办的“虹桥之源”大模型驱动数字经济新生态峰会在上海召开。会上，蚂蚁团体商业机器智能部总经理顾进杰先容蚂蚁正式开源国内首个调理专业推理数据集，这将提升大模型在调理畛域的专业性。图说：蚂蚁团体商业机器智能部总经理顾进杰先容国内首个调理专业推理数据集在调理行业，通用型语言模型在应对调理问诊时，会直接给出答案，而大夫则会根据专业学问进行反复的症状探讨，才能给出答案。另外，大模型的幻…

腾讯披露最新大模型训练方法，可节省50%算力本钱。

使人工智能领域的真正进步和创新 ！

多图综述理清当前钻研现状，这篇 29 页的论文值得一读。

2023.10.20 平台革新优化了搜索感受，提拔了搜索准确性调整了项目主页信息结构，提高了项目主页获取信息效率项目主页从事了移动端适配，可在手机上轻松浏览项目主页、获取项目信息上线了「综合热榜」、「Agent热榜」允许了片面用户浏览小土终端实测频道下线了旧版「发现」、「找SOTA」模块建设了已知的课题，并从事了系统稳定性的提拔2023.09.01 平台革新SOTA！模型平台登录流程增加了实名认证…