理论

逆向工程：ChatGPT 的记忆是如何工作的

这篇文章是名为eric 工程师对ChatGPT记忆系统的深度逆向工程和技术实现推测。它详细拆解了“可保存记忆”和包含“当前会话历史”、“对话历史”、“用户洞察”三个子系统的“聊天历史”，分析了它们的工作原理、可能的实现方案（如向量数据库、聚类算法），并探讨了这些记忆系统如何显著提升ChatGPT的用户体验，认为“用户洞察”是体验提升的关键文章深度剖析了“用户洞察”（User Insights）高级记忆系统，分析了ChatGPT如何从你的多轮对话中自动学习、总结你的专业背景（如对Rust编程的深入理解）、知识领域乃至沟通偏好，并附上置信度和时间范围，悄然注入后续对话的上下文中。这正是ChatGPT能提供“千人千面”且高度相关回复的核心秘密地址：，这里做一个重点梳理ChatGPT的记忆系统：不止一种，而是一套组合拳Eric发现，ChatGPT的记忆并非单一系统，而是主要由两大部分构成：“可保存记忆（Saved Memory）”和“聊天历史（Chat History）”。

6/3/2025 9:08:49 AM

AI竟会「自己认错」？破解多智能体协作「罗生门」，斩获ICML 2025 Spotlight

你打造了一支「超级AI战队」——战队里每个AI都各司其职：有的收集信息、有的负责判断，还有的协调执行，一起协作攻克复杂任务。这个愿望看似天衣无缝，结果却往往以失败告终。问题就出在：当「问题」出现的时候，如何知道是哪个AI干的？

6/3/2025 9:08:00 AM

硅谷今夜集体失眠！互联网女皇340页AI报告猛料刷屏，大佬熬夜头秃

互联网女皇、传奇投资者Mary Meeker，再度出山！曾经，女皇的《互联网趋势报告》一出，整个科技圈都要抖三抖。硅谷大佬觉都不睡了，都要连夜研读这份刷屏圈内头条的重磅报道。

6/3/2025 9:06:00 AM

免费使用Sora！微软发布Bing Video Creator

今天凌晨1点，微软在官网发布了Bing搜索引擎全新功能——Bing Video Creator。 Bing Video Creator由OpenAI的文生视频模型Sora提供技术支持，通过自然语言就能生成写实、风景、卡通、影视等各种视频。同时会免费为用户提供该服务，生成速度分为快速和标准两种模式，初始有10次快速生成机会，用完后可消耗 100 微软奖励积分继续使用，或继续选择标准速度。

6/3/2025 9:05:29 AM

无需人工标注！AI自生成训练数据，靠「演绎-归纳-溯因」解锁推理能力

当AI试图破解数学、编程与科学的难题时，它常常像一位灵感乍现的天才，却又难以稳定发挥。新加坡国立大学、清华大学和Salesforce AI Research的研究者，提出了一种革命性的训练框架——元能力对齐，赋予模型稳健的推理能力，让顿悟成为常态。论文链接：，能够高效地系统化培养大模型的数学，编程和科学问题上的基本推理能力。

6/3/2025 9:05:00 AM

LeCun新作反杀AGI派！AI连「鸟」都搞不懂，拿什么超越人类？

LLM真的可以像人类一样「思考」了？图灵奖得主Yann LeCun联手斯坦福团队最新论文，狠狠打脸了LLM类人的神话。论文链接：，LeCun认为，大模型就是随机鹦鹉，它们的智力甚至连阿猫阿狗都不如。

6/3/2025 9:02:00 AM

AI数学能力暴涨100%，自进化直逼RL极限！CMU新作颠覆认知

通往AGI最大的绊脚石，便是互联网数据不够用了！ DeepSeek-R1、OpenAI的o系推理模型出世，不再单纯依赖人类标注「标准答案」，而是通过RL实现破局。但问题来了——当前，LLM依然需要人类设计「正确信号」来指导训练。

6/3/2025 8:51:00 AM

RAG系列：解析优化 - 不同文件类型统一转换成Markdown

引言在 RAG 系统中，文件解析是构建知识库和实现高效信息检索的关键环节。随着系统需要处理的文件类型日益增多（如PDF、Word、Excel、PPT、HTML等），如何高效解析并利用这些异构数据成为核心挑战。由于每种文件类型的数据结构和内容（如PDF的复杂排版、Excel的表格结构、PPT的多媒体元素）都不一致，在实际的应用场景中，我们需要对不同文件类型实现不同的解析器，解析之后还需要根据不同文件的结构实现对应的文档分块方法。

6/3/2025 8:50:24 AM

燃哥讲AI

挑战强化学习后训练霸权！全新无监督方法仅需1条数据+10步优化

无需标注数据、无需繁琐奖励设计，只用10步就能见效——「熵最小化」或许比强化学习更适合大语言模型快速升级。强化学习（RL）近年来在大语言模型（LLM）的微调中大获成功，但高昂的数据标注成本、复杂的奖励设计和漫长的训练周期，成为制约RL进一步应用的瓶颈。 Ubiquant研究团队提出了一种极为简单有效的无监督方法——One Shot熵最小化（Entropy Minimization，EM），仅用一条无标签数据，训练10步内即可显著提升LLM性能，甚至超过使用成千上万数据的RL方法。

6/3/2025 8:49:00 AM

SFT在帮倒忙？新研究：直接进行强化学习，模型多模态推理上限更高

随着 OpenAI 的 o1/o3 和 Deepseek-R1 等具备强大推理能力的大语言模型相继问世，学界普遍采用「监督微调强化学习」的两阶段训练范式：先通过推理数据进行监督微调（SFT），再通过强化学习（RL）进一步提升性能。这种成功模式启发了研究人员将其优势从纯文本领域拓展到视觉 - 语言大模型（LVLM）领域。但近日的一项研究成果却给出了一个惊人的发现：「SFT 可能会阻碍学习 —— 经常导致出现伪推理路径，而 RL 则是在促进真正的多模态推理！

6/3/2025 8:49:00 AM

微软再放LLM量化大招！原生4bit量化，成本暴减，性能几乎0损失

最近，微软亚研院的研究团队开源了原生1bit精度的大模型：BitNet b1.58 2B4T。还没过几天，原班人马带着第二代BitNet v2来了！这次性能几乎0损失，但占用内存和计算成本显著降低！

6/3/2025 8:49:00 AM

机器学习轻量化加速的五大核心技术突破

译者 | 朱先忠审校 | 重楼简介无论你是在准备面试，还是在工作中构建机器学习系统，模型压缩都已成为一项必备技能。在大语言模型（LLM）时代，模型规模越来越大，如何压缩这些模型以使其更高效、更小巧、更易于在轻量级机器上使用，这一挑战从未如此严峻。在本文中，我将介绍每位机器学习从业者都应该理解和掌握的四种基本压缩技术。

6/3/2025 8:45:25 AM

朱先忠

揭开大模型“伪遗忘”，港理工等团队：结构不变就是没忘

近年来，大语言模型（LLMs）的能力突飞猛进，但随之而来的隐私风险也逐渐浮出水面。训练中暴露的敏感信息往往被模型“记住”，引发广泛关注。在此背景下，机器遗忘（Machine Unlearning）技术应运而生，目标是在不影响整体能力的前提下，有选择性地抹除特定知识。

6/3/2025 8:44:00 AM

Mamba核心作者新作：取代DeepSeek在用的注意力机制，专为推理打造

曾撼动Transformer统治地位的Mamba作者之一Tri Dao，刚刚带来新作——提出两种专为推理“量身定制”的注意力机制。在保持模型性能不变的情况下，将解码速度和吞吐量最高提升2倍，大大优化了模型的长上下文推理能力。这项研究的三位作者均来自普林斯顿大学，论文主要有两大贡献：其一，提出Grouped-Tied Attention（GTA），与已集成到LLaMA 3的注意力机制GQA质量相当，但KV缓存用量减少约50%。

6/3/2025 8:43:00 AM

SSM+扩散模型，竟造出一种全新的「视频世界模型」

在这个 AI 技术与应用大爆发的时代，我们最不缺的就是「热词」，从自回归到扩散模型，从注意力机制到状态空间模型，从思维链到推理模型…… 有时候，其中一些热词会聚拢一处，为 AI 世界创造出新的可能性。今天我们要介绍的这项研究便是如此，集齐了长上下文、状态空间模型（SSM）、扩散模型、世界模型等「热词」，创造了一种全新的「视频世界模型」。该研究来自斯坦福大学、普林斯顿大学和 Adobe Research，在社交网络上引起了不少关注。

6/3/2025 8:40:00 AM

全流程拆解：如何使用 LM Studio 优化本地 LLM ？

Hello folks，我是 Luga，今天我们来聊一下人工智能应用场景 - 如何通过 LM Studio 优化本地 LLM 性能。在人工智能浪潮席卷全球的 2025年，本地 LLM 的性能优化已成为开发者和企业关注的焦点。随着计算资源需求激增，如何在本地环境中提升模型的效率、降低延迟并释放其最大潜力，成为了亟待解决的关键挑战。

6/3/2025 8:40:00 AM

Luga Lee