AI在线 AI在线

LLM

一文读懂 Vision RAG 模型

一文读懂 Vision RAG 模型
众所周知，检索增强生成（RAG）技术已在大语言模型（LLM）应用中证明了其巨大价值，通过从外部知识库检索相关文本信息，显著提升了模型回复的准确性、时效性和可追溯性。 然而，我们所感知和理解的世界并非只由文本构成：大量的现实信息和复杂语境，深刻地蕴含在图像、图表、视频等视觉内容之中。 传统的 RAG 模型难以直接“看”懂并利用这些丰富的视觉信息。
5/20/2025 11:55:22 AM
Luga Lee
深入了解如何通过 LM Studio 优化本地 LLM 性能

深入了解如何通过 LM Studio 优化本地 LLM 性能
Hello folks，我是 Luga，今天我们来聊一下人工智能应用场景 - 如何通过 LM Studio 优化本地 LLM 性能。 在人工智能浪潮席卷全球的 2025年，本地大语言模型（LLM）的性能优化已成为开发者和企业关注的焦点。 随着计算资源需求激增，如何在本地环境中提升模型的效率、降低延迟并释放其最大潜力，成为了亟待解决的关键挑战。
5/20/2025 9:24:15 AM
Luga Lee
理解 RAG 第九部分：针对 RAG 微调 LLM

理解 RAG 第九部分：针对 RAG 微调 LLM
在“理解 RAG”系列的前几篇文章中，我们重点探讨了检索增强生成的各个方面。 文章中，我们重点介绍了与大型语言模型 (LLM) 集成的检索器组件，该组件用于检索有意义且真实的上下文知识，从而提升 LLM 输入的质量，并最终提升其生成的输出响应。 具体来说，我们学习了如何管理传递给 LLM 的上下文长度、如何优化检索，以及如何利用向量数据库和索引策略来有效地检索知识。
5/20/2025 6:00:00 AM
晓晓
为什么 API 必不可少，而 MCP 暂时是可选的

为什么 API 必不可少，而 MCP 暂时是可选的
作者 | Gil Feig编辑 | 云昭出品 | 51CTO技术栈（微信号：blog51cto）AI 助手在产品体验中的重要性日益凸显，而一种新的标准也应运而生，它助力 AI 助手的构建：模型上下文协议 (MCP)。 随着 Anthropic、OpenAI 和 Gemini 等主流大型语言模型 (LLM) 提供商的采用，该协议迅速在更广泛的软件生态系统中获得了广泛关注，各大公司纷纷构建自己的 MCP 服务器。 作为参与构建 MCP 服务器和 API 集成的人员，我亲眼目睹了这种快速采用导致的混乱。
5/19/2025 7:01:14 PM
云昭
研究：AI 聊天机器人在数据总结能力上愈加糟糕，关键细节常被遗漏

研究：AI 聊天机器人在数据总结能力上愈加糟糕，关键细节常被遗漏
随着人工智能技术的迅猛发展，各大 AI 创业公司不断宣称其产品将工作方式和知识获取的方式。 然而，最近一项发表在《皇家学会》上的研究却揭示了新一代 AI 模型在总结文本时存在严重问题，令人担忧。 研究显示，新款 AI 聊天机器人在提供信息时，有高达73% 的概率会遗漏关键信息。
5/19/2025 10:01:05 AM
AI在线
惊现狠人手搓Agent心经！LLM的Tool Use逻辑曝光！简单到爆炸：仅9行代码！网友直呼：难以相信！难点是LLM循环几次！

惊现狠人手搓Agent心经！LLM的Tool Use逻辑曝光！简单到爆炸：仅9行代码！网友直呼：难以相信！难点是LLM循环几次！
作者 | 云昭一款 Agent 究竟是怎样让大模型具备“Tool Use”，即工具调用的能力？ 今天，有一位正在创建编码 Agent 的狠人出来曝光了这个算法逻辑。 这位狠人，名为 Philip Zeyliger，过去几个月，他和他的团队一直在开发一款名为“Sketch”的 AI 编程助手。
5/16/2025 6:29:19 PM
云昭
支付巨头被打脸！曾放话AI能顶700名人类客服，年省4千万刀；一年后又把员工招回来了！CEO公开认错：我们部署AI的方式太极端了

支付巨头被打脸！曾放话AI能顶700名人类客服，年省4千万刀；一年后又把员工招回来了！CEO公开认错：我们部署AI的方式太极端了
编辑 | 伊风出品 | 51CTO技术栈（微信号：blog51cto）第一批因为AI裁员的公司，又把员工请回来了！ 曾信誓旦旦宣布“一个 AI 顶 700 个客服”的 Klarna，如今不得不亲自“打脸”。 图片这家全球领先的“先买后付”平台（类似于国内的“蚂蚁花呗”），在 2024 年接入 OpenAI 技术后，便风风火火地All in AI：暂停招聘、削减成本，甚至计划用 AI 逐步取代多达数千名的外包客服。
5/13/2025 3:17:07 PM
伊风
LLM 学习笔记：最好的学习方法是带着问题去寻找答案

LLM 学习笔记：最好的学习方法是带着问题去寻找答案
作者：huaxing知其然，然后知其所以然。 本文主要是对学习赛博活佛Andrej Karpathy 7个小时教学视频的总结和拓展阅读笔记，推荐去看原视频，很精彩，链接在文末。 从最常用的聊天应用过程分析开始，引入对话过程原理浅析，再到LLM训练过程；再结合当前主流的应用形式，在得知最新用法的同时，加深对LLM的理解；再谈谈AI的最新重大进展MCP；以及作为JAVAer，在Java领域有哪些前沿能力去整合LLM。
5/13/2025 9:42:46 AM
腾讯技术工程
强迫模型自我争论，递归思考版CoT热度飙升！网友：这不就是大多数推理模型的套路吗？

强迫模型自我争论，递归思考版CoT热度飙升！网友：这不就是大多数推理模型的套路吗？
CoT（Chain-of-thought）大家都很熟悉了，通过模仿「人类解题思路」，进而大幅提升语言模型的推理能力。 这几天，一个名为 CoRT（Chain-of-Recursive-Thoughts）的概念火了！ 从名称上来看，它在 CoT 中加入了「递归思考」这一步骤。
5/12/2025 2:24:07 PM
17000字Claude 系统提示启示：Karpathy 揭秘LLM 学习缺失“第三范式” AI寒武纪 2025年05月11日 19:29

17000字Claude 系统提示启示：Karpathy 揭秘LLM 学习缺失“第三范式” AI寒武纪 2025年05月11日 19:29
来自Andrej Karpathy的最新洞察，以及一份意外曝光的Claude系统提示词引发的思考Andrej Karpathy提出一个观点：我们当前的LLM学习范式中，至少缺失了一个重要环节。 他将其暂称为“系统提示词学习”（System Prompt Learning）他认为：预训练（Pretraining） 是为了让LLM掌握海量知识微调（SL/RL） 则是为了塑造其习惯性行为这两者都涉及模型参数的改变。 但Karpathy指出，很多人类学习更像是“系统提示词”的调整：遇到问题、想出办法，然后用明确的语言“记住”下次如何应对。
5/12/2025 9:13:00 AM
即使最好的保障措施也无法阻止大语言模型被愚弄

即使最好的保障措施也无法阻止大语言模型被愚弄
在采访中，诺丁汉大学副教授Michael Pound分享了他对与大型语言模型(LLM)相关的网络安全风险的见解。 他讨论了CISO和安全团队在LLM使用方面存在的理解或准备上的最大差距，以及在将LLMs集成到业务运营中时保护敏感数据所需的预防措施。 你认为在LLM使用方面，CISO和安全团队在理解或准备上存在的最大差距是什么?许多安全专业人员——相当合理地——对LLM背后的机器学习原理并不精通。
5/12/2025 8:00:00 AM
Mirko Zorz
RASA：LLM系统中实现智能体记忆的认知框架(含代码)

RASA：LLM系统中实现智能体记忆的认知框架(含代码)
大语言模型（LLMs）和智能体不断进化，已不再局限于简单的响应和输出，而是在推理与行动能力上持续成熟。 随着智能体架构的进步，记忆、回忆和知识应用的方式，在系统设计和可信度方面变得愈发关键且复杂。 RASA（Role-Aligned Software Architecture，角色对齐软件架构）作为一个创新性的认知框架，为构建具备强大记忆能力、能够灵活适应各种场景的智能体提供了全新的思路和方法。
5/12/2025 2:50:00 AM
大模型之路
成本降低88%：阿里巴巴ZeroSearch技术颠覆AI训练模式

成本降低88%：阿里巴巴ZeroSearch技术颠覆AI训练模式
阿里巴巴集团研究人员近日推出一项名为"ZeroSearch"的突破性技术，彻底改变了训练人工智能系统搜索信息的方式。 这项创新技术通过模拟方法让大型语言模型（LLM）开发高级搜索功能，无需在训练过程中与真实搜索引擎交互，从而消除了对昂贵商业搜索引擎API的依赖。 解决成本与复杂性难题ZeroSearch解决了AI行业面临的两大关键挑战:搜索引擎返回文档质量的不可预测性，以及向谷歌等商业搜索引擎进行数十万次API调用所产生的高昂成本。
5/9/2025 10:01:50 AM
AI在线
如何估算大语言模型LLM 的 GPU 内存：用于本地运行 LLM 的 GPU 内存

如何估算大语言模型LLM 的 GPU 内存：用于本地运行 LLM 的 GPU 内存
随着 DeepSeek、GPT、Llama、Mistral 等大规模 LLM 的兴起，AI 从业者面临的最大挑战之一是确定需要多少 GPU 内存才能高效地服务于这些模型。 GPU 资源昂贵且稀缺，因此优化内存分配至关重要。 本指南将引导您使用一个简单而有效的公式来估算服务 LLM 所需的 GPU 内存。
5/9/2025 1:00:00 AM
晓晓
知识图谱时如何修复LLM写出的糟糕SQL

知识图谱时如何修复LLM写出的糟糕SQL
得益于大型语言模型 (LLM)，我们与数据交互的方式发生了根本性的变化。 如果你问你的 AI 助手：“显示第二季度按地区划分的销售趋势”，它几秒钟内就能给出答案。 这听起来很令人兴奋，但你很快就会意识到，结果往往是错误的。
5/8/2025 9:00:00 AM
晓晓
从"快思考"到"慢思考"：大型语言模型的推理能力革命

从"快思考"到"慢思考"：大型语言模型的推理能力革命
在人工智能快速发展的今天，大型语言模型(LLM)已经在多个领域展现出惊人的能力。 然而，当面对需要深度思考和复杂推理的任务时，传统LLM往往表现出明显的局限性。 这种局限性促使研究者们转向探索一种新型的模型范式——基于"慢思维"的推理LLM。
5/8/2025 2:02:02 AM
葱葱
ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键

ICML 2025 | 注意力机制中的极大值：破解大语言模型上下文理解的关键
大型语言模型（LLMs）在上下文知识理解方面取得了令人瞩目的成功。 近日，一项来自 ICML 2025 的新研究《Massive Values in Self-Attention Modules are the Key to Contextual Knowledge Understanding》揭示了大型语言模型中一个重要现象：在注意力机制的查询 (Q) 和键 (K) 表示中存在非常集中的极大值，而在值 (V) 表示中却没有这种模式。 这一现象在使用旋转位置编码 (RoPE) 的现代 Transformer 模型中普遍存在，对我们理解 LLM 内部工作机制具有重要意义。
5/7/2025 9:12:00 AM
SmallRye大模型简介：使用Langchain4J轻松向应用内引入AI服务

SmallRye大模型简介：使用Langchain4J轻松向应用内引入AI服务
译者 | 核子可乐审校 | 重楼Langchain4J解决了哪些问题？ Langchain4J 本质上是为 Java 开发者打造的工具箱，旨在简化向高级语言中集成 AI 功能（如聊天机器人或文本生成器）的过程，同时屏蔽底层复杂细节。 想象一下：我们想要构建一个能回答问题、生成内容或模拟人类对话的智能应用。
5/7/2025 8:14:58 AM
核子可乐