AI在线 AI在线

LLM

一文带你看懂开源大模型基石LLaMA核心技术点，DeepSeek/千问等LLM的模型结构基础

一文带你看懂开源大模型基石LLaMA核心技术点，DeepSeek/千问等LLM的模型结构基础
LLaMA是目前很多SOTA开源大模型的基础，包括DeepSeek、千问等在内的很多大模型的模型机构大体上都沿用了LLaMA。 因此，LLaMA在模型结构的设计上可以说是目前大模型的一种最佳实践。 这篇文章就给大家汇总一下LLaMA的核心模型结构。
2/14/2025 1:00:00 AM
Fareise
DeepSeek 系列模型详解之——DeepSeek LLM

DeepSeek 系列模型详解之——DeepSeek LLM
DeepSeek LLM发布于2024年1月，收集了2万亿个词元用于预训练，在模型层面沿用了LLaMA的架构，并将余弦退火学习率调度器替换为多阶段学习率调度器，便于持续训练。 并从多种来源收集了超过100万个实例进行监督微调(SFT)。 此外，利用直接偏好优化（DPO）技术进一步提升模型的对话能力。
2/13/2025 11:00:30 AM
小喵学AI
近端策略优化(PPO)算法的理论基础与PyTorch代码详解

近端策略优化(PPO)算法的理论基础与PyTorch代码详解
近端策略优化(Proximal Policy Optimization, PPO)算法作为一种高效的策略优化方法，在深度强化学习领域获得了广泛应用。 特别是在大语言模型(LLM)的人类反馈强化学习(RLHF)过程中，PPO扮演着核心角色。 本文将深入探讨PPO的基本原理和实现细节。
2/13/2025 10:34:30 AM
Dhanoop Karunakaran
推荐一个企业级知识图谱增强的检索增强生成(RAG)的项目

推荐一个企业级知识图谱增强的检索增强生成(RAG)的项目
介绍Microsoft GraphRAG 是一个开源项目，旨在利用 Microsoft Graph 的强大功能构建企业级的知识图谱增强的检索增强生成（RAG）方案。 简单来说，它将企业内部的各种数据源（如邮件、文档、日历、联系人等）通过 Microsoft Graph 连接起来，形成一个结构化的知识图谱，然后利用这个知识图谱来增强 RAG 系统的检索能力，从而提升大语言模型（LLM）在企业应用中的问答和生成效果。 项目架构GraphRAG 的架构设计清晰且模块化，主要包含以下几个核心组件：(1) 数据连接器（Data Connectors）：负责从各种企业数据源（如 Microsoft 365 服务，包括 Exchange Online、SharePoint Online、OneDrive、Teams 等）提取数据。
2/13/2025 9:01:03 AM
IT运维技术圈
AI已学会自我复制！复旦新研究：开源LLM克隆成功率最高90%

AI已学会自我复制！复旦新研究：开源LLM克隆成功率最高90%
AI已跨越关键「红线」，实现了自我复制。 复旦大学的研究人员在一项新研究中，展示了两种开源的LLM具备自我克隆的能力。 在没有人类帮助的情况下，AI成功实现自我复制，这不仅是它超越人类的关键一步，也是「流氓AI」出现的早期信号。
2/12/2025 10:05:00 AM
新智元
Grok-3意外「走光」，不是推理模型！马斯克：xAI新模型比DeepSeek更好

Grok-3意外「走光」，不是推理模型！马斯克：xAI新模型比DeepSeek更好
当OpenAI和谷歌密集发布新AI模型时，马斯克的xAI怎么还没动静？ 就在最近，马斯克公开表示称，xAI的新模型很快就要发布了，而且是比DeepSeek更好的那种！ 根据公开消息，网友汇总了马斯克、Greg Yang等关于xAI下一代新模型Grok-3的消息。
2/11/2025 9:20:00 AM
新智元
人大刘勇团队「慢思考」机理分析：从雪球误差到正确推理概率

人大刘勇团队「慢思考」机理分析：从雪球误差到正确推理概率
AIxiv专栏是AI在线发布学术、技术内容的栏目。 过去数年，AI在线AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。 如果您有优秀的工作想要分享，欢迎投稿或者联系报道。
2/10/2025 1:15:00 PM
机器之心
Andrej Karpathy 最新视频盛赞 DeepSeek：R1 正在发现人类思考的逻辑并进行复现

Andrej Karpathy 最新视频盛赞 DeepSeek：R1 正在发现人类思考的逻辑并进行复现
继近日斯坦福李飞飞、Percy Liang 等人推出 S1 后，李飞飞的学生、OpenAI 早期成员与前特斯拉 AI 总监也录制了一期最新长达 3 小时的长视频上传到 YouTube，深入浅出地从神经网络的起源、GPT-2、ChatGPT 到最近 DeepSeek-R1 介绍了 AI 大模型的系列进化：视频链接：，视频讲解十分通俗易懂，即使没有技术背景的观众也能轻松理解！ 尤其是在视频的第 2 个小时开始，他对最近爆火的 DeepSeek-R1 论文进行了深入介绍，并直言 DeepSeek R1 在性能方面与 OpenAI 的模型不相上下，它的出现推动了 RL 技术的发展。 除了盛赞 DeepSeek-R1 的技术创新外，Andrej Karpathy 还对纯 RL 的学习能力给予了高度评价，但又指出 RL 非常非常擅长发现一种方法来“欺骗”模型，阻碍了 RLHF 成为专业技术的步伐。
2/7/2025 2:50:00 PM
郑佳美
未来教室的变革：大语言模型LLM会取代老师吗？揭秘教育新纪元

未来教室的变革：大语言模型LLM会取代老师吗？揭秘教育新纪元
大语言模型（LLM）的发展是近年来人工智能领域的重要突破，其背后是深度学习、自然语言处理等技术的快速进步。 从早期的简单问答系统到现在能够理解和生成复杂文本的智能模型，大语言模型已经广泛应用于各个领域，包括客服机器人、智能搜索引擎、自动化写作等。 随着技术的进步，人们开始探讨这样一个问题：大语言模型是否将在未来取代老师的角色？
2/7/2025 12:54:57 PM
tune
LLM自主发现发表在Nature上的科学假设？ICLR 2025 论文MOOSE-Chem深度解析

LLM自主发现发表在Nature上的科学假设？ICLR 2025 论文MOOSE-Chem深度解析
编辑 | ScienceAI人工智能的下一个前沿，不仅是语言、图像，而是科学发现本身。 近年来，人工智能（AI）已经在自然语言处理（NLP）、计算机视觉（CV）等领域取得巨大成功。 但 AI 是否能够帮助科学家发现新的科学理论？
2/6/2025 11:58:00 AM
ScienceAI
原来，这些顶级大模型都是蒸馏的

原来，这些顶级大模型都是蒸馏的
「除了 Claude、豆包和 Gemini 之外，知名的闭源和开源 LLM 通常表现出很高的蒸馏度。 」这是中国科学院深圳先进技术研究院、北大、零一万物等机构的研究者在一篇新论文中得出的结论。 前段时间，一位海外技术分析师在一篇博客中提出了一个猜想：一些顶级的 AI 科技公司可能已经构建出了非常智能的模型，比如 OpenAI 可能构建出了 GPT-5，Claude 构建出了 Opus 3.5。
1/29/2025 6:40:00 PM
机器之心
用Ray观测和监控大语言模型工作负载

用Ray观测和监控大语言模型工作负载
译者 | 布加迪审校 | 重楼前言GPT-4、PHI2、BERT和T5等大语言模型（LLM）的出现已彻底改变了自然语言处理，这些模型支持高端应用程序，包括聊天机器人、推荐系统和分析。 然而，LLM中工作负载的规模和复杂性使得保证性能和可靠性成了一大挑战。 在这种情况下，在使用Ray等框架部署工作负载的同时进行监控和观测显得非常必要。
1/27/2025 8:23:41 AM
布加迪