AI在线 AI在线

Sebastian Raschka

硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构

硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
自首次提出 GPT 架构以来，转眼已经过去了七年。 如果从 2019 年的 GPT-2 出发，回顾至 2024–2025 年的 DeepSeek-V3 和 LLaMA 4，不难发现一个有趣的现象：尽管模型能力不断提升，但其整体架构在这七年中保持了高度一致。 当然，细节上仍有不少演进。
8/7/2025 9:40:00 PM
机器之心
硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构

硬核拆解大模型，从 DeepSeek-V3 到 Kimi K2 ，一文看懂 LLM 主流架构
自首次提出 GPT 架构以来，转眼已经过去了七年。 如果从 2019 年的 GPT-2 出发，回顾至 2024–2025 年的 DeepSeek-V3 和 LLaMA 4，不难发现一个有趣的现象：尽管模型能力不断提升，但其整体架构在这七年中保持了高度一致。 当然，细节上仍有不少演进。
8/7/2025 9:40:00 PM
机器之心
开源模型进展盘点：最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好？

开源模型进展盘点：最新Mixtral、Llama 3、Phi-3、OpenELM到底有多好？
深度学习领域知名研究者、Lightning AI 的首席人工智能教育者 Sebastian Raschka 对 AI 大模型有着深刻的洞察，也会经常把一些观察的结果写成博客。在一篇 5 月中发布的博客中，他盘点分析了 4 月份发布的四个主要新模型：Mixtral、Meta AI 的 Llama 3、微软的 Phi-3 和苹果的 OpenELM。他还通过一篇论文探讨了 DPO 和 PPO 的优劣之处。之后，他分享了 4 月份值得关注的一些研究成果。Mixtral、Llama 3 和 Phi-3：有什么新东西？首先，从
6/3/2024 3:24:00 PM
机器之心
模型融合、混合专家、更小的LLM，几篇论文看懂2024年LLM发展方向

模型融合、混合专家、更小的LLM，几篇论文看懂2024年LLM发展方向
还有 10 个月，2024 年还有很多期待空间。在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。现在，2024 年的第一个月已经过去，也许是时候盘点一番新年首月进展了。近日，AI 研究者 Sebastian Raschka 发布了一份报告，介绍了四篇与上述新阶段有关的重要论文。它们的研究主题简单总结起来是这样：1. 权重平均和模型融合可将多个 LLM
2/22/2024 10:49:00 AM
机器之心
  • 1