AI在线 AI在线

大型语言模型

COLM 24 | 从正确中学习？大模型的自我纠正新视角

COLM 24 | 从正确中学习？大模型的自我纠正新视角

Ixiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：[email protected]；[email protected]
9/17/2024 2:02:00 PM 机器之心
模型融合、混合专家、更小的LLM，几篇论文看懂2024年LLM发展方向

模型融合、混合专家、更小的LLM，几篇论文看懂2024年LLM发展方向

还有 10 个月，2024 年还有很多期待空间。在过去的 2023 年中，大型语言模型（LLM）在潜力和复杂性方面都获得了飞速的发展。展望 2024 年的开源和研究进展，似乎我们即将进入一个可喜的新阶段：在不增大模型规模的前提下让模型变得更好，甚至让模型变得更小。现在，2024 年的第一个月已经过去，也许是时候盘点一番新年首月进展了。近日，AI 研究者 Sebastian Raschka 发布了一份报告，介绍了四篇与上述新阶段有关的重要论文。它们的研究主题简单总结起来是这样：1. 权重平均和模型融合可将多个 LLM
2/22/2024 10:49:00 AM 机器之心
五种资源类别，如何提高大语言模型的资源效率，超详细综述来了

五种资源类别，如何提高大语言模型的资源效率，超详细综述来了

本综述深入探讨了大型语言模型的资源高效化问题。近年来，大型语言模型（LLM）如 OpenAI 的 GPT-3 在人工智能领域取得了显著进展。这些模型，具有庞大的参数量（例如 1750 亿个参数），在复杂度和能力上实现了飞跃。随着 LLM 的发展趋势朝着不断增大的模型规模前进，这些模型在从智能聊天机器人到复杂数据分析，乃至于多领域研究中的应用越发广泛。然而，模型规模的指数级增长带来了巨大的资源需求，尤其是在计算、能源和内存等方面。这些资源的巨大需求使得训练或部署这样庞大的模型成本高昂，尤其是在资源受限的环境（如学术实
1/15/2024 11:22:00 AM 机器之心
大模型幻觉问题无解？理论证明校准的LM必然会出现幻觉

大模型幻觉问题无解？理论证明校准的LM必然会出现幻觉

理论证明！校准的语言模型必然出现幻觉。大型语言模型（LLM）虽然在诸多下游任务上展现出卓越的能力，但其实际应用还存在一些问题。其中，LLM 的「幻觉（hallucination）」问题是一个重要缺陷。幻觉是指由人工智能算法生成看似合理但却虚假或有误导性的响应。自 LLM 爆火以来，研究人员一直在努力分析和缓解幻觉问题，该问题让 LLM 很难广泛应用。现在，一项新研究得出结论：「经过校准的语言模型必然会出现幻觉。」研究论文是微软研究院高级研究员 Adam Tauman Kalai 和佐治亚理工学院教授 Santosh
1/2/2024 3:19:00 PM 机器之心