AI在线 AI在线

百度重磅开源文心大模型 4.5 系列,十款新模型亮相!

百度正式发布了文心大模型4.5系列模型,并且将其完全开源。 用户可以通过文心一言()立即体验这一最新的开源技术。 这一系列模型涵盖了多种参数配置,包括激活参数为47B 和3B 的混合专家(MoE)模型,以及稠密型模型0.3B 参数的设计,合计达到了十款不同的模型。

百度正式发布了文心大模型4.5系列模型,并且将其完全开源。用户可以通过文心一言(https://yiyan.baidu.com)立即体验这一最新的开源技术。

这一系列模型涵盖了多种参数配置,包括激活参数为47B 和3B 的混合专家(MoE)模型,以及稠密型模型0.3B 参数的设计,合计达到了十款不同的模型。

image.png

在训练和推理方面,文心4.5系列模型使用了飞桨深度学习框架,达到47% 的模型 FLOPs 利用率。实验结果显示,该系列模型在多项文本和多模态基准测试中表现优异,尤其是在指令遵循、世界知识记忆、视觉理解和多模态推理等任务上,取得了 SOTA(state-of-the-art)水平的成绩。

image.png

文心4.5系列模型的权重根据 Apache2.0协议开源,允许进行学术研究和产业应用。此外,飞桨还提供了开源的产业级开发套件,兼容多种硬件,降低了后训练和部署的门槛。

为了便于开发者使用,文心4.5系列还提供了一站式使用指南,包括如何快速掌握模型的精调和对齐。开发者可以通过 ERNIEKit 和 FastDeploy 等工具,轻松实现模型的训练和部署。FastDeploy 支持多种硬件平台,提供高性能、低门槛的推理部署体验。

image.png

此次开源不仅包括了模型的预训练权重和推理代码,还在多个平台上提供了下载和部署服务。用户可以在飞桨星河社区和 HuggingFace 等知名平台上找到并使用这些模型。值得注意的是,百度还推出了开放模型的 API 服务,用户可在百度智能云的千帆大模型平台上进行调用和使用。这意味着,无论是研究人员还是开发者,都能更方便地接触到最新的 AI 技术。

文心4.5系列模型的开源包含了预训练权重和推理代码,所有项目已被上传至:

 Hugging Face(https://huggingface.co/baidu)、

GitHub(https://github.com/PaddlePaddle/ERNIE)

飞桨星河社区(https://aistudio.baidu.com/overview)。

如果需要深入了解技术细节,用户可下载技术报告(https://yiyan.baidu.com/blog/publication)进行查阅。

划重点:  

🌟 文心4.5系列模型于6月30日正式开源,提供10款不同版本的模型。  

📈 模型采用创新的多模态异构架构,提升多模态理解能力。  

🛠️ 开发者可通过 ERNIEKit 和 FastDeploy 工具,快速进行模型的训练和部署。  

相关资讯

百度:将在未来几个月推出文心大模型4.5系列 并于6月30日起正式开源

今日,百度公司宣布了一项重要计划:在未来几个月内,将陆续推出全新的文心大模型4.5系列,并定于6月30日正式向公众开源。 这一举措标志着百度在人工智能领域的持续深耕与创新。 此前,百度宣布,文心一言将于4月1日零时起实现全面免费。
2/14/2025 10:10:00 AM
AI在线

大模型效率狂飙:字节COMET技术开源,提速1.7倍

字节跳动旗下豆包大模型团队近日宣布,成功攻克混合专家模型(MoE)架构的关键瓶颈,并开源一项名为COMET的重大优化技术。 该技术显著提升了大模型的训练效率,实现了高达1.7倍的效率提升,并有效降低了40%的训练成本。 图源备注:图片由AI生成,图片授权服务商Midjourney据介绍,COMET技术已在字节跳动的万卡集群训练中得到实际应用,累计节省了数百万GPU小时的训练算力。
3/10/2025 5:59:00 PM
AI在线

蚂蚁集团发布两款创新 MoE 大模型,训练成本大幅降低

近日,蚂蚁集团的 Ling 团队在预印版 Arxiv 平台上发布了题为《每一个 FLOP 都至关重要:无需高级 GPU 即可扩展3000亿参数混合专家 LING 大模型》的技术论文,介绍了他们研发的两款新型大语言模型:百灵轻量版(Ling-Lite)和百灵增强版(Ling-Plus)。 这两款模型在设计上采用了多项创新,能够在低性能硬件上高效训练,显著降低了成本。 百灵轻量版的参数规模为168亿,其中激活参数为27.5亿。
3/24/2025 3:28:00 PM
AI在线
  • 1