AI在线 AI在线

DCFormer

用大模型云锦天章问世 彩云科技开创DCFormer架构全新篇章

用大模型云锦天章问世 彩云科技开创DCFormer架构全新篇章
2017年，谷歌发布《Attention Is All You Need》论文，首次提出Transformer架构，掀开了人工智能自然语言处理（NLP）领域发展的全新篇章。 Transformer架构作为神经网络学习中最重要的架构，成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。 而提升Transformer的运行效率也成为人工智能领域的研究热点，2024年4月，谷歌最近一次更新了Transformer架构，提出了Mixture-of-Depths（MoD）方法，使得训练后采样过程中提速50%，成为Transformer架构提速升级的又一重要事件。
11/14/2024 9:33:10 AM
彩云科技DCFormer模型架构发布，效率是Transformer的两倍！

彩云科技DCFormer模型架构发布，效率是Transformer的两倍！
自2017年Transformer架构诞生之后，到现在为止其仍然是人工智能领域研究和应用的基础，鲜少有团队能够在最底层架构上进行一些变革和开发且做出较大的成效。 一方面是由于Transformer确实好用；另一方面，在最底层上做突破并非易事。 然而，彩云科技是那个反共识者。
5/23/2024 11:27:00 AM
王悦
  • 1