DCFormer
用大模型云锦天章问世 彩云科技开创DCFormer架构全新篇章
2017年,谷歌发布《Attention Is All You Need》论文,首次提出Transformer架构,掀开了人工智能自然语言处理(NLP)领域发展的全新篇章。 Transformer架构作为神经网络学习中最重要的架构,成为后来席卷全球的一系列通用大模型如ChatGPT、Gemini的底层技术支撑。 而提升Transformer的运行效率也成为人工智能领域的研究热点,2024年4月,谷歌最近一次更新了Transformer架构,提出了Mixture-of-Depths(MoD)方法,使得训练后采样过程中提速50%,成为Transformer架构提速升级的又一重要事件。
11/14/2024 9:33:10 AM
彩云科技DCFormer模型架构发布,效率是Transformer的两倍!
自2017年Transformer架构诞生之后,到现在为止其仍然是人工智能领域研究和应用的基础,鲜少有团队能够在最底层架构上进行一些变革和开发且做出较大的成效。 一方面是由于Transformer确实好用;另一方面,在最底层上做突破并非易事。 然而,彩云科技是那个反共识者。
5/23/2024 11:27:00 AM
王悦
- 1
资讯热榜
阿里推出 AI 医学助手 App“氢离子”:收录千万级核心期刊文献,还可查疾病、找药品
AI和云基础设施初创企业E2B如何成为88%的财富100强企业的必备选择
Kimi K2 高速版kimi-k2-turbo-preview发布 输出每秒 40 Tokens
国内首个,MiniMax 大模型通过人机辩论图灵测试
逆天!旧Mac上能run千亿参数SOTA!效果惊人:一次生成游戏,0修改!本地大模型拐点来了!网友:别被大模型叙事带偏了(附指南)
阶跃星辰新一代基础大模型 Step 3 正式开源:拥有强大视觉感知和复杂推理能力
2025年ChatGPT编程神器指南:20个开发者必学提示!
我在WAIC看见的十大趋势
标签云
AI
人工智能
OpenAI
AIGC
模型
ChatGPT
DeepSeek
AI绘画
谷歌
机器人
数据
大模型
Midjourney
开源
智能
用户
Meta
微软
GPT
学习
技术
图像
Gemini
AI创作
马斯克
论文
智能体
英伟达
Anthropic
代码
算法
训练
Stable Diffusion
芯片
开发者
蛋白质
腾讯
LLM
生成式
苹果
Claude
神经网络
AI新词
Agent
3D
机器学习
AI for Science
研究
生成
xAI
AI视频
计算
人形机器人
Sora
GPU
AI设计
百度
华为
工具
搜索
大语言模型
场景
RAG
字节跳动
具身智能
大型语言模型
预测
深度学习
伟达
视觉
Transformer
视频生成
AGI
神器推荐
亚马逊
架构
Copilot
DeepMind
模态
安全