MetaFAIR

挑战传统：无归一化层的 Transformer 架构新突破

在深度学习领域，归一化层被视为现代神经网络中不可或缺的组件之一。最近，一项由 Meta FAIR 研究科学家刘壮主导的研究成果 ——“没有归一化层的 Transformer” 引发了广泛关注。这项研究不仅提出了一种名为动态 tanh（Dynamic Tanh，DyT）的新技术，还展示了在不使用传统归一化层的情况下，Transformer 架构依然可以实现高效的训练和推理。

3/14/2025 4:06:00 PM

AI在线

资讯热榜

奥特曼回应一切：重组后仍需微软支持，不相信OpenAI的欢迎做空 eBay携手ChatGPT开启智能电商新时代，购物体验将全面升级！ Reddit CEO直言：AI聊天机器人并未带来流量红利，搜索仍是核心引擎 OpenAI更新ChatGPT规则：10月29日起禁止医疗、法律与财务建议 OpenAI 开放 Sora2视频工具，面向美国、加拿大、日本和韩国用户综述连arXiv都不给发了？最严新规出台：被会议、期刊接收才行，workshop都不行 OpenAI年收入已远超130亿美元，上市计划仍遥遥无期库克:苹果将在人工智能领域寻求更多收购与合作机会

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek 谷歌 AI绘画大模型机器人数据 Midjourney 开源 Meta AI新词微软智能用户 GPT 学习技术智能体马斯克 Gemini 图像 Anthropic 英伟达 AI创作训练 LLM 论文代码算法 Agent AI for Science 芯片苹果 Claude 腾讯 Stable Diffusion 蛋白质开发者生成式神经网络 xAI 机器学习 3D RAG 人形机器人 AI视频研究大语言模型生成具身智能 Sora 工具 GPU 百度华为计算字节跳动 AI设计大型语言模型 AGI 搜索视频生成场景深度学习架构生成式AI DeepMind 编程亚马逊视觉 Transformer AI模型预测特斯拉 MCP