Transformer

Creator 面对面 | 大模型的最后一公里路“不太平”

自 2018 年谷歌推出 BERT 以来，语言模型就开始朝着「大模型」的方向演进。21 年诸如华为联合鹏城实验室 2000 亿参数的盘古、谷歌 1.6 万亿参数的 Switch Transfomer、智源研究院 1.75 万亿参数的的悟道 2.0 等相继产出。

7/19/2022 3:44:00 PM

SOTA模型

39亿参数模型公开可用，采样速度7倍提升，残差量化生成图片入选CVPR'22

基于残差量化的自回归图像生成，官方已将代码公开。

3/27/2022 12:42:00 PM

机器之心

华为诺亚调研200多篇文献，视觉Transformer综述入选TPAMI 2022

华为诺亚方舟实验室联合北大和悉大整理了业界第一篇视觉Transformer综述。

2/23/2022 2:55:00 PM

机器之心

论文分享 | 丢弃卷积，纯Transformer构建GAN网络

最近，计算机视觉（CV）领域的研究者对 Transformer 产生了极大的兴趣并陆续取得了不少突破。比如，2020 年 5 月，Facebook AI 的研究者推出了 Transformer 的视觉版本——Detection Transformer，在性能上媲美当时的 SOTA 方法，但架构得到了极大简化；10 月，谷歌提出了 Vision Transformer (ViT)，可以直接利用 transformer 对图像进行分类，而不需要卷积网络。

2/26/2021 2:27:00 PM

机器之心

资讯热榜

DeepSeek刚提到FP8，英伟达就把FP4精度推向预训练，更快、更便宜多模态新旗舰MiniCPM-V 4.5：8B 性能超越 72B，高刷视频理解又准又快联合国成立人工智能咨询小组 Meta 新超级智能实验室遭遇离职潮，AI 人才流失引发担忧宾州州立大学推出首个人工智能工程学位，抢占教育先机 AI 安全测试揭示聊天机器人助长恐怖活动与网络犯罪开发者写代码仅占16%!MCP 协议或让 IDE 成为新“生产力中心” 深度测评！谷歌全新AI模型Nano Banana（附30+提示词案例）

标签云

AI 人工智能 OpenAI AIGC 模型 ChatGPT DeepSeek AI绘画谷歌机器人数据大模型 Midjourney 开源智能 Meta 用户微软 GPT 学习技术图像 Gemini 马斯克 AI创作智能体 Anthropic 英伟达论文 AI新词代码训练算法 Stable Diffusion LLM 芯片蛋白质腾讯开发者 Claude 苹果生成式 AI for Science Agent 神经网络 3D 机器学习研究 xAI 生成人形机器人 AI视频计算百度 Sora GPU 华为 AI设计工具 RAG 大语言模型搜索具身智能字节跳动大型语言模型场景深度学习预测视频生成伟达视觉 Transformer AGI 架构亚马逊神器推荐 Copilot 特斯拉应用 DeepMind