AI在线 AI在线

Transformer

基于Transformer的大模型是如何运行的？Meta从全局和上下文学习揭秘

基于Transformer的大模型是如何运行的？Meta从全局和上下文学习揭秘
本文旨在更好地理解基于 Transformer 的大型语言模型（LLM）的内部机制，以提高它们的可靠性和可解释性。
6/22/2023 1:25:00 PM
机器之心
想把半本《红楼梦》搬进ChatGPT输入框？先把这个问题解决掉

想把半本《红楼梦》搬进ChatGPT输入框？先把这个问题解决掉
从 GPT-4 的 32k 到谷歌 CoLT5 的 64k 再到最新研究的 200万 token，类ChatGPT 模型们可以处理的文本长度正在急剧增加，这意味着它们的应用范围也越来越广。或许有一天，ChatGPT 能帮乔治·马丁把《冰与火之歌》（权力的游戏）写完呢？过去两年，斯坦福大学 Hazy Research 实验室一直在从事一项重要的工作：增加序列长度。 他们有一种观点：更长的序列将开启机器学习基础模型的新时代 —— 模型可以从更长的上下文、多种媒体源、复杂的演示等中学习。目前，这项研究已经取得了新进展。H
4/27/2023 3:11:00 PM
机器之心
ICASSP 2022 | 用于多模态情感识别的KS-Transformer

ICASSP 2022 | 用于多模态情感识别的KS-Transformer
多模态情感识别是人机交互中的重要技术，也是人工智能走向类人智能时所需要攻克的关键难题。
12/20/2022 3:34:00 PM
优必选科技
解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer

解锁CNN和Transformer正确结合方法，字节跳动提出有效的下一代视觉Transformer
来自字节跳动的研究者提出了一种能在现实工业场景中有效部署的下一代视觉 Transformer，即 Next-ViT。Next-ViT 能像 CNN 一样快速推断，并有 ViT 一样强大的性能。
7/22/2022 5:26:00 PM
机器之心
Creator 面对面 | 大模型的最后一公里路“不太平”

Creator 面对面 | 大模型的最后一公里路“不太平”
自 2018 年谷歌推出 BERT 以来，语言模型就开始朝着「大模型」的方向演进。21 年诸如华为联合鹏城实验室 2000 亿参数的盘古、谷歌 1.6 万亿参数的 Switch Transfomer、智源研究院 1.75 万亿参数的的悟道 2.0 等相继产出。
7/19/2022 3:44:00 PM
SOTA模型
39亿参数模型公开可用，采样速度7倍提升，残差量化生成图片入选CVPR'22

39亿参数模型公开可用，采样速度7倍提升，残差量化生成图片入选CVPR'22
基于残差量化的自回归图像生成，官方已将代码公开。
3/27/2022 12:42:00 PM
机器之心
华为诺亚调研200多篇文献，视觉Transformer综述入选TPAMI 2022

华为诺亚调研200多篇文献，视觉Transformer综述入选TPAMI 2022
华为诺亚方舟实验室联合北大和悉大整理了业界第一篇视觉Transformer综述。
2/23/2022 2:55:00 PM
机器之心
论文分享 | 丢弃卷积，纯Transformer构建GAN网络

论文分享 | 丢弃卷积，纯Transformer构建GAN网络
最近，计算机视觉（CV）领域的研究者对 Transformer 产生了极大的兴趣并陆续取得了不少突破。比如，2020 年 5 月，Facebook AI 的研究者推出了 Transformer 的视觉版本——Detection Transformer，在性能上媲美当时的 SOTA 方法，但架构得到了极大简化；10 月，谷歌提出了 Vision Transformer (ViT)，可以直接利用 transformer 对图像进行分类，而不需要卷积网络。
2/26/2021 2:27:00 PM
机器之心