训练

  • 性能提升、成本降低,这是分布式强化进修算法最新研究进展

    深度强化进修(Deep Reinforcement Learning,DRL)是一种公认的解决连续决策问题的有效技术。为了应对 DRL 的数据低效(data inefficiency)问题,受到分布式机器进修技术的启发,分布式深度强化进修 (distributed deep reinforcement learning,DDRL) 已提出并成功应用于盘算机视觉和自然语言处理领域。有观点认为,分布式强化进修是深度强化进修走向大规模应用、解决复杂决策空间和长期规划问题的必经之路。分布式强化进修是一个综合的研究子领域,需

    2024年 2月 15日
  • 如何向大模型注入学问?达摩院通义对话模型SPACE系列探索

    如何将人类先验学问低成本融入到预训练模型中一直是个难题。达摩院对话智能团队提出了一种鉴于半监视预训练的新训练方式,将对话领域的少量有标数据和海量无标数据一起从事预训练,从而把标注数据中蕴含的学问注入到预训练模型中去,打造了 SPACE 1/2/3 系列模型。SPACE-1:注入对话计谋学问,AAAI 2022 长文录用;SPACE-2:注入对话明白学问,COLING 2022 长文录用,并获 best paper award 推荐;SPACE-3:集对话明白 + 对话计谋 + 对话天生于一体的模型, SIGIR 2

    2022年 10月 11日
  • Creator 面对面 | 大规模预训练模型的新思考:效力和泛化

    自 2018 年谷歌推出 BERT(3.4 亿参数)以来,语言模型开始朝着「大」演进。国内外先后出现了参数量高达千亿甚至万亿的语言模型,比如谷歌的 T5(110 亿)、OpnAI 的 GPT-3(1,750 亿)、华为联合鹏城实验室的盘古(Pangu)(2000 亿),智源研究院的 WuDao2.0(1.75 万亿)……

    对于这样的大模型,其背后支撑的是巨额的算力要求。那么对于 AI 民主化,降低模型训练门槛和壁垒,同时兼顾性能和表现,在未来模型的训练上又会有怎样的思考呢?

    2022年 7月 26日
  • 无需训练,主动扩大的视觉Transformer来了

    来自德克萨斯大学奥斯汀分校、悉尼科技大学和谷歌的研讨者提出了一个无需训练就能主动扩大框架 As-ViT,其能以高效和有原则的方式主动发现和扩大 ViT。

    2022年 4月 10日
  • 言语模型参数越多越好?DeepMind用700亿打败自家2800亿,训练优化出「小」模型

    给定固定的 FLOPs 估算,该当如何权衡模型巨细和训练 token 的数目?DeepMind 得出了与先前不同的结论。

    2022年 4月 3日
  • 阿里开源 反对10万亿模型的自研分布式训练框架EPL(Easy Parallel Library)

    最近阿里云机器学习PAI平台和达摩院智能估计实验室一起发布“低碳版”巨模型M6-10T,模型参数已经从万亿跃迁到10万亿,规模远超业界此前发布的万亿级模型,成为当前全球最大的AI预训练模型。

    2022年 3月 30日
  • 站在2022前展望大模型的未来,周志华、唐杰、杨红霞这些大咖怎么看?

    岁末年初之际,让我们回顾大模型的过去,展望大模型的未来。

    2021年 12月 29日
  • 图神经网络精确预计有机化合物性质,加速静态电池的设计

    编辑/绿萝大规模从头较量争论与布局预计的进步相结合,在有机功能资料的发觉中发挥了重要作用。目前,在有机资料的广阔化学空间中,只发觉了一小部分。实验和较量争论研讨职员都需要加速探索未知的化学空间。来自美国国家可再生能源实验室(NREL)、科罗拉多矿业学院和伊利诺伊大学的研讨职员展示了一种可以精确预计有机化合物性质的机械进修方法。展示了基态(GS)和更高能量布局的平衡训练数据集,对使用通用图神经网络(GNN)架构精确预计总能量的重要性。该研讨可加速静态电池的设计。该研讨以「Predicting energy and stabi

    2021年 12月 24日
  • 增大模型依然有用,DeepMind用2800亿参数的Gopher,测试谈话系统极限

    DeepMind 连发三篇论文,全面阐述大规模谈话模型依然在进展之中,能力也在继续增强。近年来,国内外各大 AI 巨头的大规模谈话模型(large language model,LLM)一波接着一波,如 OpenAI 的 GPT-3、智源研讨院的悟道 2.0 等。大模型已然成为社区势不可挡的发展趋势。然而,当前谈话模型存在着一些问题,比如逻辑推理较弱。那么,我们是否可以仅通过添加更多数据和算力的情况下革新这些问题呢?或者,我们已经达到了谈话模型相关技术范式的极限?今日,DeepMind「一口气」发表了三篇论文,目的

    2021年 12月 9日
  • 归一化提高预训练、缓解梯度不匹配,Facebook的模型超越GPT-3

    来自 Facebook AI 的研究者提出了 NormFormer,该模型能够更快地达到目标预训练的蛊惑度,更好地实现预训练蛊惑度和下游义务功能。

    2021年 10月 27日