参数

  • Creator 面对面 | 北大河图在希罕大模型训练架构上的几点探索

    河图是北京大学数据与智能实验室自研的一款分布式深度学习框架,兼顾创新性和可用性,这也是国内首个由高校自主研发的分布式深度学习系统。底层的算子实现到上层的模型设计完全是由河图团队自主实现。

    2022年 7月 13日
  • 言语模型参数越多越好?DeepMind用700亿打败自家2800亿,训练优化出「小」模型

    给定固定的 FLOPs 估算,该当如何权衡模型巨细和训练 token 的数目?DeepMind 得出了与先前不同的结论。

    2022年 4月 3日
  • 干货速递,baiduBML主动超参搜寻技术原理揭秘与实战攻略!

    在人工智能领域,算法工程师在训练神经网络模型的过程中,完成网络构建和准备好训练数据后,往往需要对模型从事各种参数优化,以获得更好的模型成效。但调参其实并不简单,背后往往是通宵达旦的参数调试与成效验证,并需要做大量的实验,不仅耗时也耗费大量算力。这个时候,往往想尝试主动超参搜寻,但又开始担心算力要求所带来的额外训练成本。莫慌!baidu全功能AI开发平台BML带着免费算力额度与主动超参搜寻能力来了!先来介绍baidu最近全新升级的BML,何方神圣?全功能AI开发平台BML(Baidu Machine Learning) ,是为企

    2021年 8月 11日