AI在线 AI在线

硬件

「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑

「还是谷歌好」，离职创业一年，我才发现训练大模型有这么多坑
Karpathy：中肯的，一针见血的。如何在不到一年的时间里创办一家公司、筹集资金、购买芯片，并搭建出追赶 Gemini pro/GPT 3.5 的 LLM？很多人都对构建基础架构和训练大语言模型和多模态模型感到好奇，但真正走完「从零开始」这一流程的人很少。我们普遍认为，储备技术人才是前提，掌握核心算法是关键，但实际上，工程实践中冒出来的挑战，也实在令人头疼。一年前，乘着大模型的热潮，Yi Tay 离开了工作 3 年多的谷歌，参与创办了一家名为 Reka 的公司并担任首席科学家，主攻大型语言模型。在谷歌时，Yi T
3/7/2024 3:14:00 PM
机器之心
75岁Hinton中国大会最新演讲「通往智能的两种道路」，最后感慨：我已经老了，未来交给年轻人

75岁Hinton中国大会最新演讲「通往智能的两种道路」，最后感慨：我已经老了，未来交给年轻人
「但我已经老了，我所希望的是像你们这样的年轻有为的研究人员，去想出我们如何能够拥有这些超级智能，使我们的生活变得更好，而不是被它们控制。」
6/12/2023 2:30:00 PM
机器之心
阿里 BladeDISC 深度学习编译器正式开源

阿里 BladeDISC 深度学习编译器正式开源
作者：朱凯 - 机器学习PAI团队 随着深度学习的不断发展，AI模型结构在快速演化，底层计算硬件技术更是层出不穷，对于广大开发者来说不仅要考虑如何在复杂多变的场景下有效的将算力发挥出来，还要应对计算框架的持续迭代。深度编译器就成了应对以上问题广受关注的技术方向，让用户仅需专注于上层模型开发，降低手工优化性能的人力开发成本，进一步压榨硬件性能空间。阿里云机器学习PAI开源了业内较早投入实际业务应用的动态shape深度学习编译器 BladeDISC，本文将详解 BladeDISC的设计原理和应用。BladeDISC是什
3/30/2022 6:06:00 PM
阿里云大数据AI技术
详解AI加速器（一）：2012年的AlexNet到底做对了什么？

详解AI加速器（一）：2012年的AlexNet到底做对了什么？
AI、机器学习、深度学习的概念可以追溯到几十年前，然而，它们在过去的十几年里才真正流行起来，这是为什么呢？AlexNet 的基本结构和之前的 CNN 架构也没有本质区别，为什么就能一鸣惊人？在这一系列文章中，前苹果、飞利浦、Mellanox（现属英伟达）工程师、普林斯顿大学博士 Adi Fuchs 尝试从 AI 加速器的角度为我们寻找这些问题的答案。当代世界正在经历一场革命，人类的体验从未与科技如此紧密地结合在一起。过去，科技公司通过观察用户行为、研究市场趋势，在一个通常需要数月甚至数年时间的周期中优化产品线来改进
1/13/2022 2:48:00 PM
机器之心
降低门槛，全平台应用，昇腾还会手把手地教你如何用AI

降低门槛，全平台应用，昇腾还会手把手地教你如何用AI
机器之心报道作者：泽南如何才能做到 AI 应用一次开发，全场景部署？昇腾给出了答案。如今的大多数 AI 应用程序都需要跑在多种类型的处理器上，覆盖数十个版本的操作系统，运行在从端侧到云计算集群的各种设备上。这样复杂的环境，对软件的适应性和模型的可裁剪、可伸缩性提出了极高要求。AI 开源框架也在顺应这股潮流，昇腾发布的 CANN、MindSpore、MindX 等工具，可以让开发者实现「统一端边云，全端自动部署」，开启了机器学习开发的新时代，一直被人们寄予厚望。昇腾的 AI 全栈软件平台。其中，基础架构作为连接硬件与
3/19/2021 11:23:00 AM
机器之心