Creator 面对面 | 面向对立的 AI 模型架构和进修步骤

随着 AI 的兴起,不同规模的相关研究热火朝天,各种各样的 AI 模型框架和进修步骤扑面而来,各不相同。那么是否能有一种对立的模型架构和进修步骤来解决不同规模的不同问题呢?让我们来听听怎么看。

在今年 1 月,微软亚洲研究院(MSRA)视觉计算组的主任研究员胡瀚在做客呆板之心「2021-2022 年度 AI 技术趋势洞察」的「模型专场」直播间时,为我们带来了主题为「面向对立的 AI 模型架构和进修步骤」的进修分享。

图片

胡瀚博士首先为大家先容了鉴于通用架构的通用进修呆板—人脑。

图片

左图中比较褶皱的地方叫新皮质,这个部分占了整个人脑的 70% 左右,负责了大部分的人类的智能,包括视觉、触觉、听觉等等。尽管有很多不同的功能区,但是它的构造非常对立。如果我们将这些褶皱展开的话,它的形状就像一个餐巾布,长宽大概 40 到 50 厘米,厚2到3毫米。

最右边的图是通过三种染色步骤得到的一个剖面图,它是一个很明显的六层构造。这样一个构造表明先前看起来很不一样的这些能力,它所用的构造几乎是一模一样的。反过来说,我们几乎所有的智能,都可以用这样的一种通用的构造来实现,即新皮质,而这实在也是人之所以能够成为万物之灵长的一个关键所在。

随后胡瀚博士分享了一个关于大脑新皮质的可塑性的一个试验。

图片

该试验发表在 2000 年的《Nature》上,科学家在在老鼠出生的时候,把听觉的皮层的输出掐断,然后把视觉的输出粘到听觉皮层里面,然后发现一段时间以后,这个听觉皮层也能够对视觉产生响应。这个例子就表明我们的神经的皮质实在是很通用的。

前面提到的是大脑的构造,是先天的,那么人脑又是如何进行后天进修的呢?胡瀚博士先容了 LeCun 的蛋糕类比、婴儿在观察中的进修(自监视)、对立进修步骤等等。

图片

人脑的进修目前普遍认为实在是通过一种预测的形式。

图片

具体人脑是如何实现的呢?目前还尚不清楚,但脑科学家们有一些推论,认为丘脑可能起到了关键作用。

图片

人脑它是一个鉴于通用模型,通用进修步骤的呆板。我们相信未来的 AI 它也必然是一个对立的模型以及对立的进修步骤。这里,胡瀚博士分别对 「迈向对立的 AI 模型架构」和 「迈向对立的 AI 进修步骤」做了分享。

                                           迈向对立的 AI 模型架构

胡瀚博士首先先容了卷积用于序列自然语言处理的步骤 和 视觉步骤。

图片

其中 Transformer 是目前处于一个统治的地位,原因是其有强大的通用性。

图片

胡瀚博士着重先容了由他们团队研发的 Swin Transformer,先容了 Swin Transformer 的核心想法还有 Swin 的关键技术及创新:移位窗口步骤等等。

图片

鉴于下图中这样的一个设计范式,可以用来处理 NLP 和 CV 以及广泛的一些问题。

图片

                                    迈向对立的 AI 进修步骤

图片

NLP 规模中的进修步骤,如 BERT — 掩码信号预测。

图片

CV 规模以往是鉴于有监视来做预训练,但从 MoCo 首次以自监视的形式超越有监视的形式开始,视觉自监视步骤引起了广泛的关注。

图片

NLP 规模中的进修步骤在 CV 规模被验证有效。

图片

对立收集架构和对立进修步骤铸造视觉大模型Swin Transformer v2。

图片

分享的最后,胡博士讲道:我们应该期待去拥抱 AI 的对立收集架构以及进修步骤。

图片

原创文章,作者:SOTA模型,如若转载,请注明出处:https://www.iaiol.com/news/creator-mian-dui-mian-mian-xiang-dui-li-de-ai-mo-xing-jia/

(0)
上一篇 2022年 7月 16日 下午12:06
下一篇 2022年 7月 18日 下午5:02

相关推荐

  • Interact Analysis 年度陈诉发布 见证极智嘉稳居全世界仓储机器人商场绝对领先地位

    近日,全世界权威研究机构Interact Analysis重磅发布《2022移动机器人商场陈诉》(The Mobile Robot Market-2022),对移动机器人在全世界仓储和制造范畴的运用现状、商场环境和发展趋势进行了全面分析和展望。陈诉指出,移动机器人商场在2021年大幅增进,从相对疲软的2020年有所回升,出货量增进超过70%。长期来看,劳动力稀缺、劳动力成本上升、电子商务增进、柔性制造转型这些驱动力将一如既往强劲,陆续推动着移动机器人商场发展。预测未来五年,移动机器人的出货量将继续以每年约50%的速度增

    2022年 11月 23日
  • 大咖Talk丨崔运凯:AI构造的未来——主动驾驭场景下的制胜要害

    2021年12月21日,由亿欧EqualOcean主办的“数字重塑世界-WIM2021世界创新者年会”在中国上海正式开幕。在“主动驾驭商用场景3.0时代” 篇章中,格物钛智能科技创始人兼CEO崔运凯发表了题为《AI构造的未来——主动驾驭场景下的制胜要害》的主题演讲。

    2022年 1月 11日
  • 悉尼大学教授陶大程加入京东,出任京东试探研究院院长

    机器之心 3 月 9 日消息,人工智能和信息迷信规模国际知名学者、悉尼大学教授、澳大利亚迷信院院士陶大程已正式出任京东试探研究院 (JD Explore) 院长。

    2021年 3月 9日
  • 百分点大数据技术团队:ClickHouse国家级项目机能优化实际

    编者按ClickHouse自从2016年开源以来便备受关注,主要应用于数据分析(OLAP)领域,各个大厂纷纷跟进大规模利用。百分点科技在某国家级项目建设中完成了多数据中心的ClickHouse集群建设,日增千亿数据量,在此基础上举行优化与机能调优,能够更好地解决部署规模扩大和数据量扩容等问题。本文结合项目的数据规模及交易场景,重点介绍了百分点大数据技术团队在ClickHouse国家级项目建设中的机能优化实际。一、概览2020年4月,百分点大数据技术团队结合某国家级多数据中心的Clickhouse集群建设,发表了&l

    2021年 7月 22日
  • 准确率达 95%,机械进修猜测复杂新质料合成

    编辑/绿萝科学家和机构每年都投入非常多的资源来发明新质料,以期为燃料提供催化剂。随着自然资源的减少,以及对更高价值和先进性能产品的需求增长,钻研职员越来越多地关注到纳米质料。但识别新质料的连续尝试方法对质料发明施加了不可逾越的限制。近日,美国西北大学和丰田钻研所(TRI)的钻研职员应用机械进修来指导新纳米质料的合成,消除了质料发明相关的障碍。这种训练有素的算法,可通过界说数据集来准确猜测可用于清洁能源、化学和汽车行业燃料的重要催化剂。该钻研以「Machine learning–accelerated design

    2021年 12月 30日
  • 关于人工智能的未来,张亚勤、张宏江在聊什么

    “我们打造一个规模庞大的体系时,更需要具备体系思维,同时拥有动手能力、喜欢搭体系的能人……诞生至今,智源一直肩负着三项重要任务:一是构筑一个社区。二是打造一个真正适合青年科学家成长的平台。三是专注于一些可能产生原始革新与长期影响的畛域。”张宏江 北京智源人工智能钻研院理事长“在AIR,所有人的工作目标,是确定我们的钻研和技巧能够对家当有影响力, 或者赋能现有家当,或者孵化新的企业。在数据和AI的世界里, 钻研员和工程师的界限更加模糊, 因此我们会跟拥有大量数据和真实场景的企业合作。”张亚勤 清华大学智能家当钻研院院

    2021年 3月 30日
  • 使用谷歌Colab Notebooks,这6个小技巧你需要掌握

    切换暗黑形式、读取 CSV 文献… 这些非常实用的小技巧为开发者使用谷歌 Colab Notebooks 提供了便利。Google Colab 给广大的 AI 爱好者和开发者提供了免费的 GPU,他们可以在上面轻松地跑 Tensorflow、PyTorch 等深度学习框架。特别地,Colab 实时 Notebooks 在数据同享方面为广大开发者提供了便利,通过链接即可与其他的开发者同享文献。在本文中,数据科学家 Iden W. 为读者详细地介绍了使用 Google Colab Notebooks 的小

    2021年 2月 1日
  • 姚班校友、斯坦福助理老师吴佳俊翻译,视觉估计经典《Vision》中文版面世

    这本书曾深刻地影响了一代脑、认知、估计机视觉范畴的学者。

    2022年 1月 18日
  • 向英伟达发起挑衅的Groq是什么来头?简单科普新型AI芯片LPU

    这是一篇关于 LPU 的简单科普。在如今的人工智能领域,「GPU is All You Need」已经逐渐成为共识。没有充足的 GPU,连 OpenAI 都不能轻易升级 ChatGPT。不过最近,GPU 的地位也在经受挑衅:一家名为 Groq 的初创公司开发出了一种新的 AI 处置器 ——LPU(Language Processing Unit),其推理速率相较于英伟达 GPU 提高了 10 倍,老本却降低到十分之一。在一项展示中,LPU 以每秒超过 100 个词组的惊人速率执行了开源的大型

    2024年 3月 6日
  • 元宇宙虚构数字人的建立与将来身份系统

    「机器之心2021-2022年度AI趋势大咖说」聚焦「启动将来的AI技术」与「重塑产业的AI科技」,推出线上分享,共邀请近40位AI领域知名学者、产业专家及企业高管通过主题分享及多人圆桌等形式,与行业精英、读者、观众共同回顾 2021年中的重要技术和学术热点,盘点AI产业的年度研究方向以及重大科技突破,展望2022年度AI技术发展方向、AI技术与产业科技融合趋势。

    2022年 8月 1日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注