在了解通用类似定理之前,你可能都不会了解神经搜集

通用类似定理很好地解释了为什么神经搜集能工作以及为什么它们经常不起作用。

此前,图灵奖得主、深度学习先驱 Yann LeCun 的一条推文引来众多网友的讨论。在该推文中,LeCun 表示:「深度学习并不像你想象的那么令人印象深刻,因为它仅仅是通过曲线拟合产生的插值结果。但在高维空间中,不存在插值这样的情况。在高维空间中,一切都是外推。」

在了解通用类似定理之前,你可能都不会了解神经搜集

而 LeCun 转发的内容来自哈佛认知科学家 Steven Pinker 的一条推文,Pinker 表示:「 通用类似定理很好地解释了为什么神经搜集能工作以及为什么它们经常不起作用。只有了解了 Andre Ye 的通用类似定理,你才能了解神经搜集。」

在了解通用类似定理之前,你可能都不会了解神经搜集

Pinker 所提到的 Andre Ye,正是接下来要介绍《You Don’t Understand Neural Networks Until You Understand the Universal Approximation Theorem》文章的作者。虽然该文章是去年的,但在了解神经搜集方面起到非常重要的作用。在人工神经搜集的数学理论中, 通用类似定理(或称万能类似定理)指出人工神经搜集类似任务函数的能力。通常此定理所指的神经搜集为前馈神经搜集,并且被类似的目标函数通常为输出输出都在欧几里得空间的连续函数。但亦有研究将此定理扩展至其他类型的神经搜集,如卷积神经搜集、放射状基底函数搜集、或其他特殊神经搜集。此定理意味着神经搜集可以用来类似任务的单纯函数,并且可以达到任务类似精准度。但它并没有告诉我们如何选择神经搜集参数(权重、神经元数量、神经层层数等等)来达到我们想类似的目标函数。1989 年,George Cybenko 最早提出并证明了单一公开层、任务宽度、并运用 S 函数作为激励函数的前馈神经搜集的通用类似定理。两年后 1991 年,Kurt Hornik 研究发现,激活函数的选择不是关键,前馈神经搜集的多层神经层及多神经元架构才是使神经搜集有成为通用迫近器的关键。最重要的是,该定了解释了为什么神经搜集似乎表现得如此聪明。了解它是发展对神经搜集深刻了解的关键一步。更深层次的探索紧凑(有限、封闭)集合上的任何连续函数都可以用分段函数迫近。以 – 3 和 3 之间的正弦波为例,它可以用三个函数来类似——两个二次函数和一个线性函数,如下图所示。

在了解通用类似定理之前,你可能都不会了解神经搜集

然而,Cybenko 对这个分段函数描述更为具体,因为它可以是恒定,本质上通过 step 来拟合函数。有了足够多的恒定域 (step),我们就可以在给定的范围内合理地估计函数。

在了解通用类似定理之前,你可能都不会了解神经搜集

基于这种类似,我们可以将神经元当做 step 来构建搜集。利用权值和偏差作为「门」来确定哪个输出下降,哪个神经元应该被激活,一个有足够数量神经元的神经搜集可以单纯地将一个函数划分为几个恒定区域来估计。对于落在神经元下降部分的输出信号,通过将权重放大到较大的值,最终的值将接近 1(当运用 sigmoid 函数计算时)。如果它不属于这个部分,将权重移向负无穷将产生接近于 0 的最终结果。运用 sigmoid 函数作为某种处理器来确定神经元的存在程度,只要有大量的神经元,任何函数都可以近乎完美地类似。在多维空间中,Cybenko 推广了这一思想,每一个神经元在多维函数中控制空间的超立方体。通用类似定理的关键在于,它不是在输出和输出之间建立单纯的数学关系,而是运用单纯的线性操作将单纯的函数分割成许多小的、不那么单纯的部分,每一个部分由一个神经元处理。

在了解通用类似定理之前,你可能都不会了解神经搜集

自 Cybenko 的初始证明以后,学界已经形成了许多新的改进,例如针对不同的激活函数(例如 ReLU),或者具有不同的架构(循环搜集、卷积等)测试通用类似定理。不管怎样,所有这些探索都围绕着一个想法——神经搜集在神经元数量中找到优势。每一个神经元监视特征空间的一个模式或区域,其大小由搜集中神经元的数量决定。神经元越少,每一个神经元需要监视的空间就越多,因此类似能力就会下降。但是,随着神经元增多,无论激活函数是什么,任何函数都可以用许多小片段拼接在一起。泛化和外推有人可能指出,通用类似定理虽然单纯,但有点过于单纯(至少在概念上)。神经搜集可以分辨数字、生成音乐等,并且通常表现得很智能,但实际上只是一个单纯的迫近器。神经搜集旨在对给定的数据点,能够建模出单纯的数学函数。神经搜集是个很好的迫近器,但是,如果输出超出了训练范围,它们就失去了作用。这类似于有限泰勒级数类似,在一定范围内可以拟合正弦波,但超出范围就失效了。

在了解通用类似定理之前,你可能都不会了解神经搜集

外推,或者说在给定的训练范围之外做出合理预测的能力,这并不是神经搜集设计的目的。从通用类似定理,我们了解到神经搜集并不是真正的智能,而是公开在多维度伪装下的估计器,在二维或三维中看起来很普通。定理的实际意义当然,通用迫近定理假设可以继续向无穷大添加神经元,这在实践中是不可行的。此外,运用神经搜集近乎无限的参数组合来寻找性能最佳的组合也是不切实际的。然而,该定理还假设只有一个公开层,并且随着添加更多公开层,单纯性和通用迫近的潜力呈指数增长。取而代之的是,机器学习工程师依据直觉和经验决定了如何构造适合给定问题的神经搜集架构,以便它能够很好地迫近多维空间,知道这样一个搜集的存在,但也要权衡计算性能。

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/zai-liao-jie-tong-yong-lei-si-ding-li-zhi-qian-ni-ke-neng/

(0)
上一篇 2021年 9月 7日 下午2:28
下一篇 2021年 9月 9日 下午6:51

相关推荐

  • 规模化机械学习崛起、「零断定」架构出现,德勤呈文2021九大技巧趋向

    《德勤2021年技巧趋向》呈文研究了疫情一年来对企业战术、运营和技巧带来的连锁反应,论述了其重大发现:全球企业在加速数字化战术转型,从而构建「韧性」、开创全新的经营模式。呈文讨论了接下来18至24个月及以后驱动企业规划背后的九大技巧趋向,包括现在的工作环境、人工智能产业化、关键外围业务的升级以及撑持多样性、公道性和包容性的技巧等内容。这些技巧趋向也同时明确了动荡一年所带来的更具希望的一面。日前,德勤管理咨询正式发布了《2021技巧趋向呈文》。本年度呈文研究了疫情一年来对企业战术、运营和技巧带来的连锁反应,论述了其

    2020年 12月 31日
  • 深度进修领域最常用的10个激活函数,一文详解数学原理及优缺点

    激活函数是神经网络模型重要的组成部分,本文作者Sukanya Bag从激活函数的数学原理出发,详解了十种激活函数的优缺点。

    2021年 2月 24日
  • 抓取了1400家科技公司的雇用信息,我发现数据工程师比数据迷信家更有市场

    「作为数据迷信家,我还有机会吗?」不,你更应该成为数据工程师。

    2021年 1月 20日
  • 「小破站」真顶流,CMU说话手艺研究所登陆B站:这是学术圈的新时尚?

    小破站真是出息了。当年发迹于二次元的「小破站」,俨然时代顶流了。继加拿大滑铁卢大学老师在 B 站开设《差分隐私》课程之后,现在又有国外机构来小破站开课了!😏1 月 20 日,一个名为「LTIatCMU」(卡耐基梅隆大学说话手艺研究所)的账号,悄悄在 B 站上传了 9 个视频。CMU 副老师 Graham Neubig 发推表示,这些讲座集结了说话手艺研究所(LTI)成员与客座讲师,在 YouTube 和 B 站均有资源。「我们的中国朋友也可以观看 bilibili:https://space.bilibili.c

    2021年 2月 4日
  • 比照进修引领弱标签进修新SOTA,浙大新研究入选ICLR Oral

    本文介绍浙江大学、威斯康星大学麦迪逊分校等机构的最新工作 PiCO,相关论文已被 ICLR 2022 录用(Oral, Top 1.59%)!偏标签进修 (Partial Label Learning, PLL) 是一个经典的弱监视进修问题,它允许每一个训练样本关联一个候选的标签荟萃,适用于许多具有标签不确定性的的现实世界数据标注场景。然而,现存的 PLL 算法与完全监视下的法子依然存在较大差距。为此,本文提出一个协同的框架解决 PLL 中的两个关键研究挑战 —— 表征进修和标签消歧。具体地,

    2022年 2月 17日
  • 第一!科大讯飞再度革新Cityscapes世界纪录

    近日,科大讯飞凭借在道路方向检测领域多年的技巧索求,革新了Cityscapes 3D方向检测任务的全球最好成绩,得到检测分数(DS)42.9,取得了该项评测的第一名。此次也是科大讯飞继2017年、2018年参与测评之后,再一次革新Cityscapes的世界纪录。此次评测,科大讯飞借鉴了已在都会交通出行场景下应用的Anchor-Free车辆检测技巧,将2D方向检测技巧升级至3D,并连系3D到2D重投影的特殊先验信息进行算法迁移。通过连系语义、上下文信息、位置先验信息以及方向形状先验信息等,提取准确的3D方向检测框,构

    2021年 8月 22日
  • 欧洲投资银行供应1.5亿欧元反对欧洲人工智能企业

    欧洲投资银行团体(EIB Group)启动了一项高达1.5亿欧元的新的融资东西,反对人工智能及与人工智能直接相干/互补的区块链、物联网和机器人技能。与新的融资东西相干的资金反对将在将来四年内布置,供应给欧盟和Horizon 2020相干国家与地区,重点投资开发突破性人工智能应用的晚期和成长阶段的公司。这项东西是EIB团体和欧盟委员会更大计划的一部分,旨在反对高性能计算、量子技能和网络安全等规模的欧洲数字将来倒退。12月3日,在2020年Web峰会上,欧洲投资银行团体(EIB Group)启动了一项新的融资东西,以支

    2020年 12月 9日
  • 百分点大数据技术团队:数据管理“PAI”实施方法论

    编者按数据作为第五大生产要素,已逐渐成为政府和企业决策的重要手段与依据。面对数据多样化、数据需要个性化、数据应用智能化的需要,以及在2B和2G行业中数据品质参差不齐、数据应用难以发挥价值、数据资产难以积淀等问题,如何做好数据管理事务、提拔数据管理才智成为了政府和企业数字化转型的重中之重。百分点大数据技术团队基于多年的数据管理项目经验,总结了一套做好数据管理事务及提拔数据管理才智的实施方法论。近年来,推动数据管理体系建设一直是业界探索的热点,另外,《中共中央、国务院关于构建更加完善的要素市场化配置体制机制的意见》将数

    2021年 3月 10日
  • 可对药物份子举行表征的若干深度进修

    编辑 | 萝卜皮若干深度进修(GDL)基于包罗和处理对称信息的神经网络架构。GDL 为依赖于具有不同对称性和抽象级别的份子体现的份子建模利用程序带来了希望。苏黎世联邦理工学院的研讨人员对份子 GDL 举行了结构化和统一概述,重点介绍了其在药物发现、化学合成猜测和量子化学中的利用。它包罗对 GDL 原理的介绍,以及相关的份子体现,例如份子图、网格、曲面和字符串,以及它们各自的属性。讨论了份子科学中 GDL 当前面临的挑战,并尝试猜测未来的机会。该综述以「Geometric deep learning on molec

    2021年 12月 27日
  • 3D传感器芯片技能全球率先,灵明光子完成数亿元C轮融资

    新一代全球率先的3D传感器芯片服务商灵明光子完成数亿元C轮融资,领投方为美团龙珠,老股东昆仲资本和高榕资本继续加注,光源资本担任独家财务顾问。融资完成后,公司将加速推进产物量产,并继续在先进领域投入研发,保持技能率先性。灵明光子致力于用国际率先的单光子探测器(SPAD)技能,为手机、激光雷达、机器人、AR装备等提供自主研发的高性能dToF深度传感器芯片。自2018年成立以来,灵明光子已迅速完成多轮融资,并引入小米、OPPO、欧菲光等产业资本,显示出商场对于灵明光子dToF芯片研发能力和运用前景的看好。dToF(di

    2022年 4月 11日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注