深度进修如炼丹,你有哪些科学做法?网友:Random seed=42结果好

调参的苦与泪,还有那些「科学的做法」。

每个呆板进修领域的研究者都会面临调参过程的考验,当往往说来容易做来难。调参的背后往往是通宵达旦的论文研究与 GitHub 查阅,并需要做大量的实验,不仅耗时也耗费大量算力,更深深地伤害了广大工程师的头发。

图片

有人不禁要问:调参是门形而上学吗?为什么模型明明调教得很好了,可是效果离我的想象总有些偏差。近日,reddit 上一则帖子引发了网友热议,「呆板进修调参领域有哪些科学的看法或做法呢?

图片

原贴地址:https://www.reddit.com/r/MachineLearning/comments/rkewa3/d_what_are_your_machine_learning_superstitions/?sort=confidence关于调参的那些「秘诀」在呆板进修中,超参数调整是一项必备技能,通过观察在训练过程中的监测指标如损失 loss 和准确率来判断当前模型处于什么样的训练状态,及时调整超参数以更科学地训练模型能够提高资源利用率。每个人都会根据自己的实际经历进行模型调参,最终,绝大多数研究者可能得出的经历就是:

Random seed = 0 得到坏的结果

Random seed = 42 得到好的结果

Even-valued k in k-Means = insightful segmentation

有人将这一经历总结奉为所谓的 ML「科学做法」,但其实不然,几乎所有学者都这样做。不过,也有网友对这一经历总结持怀疑态度:网友 @SlashSero 遗憾地表示,这种情况甚至会出现在非常有名的科学出版物上,尤其是在交织考证不可行或者易受其他参数选择影响的呆板进修应用中,因此超参数优化(HPO)不可行。不妨看看 NeurIPS 会议论文有多少拥有真正透明的代码库和易于复现的交织考证研究,以证实他们的工作较去年提升了 0.5-1% 的功能。另外,很多时候出于对研究者的信任,但其实会导致新的深度进修模型在实践中并没有表现出明显优于传统模型的功能。我们应该看到,社区存在这样一种现状:花费大量时间确保模型真正兑现它所表现出的功能,并且可复现和透明,这是一项吃力不讨好的工作。消耗计算资源不说,还有可能失去在一个发展极快的领域发表论文和获得表彰的机会。

图片

为了实现模型最佳功能,各路网友也纷纷晒出自己的炼丹经历:有网友认为 Random seed 必须是 10 的倍数,最好是 1000(不过该回答遭到了别人的反驳)。

图片

除了 Random seed 设置外,有研究者分享了自己的一些科研小技巧。模型的训练过程,近乎黑盒,假如期间发生法式错误,很难察觉到,有网友建议随时随地进行「print」是一个很好的习惯,在法式第一次运行时,一定要打印所有可能的东西,「print」能让你知道法式进行到哪一步,有没有陷入死循环…… 其实,绝大多数法式员都会这样做。

图片

除了「print」外,有人表示日记记录也非常有必要,在实验室做科研,有时为了跑一个法式,需要花费好几天的时间,但总有那么不顺心的地方,要么好久不断电的实验室突然断电,要么服务器崩了…… 所以随时随地保存日记也是每个法式员必备的,查看日记记录,你能发现法式运行到哪了,粗略估计模型功能,还能查看错误:

图片

还有网友晒出了自己的 dropout 经历,认为超过 20% 的 dropout 将使该模式难以恢复。不过这只是这位网友自己的经历,也有人表示自己采用 90% 的 dropout,模型功能最好。

图片

除此以外,有网友总结了批大小应该是 2 的幂次方。

图片

以上就是网友总结的一些 ML 炼丹小技巧。形而上学论文难复现虽然调参有用,但网友 @ostrich-scalp 犀利地批驳道,「大多数论文的结果都是胡说八道,将我的职业生涯都用来实现这些工作并期望创建像模像样可用于生产的模型,这是一个极大的错误。」

图片

上面那位老哥 @SlashSero 接茬说道,「令人难以置信的是,ACM、IEEE、IAAA 和 NeurIPS 上发表的论文有多少完全只是出于对作者的信任。到现在为止,你可能希望所有知名期刊和会议都要求论文作者开源和复现代码,但这种情况只是例外。」

图片

显然,呆板进修是一门技术。虽然神经网络黑箱的状态让可解释性受限,但我们可以在较高层面上通过经历解决面临的问题。我们需要加载数据,建立框架,让系统运行起来,设定度量标准,调整参数并分析误差,进行特征工程,结果可视化等等步骤。最终经过数次迭代直至推理的准确率不再提升。那么为什么各种形而上学现象仍然不断出现,拷问着我们的心灵?看来,我们对这门学科的了解还不够多。不过请记住 NIPS 2017 大会上图灵奖得主 Judea Pearl 演讲的最后一页 Keynote:

图片

数据科学仅当能促进对数据的合理解读时才能被称为科学。不过也不用怕,深度进修调参总还是有技巧可循的,大致可以总结如下。这些算不得科学做法,仅供参考。

寻找合适的进修率。作为一个非常重要的参数,进修率面对分别规模、分别 batch-size、分别优化方式和分别数据集,它的最合适值都是不确定的。我们唯一可以做的,就是在训练中不断寻找最合适当前状态的进修率;

权重初始化。相比于其他的 trick 来说使用并不是很频繁。只有那些没有预训练模型的领域会自己初始化权重,或者在模型中去初始化神经网络最后那几个全连接层的权重。常用权重初始化算法是「kaiming_normal」或「xavier_normal」;

数据集处理,主要有数据筛选和数据增强;

多模型融合,这是论文刷结果的终极核武器,深度进修中一般有几种方式,比如同样的参数,分别的初始化方式;分别的参数,通过交织考证选取最好的几组;分别的模型,进行线性融合,例如 RNN 和传统模型;

余弦退火和热重启的随机梯度下降。余弦退火就是进修率类似余弦函数慢慢下降,热重启就是在进修的过程中,进修率慢慢下降然后突然再回弹 (重启) 然后继续慢慢下降;

尝试过拟合一个小数据集。关闭正则化 / 随机失活 / 数据扩充,使用训练集的一小部分,让神经网络训练几个周期。确保可以实现零损失,如果没有,那么很可能什么地方出错了。

……

调参路上各有各的「路数」,适合自己就好。最后问一句,炼丹的你有哪些独门秘籍呢?参考链接:

https://www.jiqizhixin.com/articles/2020-10-21-3

https://picture.iczhiku.com/weixin/message1609136710592.html

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/shen-du-jin-xiu-ru-lian-dan-ni-you-nei-xie-ke-xue-zuo-fa/

(0)
上一篇 2021年 12月 21日 上午10:28
下一篇 2021年 12月 21日 下午3:08

相关推荐

  • 寻找了不起的AI开发者!2022年WAIC云帆奖报名开启

    2022 年 WAIC 云帆奖面向全球征选特出华人 AI 开发者,欢迎点击「阅读原文」报名或提名。

    2022年 4月 17日
  • 94岁诺奖得主希格斯去世,曾预言「上帝粒子」的生存

    一名用诗意的语言揭示宇宙秘密的人。一名 94 岁平凡科学家的逝世,引发了人们广泛的哀思。4 月 10 日消息,诺贝尔物理学奖得主、著名物理学家彼得・希格斯(Peter Higgs)于周一去世,享年 94 岁。希格斯因提出希格斯玻色子也被称为「上帝粒子」而闻名。根据爱丁堡大学的一份声明我们得知(彼得・希格斯是该校的名誉退休传授),希格斯经历短暂的生病后,于 4 月 8 日星期一在家中安静的离开。对于老爷子的去世,爱丁堡大书院长 Peter Mathieson 沉重的表示:「彼得・希格斯是一名杰出的科学家 &mdash

    2024年 4月 10日
  • 机械之心升级「SOTA!模型」资本站,万余模型覆盖千余AI任务

    机械之心于2022年第一季度推出新版「SOTA 模型」资本站。作为专注办事中国开发者的第三方平台,该站点在对每日学界、业界最新的SOTA工作进行追踪的同时,汇总了原作团队、社区用户所放出的模型文件、实现代码、数据集等开发资本,协助用户快速上手测验考试新技能。当前新版 「SOTA!模型」已收录超过15000个模型资本,覆盖超过1000个AI任务。用户可通过「检索模型」功能鉴于模型资本所适配的硬件类型、计算平台、框架及模型规模等维度高效查询。作为专业的人工智能信息平台,机械之心于2019年9月发布了首版「SOTA 模型」项

    2022年 8月 5日
  • Nature盘点:从Fortran、arXiv到AlexNet,这些代码改变了迷信界

    从 Fortran 编译器到 arXiv 预印本库、AlexNet,这些算计机代码和平台改变了迷信界。2019 年,「事件视界望远镜」团队拍下了第一张黑洞照片。这张照片并非传统意义上的照片,而是算计得来的——将美国、墨西哥、智利、西班牙和南极多台射电望远镜捕捉到的数据进行数学转换。该团队公开了所用代码,使迷信社区可以看到,并基于此做进一步的探索。而这逐渐成为一种普遍模式。从天文学到动物学,每一个伟大的现代迷信发现背后都有算计机的身影。斯坦福大学算计生物学家、2013 年诺贝尔化学奖获得主 M

    2021年 1月 21日
  • 谷歌大脑高级研讨科学家:在康奈尔读博6年,我收获了什么

    读一个呆板进修规模的博士是什么体验?如果有一个刚毕业的青年科学家能够帮我们总结一下就好了。

    2021年 1月 8日
  • 来一场冬日技巧狂欢!WAVE SUMMIT+2020深度进修开发者峰会报名启动

    说到 798,大家都不陌生。就在下个周日, 12 月 20 日,在北京 798 艺术园区 751 罐,将要举行一场「别开生面」的 AI 开发者活动。

    2020年 12月 11日
  • 超越全系列YOLO、Anchor-free+技巧组合,旷视开源本能更强的YOLOX

    在本文中,来自旷视的研究者提出高本能检测器 YOLOX,并对 YOLO 系列进行了经验性改进,将 Anchor-free、数据加强等方针检测领域先进技术引入 YOLO。获得了超越 YOLOv3、YOLOv4 和 YOLOv5 的 AP,而且取得了极具竞争力的推理速率。随着方针检测技术的发展,YOLO 系列始终追寻可以实时应用的最佳速率和准确率权衡。学界人士不断提取当时最先进的检测技术(如 YOLOv2 的 anchor、YOLOv3 的残差网络),并对这些检测技术进行优化以兑现最佳本能。目前,YOLOv5 在速率和

    2021年 7月 22日
  • 大咖齐聚、思想碰撞、探索前沿,2021WAIC· 隐衷盘算学术交流会全日程公布

    2021 年世界人工智能大会(WAIC)将于 7 月 7 日 – 10 日在上海举办,本届大会继续秉持「智联世界」的理念,以「众智成城」为主题,促进全球人工智能翻新思想、技术、应用、人才和资本的集聚和交流,推动全球科技的翻新协同,助力打造人工智能世界级产业集群。7 月 8 日下午,由世界人工智能大会组委会指导,蚂蚁集团、机器之心和 CCF YOCSEF 上海学术委员会共同主办的「2021 WAIC· 隐衷盘算学术交流会」将于上海世博展览馆 2 号会议室隆重举行。本届大会程序委员会主席:上海交通大学盘算

    2021年 6月 23日
  • 斥资20亿出圈 蜂巢动力上海车展启动业内首个革新日

    4月20日,以“革新动力 引领未来”为主题的蜂巢动力首个革新日在本届上海车展期间正式启动,标志着蜂巢动力品牌策略进级进入2.0阶段。在革新日发布会现场,蜂巢动力宣布进入品牌2.0阶段,并成立蜂巢资源,投入20亿元基金扶植家产革新,计划招募跨界家产合作伙伴20家,全世界招募100名革新先蜂科学家,旨在通过跨界合作,集结全家产链上下游各企业力量,打造动力电池行业产、学、研、用相结合的跨界融合革新生态圈,提升本土企业的自立革新和深度研发实力。品牌全新进级 蜂巢动力进入2.0  活动现场,蜂

    2021年 4月 25日
  • 上海交大ACM班创始人俞勇:为培育种植提拔华夏的图灵奖得主而教书

    俞勇是上海交大 ACM 班的创始人,成立 20 年来这个班级里走出了得多计算机科学和人工智能领域的优秀人材,比如林晨曦、戴文渊、李磊、李沐、陈天奇,等等。这不仅归功于 ACM 班,更离不开俞勇这个人。今年 60 岁的他虽会继续留在上海交大,但对于「培育种植提拔华夏的计算机科学家」这个方向而言,ACM 班四年的时间太短,得多习惯在本科开始改变太晚。他正致力于将这些年来积累的教导理念、方法和资源拓展到全社会,期望有一天他的门生能够获得图灵奖。采访约在一座商场的咖啡厅里,约定好的时间我迟到了,俞教员就站在店外等我。第一眼见到他时

    2022年 1月 20日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注