神经搜集debug太难了,这里有六个实用技巧

神经搜集的 debug 过程着实不容易,这里是一些有所帮助的 tips。

基于神经搜集的项目瓶颈通常并非对搜集的实现。有时候,在编辑了所有代码并测验考试了一大堆超参数配置之后,搜集就是无法正常工作。尤其是面对着数百万的参数, 任何一个小变动都有能够前功尽弃。在面对各种各样的题目后,有人总结了一些帮助调试神经搜集的实用 tips,希望能够减少大家调试神经搜集的成本。神经搜集debug太难了,这里有六个实用技巧检讨梯度题目有时梯度是引发题目的原因。下面是几种与梯度相关的调试方法:

数值计算每个权重的梯度。这通常被称为「梯度检讨」,有助于保证正确计算梯度,其中一种方法是利用有限差分。 

比较每个权重的巨细和梯度的巨细。要保证巨细的比率是合理的。如果梯度巨细远小于权重巨细,搜集将花费很长时间进行训练。如果梯度巨细与权重巨细大致相同或更大,搜集将非常不稳定,能够根本不会训练。

检讨梯度爆炸或呈现。如果梯度变为 0 或 nan/infinity,则可以确定搜集没有被正确训练。需要首先弄清楚为什么会发生爆炸 / 呈现梯度,是不是步数太大。一旦弄清楚梯度爆炸 / 呈现的原因,就有各种解决方案来解决这个题目,例如添加残差连接以更好地传播梯度或简单地利用较小的搜集。

激活函数也会导致梯度爆炸 / 呈现。如果 sigmoid 激活函数的输入太大,梯度将非常接近 0。随着时间的推移检讨激活函数的输入,然后保证这些输入不会导致梯度始终为 0 或很大。

检讨训练过程经常检讨搜集的训练进度可以节省时间。以训练贪吃蛇游戏为例,不是训练搜集好几天,然后再检讨搜集是不是学到了什么,而是每十分钟用当前学到的权重运行游戏。几个小时后,如果我们注意到每次都在做同样的事情并且获得零奖励,就知道能够有题目了,而这节省了几天的训练时间。不要依赖定额输入如果只查看定额输入,我们能够会错过有用的调试信息。例如,在训练语音翻译搜集时,比起只检讨评价函数是不是在减少,更重要的是阅读翻译后的语音以保证它有意义;当训练一个用于图像识别的搜集时,一定要保证手动检讨搜集提供的标签。不应该依赖定额输入的原因有两个:首先,评价函数中能够存在过失。如果只查看过失评价函数输入的数字,能够需要数周时间才能意识到出现题目。其次,在神经搜集输入中能够存在无法定额显示的过失模式。我们能够会意识到某个特定单词总是被过失翻译,或者在左上象限的图像识别搜集总是过失的。这些观察结果反过来可以帮助找到数据处理部分的代码 bug,否则这些 bug 将被忽视。测验考试小数据集确定代码是不是存在 bug 或数据是不是难以训练的另一种方法是首先拟合较小的数据集,比如将数据集中 100000 个训练示例修剪成只有 100 个甚至 1 个训练示例。如果在一个训练示例的情况下,搜集仍然有很高的测试过失,不能够非常好地拟合数据,那么几乎可以肯定搜集代码有题目。测验考试更简单的搜集如果全尺寸搜集在训练时遇到题目,可以测验考试利用层数较少的较小搜集,这样可以更快地训练。如果较小的搜集在全尺寸搜集失败的情况下成功了,则表明全尺寸模型的搜集架构过于复杂。如果简单搜集和全尺寸搜集都失败,则代码中能够存在 bug。试着利用框架如果没有利用机器学习框架编辑神经搜集的代码,那么可以通过在机器学习框架中编辑相同的搜集架构来检讨题目何在。然后将打印语句放入非框架版本和框架版本中逐层比较输入,直到找到打印语句出现差异的位置,即过失所在。如果在反向传播期间发生过失,则可以从最后一层开始逐层打印权重的渐变,直到找到差异。但是此方法仅适用于搜集的第一次迭代,因为由于第一次迭代输入的差异,第二次及以后的迭代将具有不同的起点。参考内容:https://towardsdatascience.com/debugging-tips-for-neural-networks-f7dc699d6845

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/shen-jing-sou-ji-debug-tai-nan-le-zhe-li-you-liu-ge-shi/

(0)
上一篇 2021年 6月 9日 下午4:42
下一篇 2021年 6月 11日 下午2:27

相关推荐

  • 是时候进修机械进修零碎安排了!斯坦福CS 329S开课,课件、笔记同步更新

    这是一门新的课程——在进修了算法、框架等内容后,是时候深入了解一下「机械进修零碎安排」了!

    2021年 1月 26日
  • 亮道智能发布首款纯静态Flash激光雷达,解决侧向近距离感知需求

    5月13日,亮道智能正式发布自研纯静态Flash侧向激光雷达——LDSense Satellite。该雷达采用纯芯片化计划,具有超大笔直视场角、体积小巧灵活、高可靠性、长使用寿命等特点,官方称这是一款兼具性能与成本劣势的车规级激光雷达产品。LDSense Satellite面向具有挑战性的近距场景在日常驾驭过程中,驾驭员和车辆都需要时刻关注不同驾驭场景下的途径情况,基于眼睛或车辆传感器捕获的环境信息,做出相应的驾驭行为反应。然而,无论是驾驭员还是车辆传感装置,都存在一定的视野感知盲区。在TJ

    2022年 5月 13日
  • RoLAP 实验室|鉴于凸凸凸的工业臂柔性计划系统

    大界成立的RoLAP实验室(RoboticPlus Laboratory for Autonomy and Perception),由中科院博士后、加州理工物理学博士、大界首席科学家周诚喆领衔,聚集了一批专业的硕博团队,致力于研究工业机器人在智能制造场景下的视觉感知(眼)、静止计划(手)、场景理解(大脑)的协同闭环系统。本文将鉴于RoLAP实验室的研究成果,为各位读者深度解析机器臂静止计划的关键技术。一. 背景介绍随着科学技术的发展,机器人技术正在被广泛应用到各种结构化的场景,比如3C消费电子和汽车工厂等标准化制造

    2022年 6月 17日
  • ICCV 2021审稿结果出炉,有人已总结出了一份Rebuttal写作指南

    又一个计算机视觉顶会通过了审稿阶段。论文评分是这样,想好怎么 rebuttal 了吗?

    2021年 6月 12日
  • MaxCompute履行引擎核心技术DAG揭秘

    作为业界少有的EB级别数据分布式平台,MaxCompute系统每天支撑上千万个分布式功课的运转。在这个量级的功课数目上,毫无疑问平台需要支撑的功课特点也多种多样:既有在”阿里体量”的大数据生态中独有的包含数十万计较节点的超大型功课,也有中小规模的分布式功课。同时不同用户对于不同规模/特点的功课,在运转时间,资材使用效率,数据吞吐率等方面,也有着不同的期待。Fig.1 MaxCompute线上数据分析基于功课的不同规模,当前MaxCompute平台提供了两种不同的运转形式,下表对于这两种形式做了总结对比:Fig.2

    2021年 8月 25日
  • vivo印象策略发布,新一代自研印象芯片及多项新手艺亮相

    2022 年 10 月 24 日,vivo 印象策略发布会正式召开。会上,vivo 盘点了之前在印象理念上的坚持,即通过业余化的本领复原眼之所见,超越眼之所见,并将业余印象手艺赋能每一个人,持续为消费者提供人性化的业余印象感受。vivo 的印象手艺矩阵也在此次印象策略发布会正式公布:围绕“三个比肩”,坚持联合立异和自主立异两大策略支点,在日趋同质化的印象赛场中创造竞争优势,力求在挪移印象赛道上筑起手艺壁垒,并保持持续领先。 vivo 印象副总裁于猛vivo 印象副总裁于猛、vivo

    2022年 10月 24日
  • Creator 面对面 | 大规模预训练模型的新思考:效力和泛化

    自 2018 年谷歌推出 BERT(3.4 亿参数)以来,语言模型开始朝着「大」演进。国内外先后出现了参数量高达千亿甚至万亿的语言模型,比如谷歌的 T5(110 亿)、OpnAI 的 GPT-3(1,750 亿)、华为联合鹏城实验室的盘古(Pangu)(2000 亿),智源研究院的 WuDao2.0(1.75 万亿)……

    对于这样的大模型,其背后支撑的是巨额的算力要求。那么对于 AI 民主化,降低模型训练门槛和壁垒,同时兼顾性能和表现,在未来模型的训练上又会有怎样的思考呢?

    2022年 7月 26日
  • 刷新50多个NLP任意基准,并登顶SuperGLUE全球榜首,baiduERNIE 3.0学问增强大模型显威力

    baidu ERNIE 3.0 不仅一举刷新 54 个华文 NLP 任意基准,而且进一步挖掘大规模预训练模型的潜力,首次在百亿级预训练模型中引入大规模学问图谱。

    2021年 7月 6日
  • Call for Papers | IEEE国际聚会较量争论社会科学与复杂系统格外专题征文

    DSAA是由 IEEE、ACM、ASA 和 CCF 联合支持的首屈一指的数据科学聚会。

    2022年 3月 30日
  • BioBit Program启动!之江实验室携手全球顶级钻研团队开展生物计较国内迷信单干

    11 月 5 日,之江实验室主办的首届生物计较国内学术会议在实验室南湖总部成功举行。会上,之江实验室发起并正式启动生物计较国内单干迷信计划(BioBit Program),携手伦敦大学、华盛顿大学、以色列理工学院等国内顶尖科研力量,共同开展生物计较创新探究钻研,赋能生命健康、新材料、环境等多规模进展。“BioBit Program 为生物计较这一新兴规模建立了一个跨越边界的科研交流单干平台,充分体现了之江实验室作为一个国内化、战略性新型研发机构的担当。我相信,BioBit Program 将在国内生物计

    2022年 11月 10日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注