370多页免费书籍,三位学者带你专攻深度进修中的数学知识

期待即将到来的章节。

深度进修这一领域,对于初学者而言,编程已然令人生畏,而更加令人难以接受的是,深度进修里的数学知识更难。

对于这种困惑,已经有人提前替你想到了,这不今天就为大家推荐一本新书,书中先容了深度进修中的数学工程。书的名字为《 The Mathematical Engineering of Deep Learning 》,顾名思义,这是一本专攻数学知识的书籍。

不过这本书还在持续更新中,目前前两章内容已经放出,大家可以查阅。

本书提供了在深度进修领域关于数学工程方面的内容,除了先容深度进修的基础之外,本书还将先容卷积神经收集、轮回神经收集、transformer、天生对立收集、加强进修及其多种技巧。

值得一提的是该书的重点是先容深度进修模型、算法和法子的基本数学描述。此外作者还贴心的开源了书中用到的代码。

图片

书籍地址:https://deeplearningmath.org/

代码地址:https://github.com/yoninazarathy/MathematicalEngineeringDeepLearning

书籍先容

全书共 10 章 3 个附录。第 1-4 章先容深度进修领域,概括了机械进修的环节观点、深度进修所需的优化观点,并专注于基本模型和观点。第 5-8 章涉及深度进修的核心模型和架构,包括全连接收集、卷积收集、轮回收集,并概括了模型调整和应用的各个方面。第 9-10 章涉及特定领域,即天生对立收集和深度加强进修。附录 A-C 提供数学支持。

具体而言:

第 1 章简介:本章是对深度进修的概括,展示其环节应用,并调查了与高性能计算相关的生态系统,此外,本章还讨论了大数据和高维数据,包括数据科学、机械进修和统计进修在内的环节术语,并将这些术语置于本书的上下文中。

第 2 章机械进修道理:深度进修可以被视为机械进修的一个子学科,因此本章概括了环节的机械进修观点和范式。向读者先容了有监视进修、无监视进修以及基于迭代的进修优化的一般观点。此外本章还先容了训练集、测试集等观点,以及交叉验证和模型选择的道理。本章重点探讨了线性模型,该模型可以通过迭代优化进行训练。

第 3 章简单神经收集:本章关注二元分类的逻辑回归和多类问题的相关 softmax 回归模型。这里先容了深度进修的道理,例如交叉熵损失、决策边界和反向传播的简单案例。本章还先容了一个简单的非线性自动编码器架构。此外,还讨论了模型调整的各个方面,包括特征工程和超参数选择。

第 4 章优化算法:深度进修模型的训练涉及对进修参数的优化。因此,需要对优化算法有扎实的理解,以及对适用于深度进修模型(如 ADAM 算法)的专门优化技术的理解。本章将重点先容这些技术以及正在慢慢进入实践的更高级的二阶法子。

第 5 章前馈深度收集:本章是本书的核心,定义和先容了一般的前馈深度神经收集。在索求了深度神经收集的表达能力之后,本章通过了解用于梯度评估的反向传播算法并索求其他方面(例如权重初始化、dropout 和批归一化)来深入了解训练的细节。

第 6 章卷积神经收集:深度进修的成功可归功于卷积神经收集。本章将索求卷积观点,然后在深度进修模型的背景下了解它。本章先容了通道和滤波器设计的观点,然后索求了具有重大影响且至今仍在使用的常见最先进架构。此外本章还索求了一些与图像相关的环节任务,例如目标定位。

第 7 章序列模型:序列模型在 NLP 中至关重要。本章索求了轮回神经收集及其泛化,其中包括长短期记忆模型、门控轮回单元、用于端到端语言翻译的自动编码器以及带有 transformer 的注意力模型。

第 8 章 Trade 技巧:在先容了前馈收集、卷积收集和各种形式的轮回收集之后,本章索求了在应用程序中调整和集成这些模型的常用法子。

第 9 章天生对立收集:本章调查和索求天生对立收集(GAN),这些模型能够合成看起来真实的假数据。本章讨论了几种 GAN 架构以及在调整损失函数时出现的有趣的数学方面。

第 10 章深度加强进修:最后一章将探讨深度加强进修的道理。

作者简介

图片

从左到右依次为 Benoit Liquet 、Sarat Moka、Yoni Nazarathy

Benoit Liquet 为麦考瑞大学数理学院数理统计教授。主要研究包括模型选择和变量选择、多状态模型和生存分析、降维法子、贝叶斯建模、机械进修、计算生态学和环境科学的统计法子等。

Sarat Moka 为麦考瑞大学的博士后,研究重点是概率论在数据科学、统计学和蒙特卡洛模拟中的应用。其研究内容与深度进修、监视进修、无监视进修、MCMC 法子、贝叶斯推理、无偏估计、大偏差理论、方差减少技术等息息相关。

Yoni Nazarathy 为昆士兰大学数学与物理学院的副教授,擅长机械进修、应用概率、统计学、运筹学、模拟、科学计算、控制理论等。此外,Nazarathy 还与 Julia 合著了一本新书《Statistics with Julia: Fundamentals for Data Science, Machine Learning and Artificial Intelligence》。

最后附上书籍目录:

图片

图片

图片

原创文章,作者:机器之心,如若转载,请注明出处:https://www.iaiol.com/news/370-duo-ye-mian-fei-shu-ji-san-wei-xue-zhe-dai-ni-zhuan/

(0)
上一篇 2022年 4月 11日 上午11:11
下一篇 2022年 4月 14日 上午11:17

相关推荐

  • 申请CS博士学位前,布朗大学Jeff Huang团队这份师资、排名和奖学金统计值得参考

    这是一份申请 CS 博士学位前可以认真参考的统计资料。

    2022年 5月 9日
  • 中科大吴枫获IEEE CAS最高荣誉奖项,11位学者获ACM四大手艺奖项

    5 月 24 日,IEEE 电路与体系(CAS)学会将 2021 年度 IEEE CAS Mac Van Valkenburg 奖授予中国科学手艺大学吴枫教授,以表彰他对「多媒体非均匀编码和通信的孝敬」,时隔不久,5 月 26 日,计算机协会(Association for Computing Machinery)宣布了四项著名手艺奖的获得者。

    2021年 5月 27日
  • ICLR2022:清华、腾讯AI Lab共同提出等变图力学网络,实现多刚体物理体系摹拟

    清华 AIR、计算机系与腾讯 AI Lab 合作,共同提出等变图力学网络,实现了理论力学中的一类重要任务—多刚体体系摹拟。

    2022年 3月 27日
  • AI翻新标杆指南:呆板之心Pro·AI 趋势前锋 Insight 榜单发布

    呆板之心Pro 根据企业的技巧实力、产物翻新性、市场与行业潜力、翻新引导能力等多项标准,层层选拔,评比出四大板块的80+优质机构。2017年,呆板之心发布了中国最早的AI评比榜单「Synced Machine Intelligence Awards」。与全世界近 200 万从业者共同关注AI技巧的发展,见证人工智能与我们发生的每一次互动和进步。作为科技范畴的观察者和AI行业发展的见证者,五年时间里,AI技巧一直保持着跨越式前进,呆板之心的年度评比也逐渐成为了以AI为代表的产业科技风向标。随着传统产业对AI的认识更加成

    2022年 5月 14日
  • 雷军家的「铁蛋」亮相:一只9999元会打滚、空翻的呆板狗(未来将开源)

    小米进军仿生四足呆板人了,中文名「铁蛋」,英文名「CyberDog」。

    2021年 8月 11日
  • 对抗图象变幻进犯,腾讯OVB-AI手艺中心获NeurIPS2021图象近似度寻衅赛季军

    近日,在 AI 顶会 NeurIPS 2021 的图象近似度寻衅赛中(Image Similarity Challenge),来自腾讯在线视频 BU-AI 手艺中心的团队,在 Matching Track 赛道战胜来自全球 1000 多支队伍,荣获季军。

    2022年 1月 9日
  • 百分点大数据技术团队:数据管理“PAI”实施方法论

    编者按数据作为第五大生产要素,已逐渐成为政府和企业决策的重要手段与依据。面对数据多样化、数据需要个性化、数据应用智能化的需要,以及在2B和2G行业中数据品质参差不齐、数据应用难以发挥价值、数据资产难以积淀等问题,如何做好数据管理事务、提拔数据管理才智成为了政府和企业数字化转型的重中之重。百分点大数据技术团队基于多年的数据管理项目经验,总结了一套做好数据管理事务及提拔数据管理才智的实施方法论。近年来,推动数据管理体系建设一直是业界探索的热点,另外,《中共中央、国务院关于构建更加完善的要素市场化配置体制机制的意见》将数

    2021年 3月 10日
  • 剑桥计算机博士推荐,毕业之前,我须要掌握这9个东西

    无论你在创业还是在做学术研究,这些东西都将使你的技能更上一层楼。

    2021年 11月 21日
  • WAIC开发者日Workshop预告:超参数科技如何索求海量AI计划问题

    近年来,无论是在学术研究还是产业落地层面,关注的焦点都在从智能感知向智能计划阶段过渡。「计划 AI」逐渐成为热点问题,不管是谷歌、微软、IBM 等全球科技巨头,还是国内一众 AI 龙头企业,均积极投身于智能计划的相关研究。其中,海量 AI 如何在大型开放世界做智能计划,是推动智能计划手艺发展、加速社会智能化转型的重要问题,也是人工智能领域的手艺难题之一。为深入研究海量 AI 前沿问题,超参数科技联合麻省理工学院、清华大学深圳国际研究生院,以及数据科学挑战平台 Alcrowd 主办了 Neural MMO 系列挑战赛

    2022年 8月 30日
  • 生物技术初创Lumen与google合作,用机械进修让螺旋藻蛋白消费力翻倍

    编辑/凯霞机械进修可以促进鉴于藻类的生物制剂消费吗?8 月 11 日,西雅图生物技术初创公司 Lumen Bioscience (以下简称「Lumen」)与google宣布合作,将利用机械进修来推进鉴于螺旋藻(一种蓝绿藻)的药物开发。Lumen 表示,该钻研由 Lumen 的信息学负责人 Caitlin Gamble 和google加速科学工程师 Drew Bryant 领导。Lumen 联合创始人 Jim Roberts 说:「google的机械进修和我们鉴于螺旋藻疗法消费的开创性结合,让我们更接近于一种完全优化的步骤,这种步骤可能对全

    2021年 9月 2日

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注