深度进修这一领域，对于初学者而言，编程已然令人生畏，而更加令人难以接受的是，深度进修里的数学知识更难。
对于这种困惑，已经有人提前替你想到了，这不今天就为大家推荐一本新书，书中引见了深度进修中的数学工程。书的名字为《 The Mathematical Engineering of Deep Learning 》，顾名思义，这是一本专攻数学知识的书籍。
不过这本书还在持续更新中，目前前两章内容已经放出，大家可以查阅。
本书提供了在深度进修领域关于数学工程方面的内容，除了引见深度进修的基础之外，本书还将引见卷积神经收集、轮回神经收集、transformer、生成反抗收集、加强进修及其多种技巧。
值得一提的是该书的重点是引见深度进修模型、算法和办法的基本数学描述。此外作者还贴心的开源了书中用到的代码。
书籍地址：https://deeplearningmath.org/
代码地址：https://github.com/yoninazarathy/MathematicalEngineeringDeepLearning
书籍引见
全书共 10 章 3 个附录。第 1-4 章引见深度进修领域，概括了呆板进修的环节观点、深度进修所需的优化观点，并专注于基本模型和观点。第 5-8 章涉及深度进修的核心模型和架构，包括全连接收集、卷积收集、轮回收集，并概括了模型调整和应用的各个方面。第 9-10 章涉及特定领域，即生成反抗收集和深度加强进修。附录 A-C 提供数学支持。
具体而言：
第 1 章简介：本章是对深度进修的概括，展示其环节应用，并调查了与高性能计算相关的生态系统，此外，本章还讨论了大数据和高维数据，包括数据科学、呆板进修和统计进修在内的环节术语，并将这些术语置于本书的上下文中。
第 2 章呆板进修道理：深度进修可以被视为呆板进修的一个子学科，因此本章概括了环节的呆板进修观点和范式。向读者引见了有监视进修、无监视进修以及基于迭代的进修优化的一般观点。此外本章还引见了训练集、测试集等观点，以及交叉验证和模型选择的道理。本章重点探讨了线性模型，该模型可以通过迭代优化进行训练。
第 3 章简单神经收集：本章关注二元分类的逻辑回归和多类问题的相关 softmax 回归模型。这里引见了深度进修的道理，例如交叉熵损失、决策边界和反向传播的简单案例。本章还引见了一个简单的非线性自动编码器架构。此外，还讨论了模型调整的各个方面，包括特征工程和超参数选择。
第 4 章优化算法：深度进修模型的训练涉及对进修参数的优化。因此，需要对优化算法有扎实的理解，以及对适用于深度进修模型（如 ADAM 算法）的专门优化技术的理解。本章将重点引见这些技术以及正在慢慢进入实践的更高级的二阶办法。
第 5 章前馈深度收集：本章是本书的核心，定义和引见了一般的前馈深度神经收集。在探究了深度神经收集的表达能力之后，本章通过了解用于梯度评估的反向传播算法并探究其他方面（例如权重初始化、dropout 和批归一化）来深入了解训练的细节。
第 6 章卷积神经收集：深度进修的成功可归功于卷积神经收集。本章将探究卷积观点，然后在深度进修模型的背景下了解它。本章引见了通道和滤波器设计的观点，然后探究了具有重大影响且至今仍在使用的常见最先进架构。此外本章还探究了一些与图像相关的环节任务，例如目标定位。
第 7 章序列模型：序列模型在 NLP 中至关重要。本章探究了轮回神经收集及其泛化，其中包括长短期记忆模型、门控轮回单元、用于端到端语言翻译的自动编码器以及带有 transformer 的注意力模型。
第 8 章 Trade 技巧：在引见了前馈收集、卷积收集和各种形式的轮回收集之后，本章探究了在应用程序中调整和集成这些模型的常用办法。
第 9 章生成反抗收集：本章调查和探究生成反抗收集（GAN），这些模型能够合成看起来真实的假数据。本章讨论了几种 GAN 架构以及在调整损失函数时出现的有趣的数学方面。
第 10 章深度加强进修：最后一章将探讨深度加强进修的道理。
作者简介
从左到右依次为 Benoit Liquet 、Sarat Moka、Yoni Nazarathy
Benoit Liquet 为麦考瑞大学数理学院数理统计教授。主要研究包括模型选择和变量选择、多状态模型和生存分析、降维办法、贝叶斯建模、呆板进修、计算生态学和环境科学的统计办法等。
Sarat Moka 为麦考瑞大学的博士后，研究重点是概率论在数据科学、统计学和蒙特卡洛模拟中的应用。其研究内容与深度进修、监视进修、无监视进修、MCMC 办法、贝叶斯推理、无偏估计、大偏差理论、方差减少技术等息息相关。
Yoni Nazarathy 为昆士兰大学数学与物理学院的副教授，擅长呆板进修、应用概率、统计学、运筹学、模拟、科学计算、控制理论等。此外，Nazarathy 还与 Julia 合著了一本新书《Statistics with Julia: Fundamentals for Data Science, Machine Learning and Artificial Intelligence》。
最后附上书籍目录：
