新书出版！《加强进修：前沿算法与使用》

由上海人工智能实验室白辰甲博士，哈工大赵英男博士，天津大学老师郝建业博士等联合编写的加强进修专著《加强进修：前沿算法与使用》由机械工业出版社出版发行，官方地址 https://item.jd.com/10077221594315.html .

1.内容提要

加强进修是机械进修的重要分支，是实现通用人工智能（AI）的重要途径。与其他机械进修方法不同，加强进修通过与环境交互试错来获得经验，通过最大化奖励来进修长周期策略。从2015年以来，加强进修驱动的雅塔利游戏智能体、AlphaZero自我博弈围棋智能体、Alphastar星际争霸多智能体、人类反馈大语言模型等钻研相继取得突破，使加强进修范畴获得了越来越多的关注。近年来，包括算法层面和使用层面，整个加强进修范畴都获得了突飞猛进的发展，在通用决策、机械人、大语言模型等人工智能核心使用中发挥了关键作用。本书聚焦于加强进修的前沿算法和前沿使用，引见完整的加强进修理论体系，构建从理论算法到实践使用的常识框架。

本书的作者长期进行加强进修范畴钻研，积累了丰富科研经验。本书系统地阐述加强进修的前沿算法和使用，内容包括值函数进修、策略梯度进修、值分布式进修、基于模型进修、环境索求、多目标进修、层次化进修、技能进修、离线进修、元进修、表示进修等加强进修方法，同时引见了加强进修在智能控制、机械视觉、自然语言、医疗等范畴使用。本书提供了大量的实现细节，提供了相应源代码，是一本进修、掌握和使用加强进修难得的书籍。

本书深入浅出、结构清晰、重点突出，系统地阐述了加强进修的前沿算法和使用。适合从事人工智能、机械进修、优化控制、机械人、游戏AI等工作的专业技术人员阅读，还可作为计算机、人工智能、智能科学相关专业的钻研生和高年级本科生的教材使用。配合开源代码，能够更快的加深对理论的理解，从而将加强进修算法使用到解决实际问题中。

2. 专家推举评语

本书获得了多位人工智能范畴专家的鼎力推举。由吴飞老师作序，由悉尼科技大学张成奇老师，哈尔滨工业大学刘挺老师、北京大学邓小铁老师撰写推举语。

吴飞

浙江大学求是特聘老师，浙江大学上海高等钻研院常务副院长，

浙江大学人工智能钻研所所长，国家杰青

中国新一代人工智能包含从数据到常识到决策的大数据智能、从解决单一类型媒体数据到不同模态（视觉、听觉和自然语言等）综合利用的跨媒体智能、从“个体智能”钻研到聚焦群智涌现的群体智能、从追求“机械智能”到迈向人机混合的增强智能、从机械人到智能自主系统等智能形态，本书内容可为进修和使用新一代人工智能技术提供有益帮助。“欲粟者务时，欲治者因势”。加强进修作为一种通用的策略进修框架，向人们展示了其强大的能力和使用前景。祝贺本书出版，祝贺本书作者所取得的亮丽成果。

张成奇

悉尼科技大学老师，澳大利亚人工智能理事会理事长

加强进修的快速发展是令人振奋的,但目前仍缺乏系统阐述加强进修前沿算法和使用的书籍尤其是缺少中文版的书籍资料。本书及时填补了这一空白。本书作者系统地引见了加强进修的基础常识,又将最前沿和最核心的钻研成果汇集到这里,同时包含了理论算法和使用实例。本书可以作为加强进修非常好的教程供初学者入门进修,又可以供对加强进修感兴趣的钻研人员、工程师和从业人员进修。我相信本书将会对国内加强进修范畴的人才培养及科学钻研贡献一份力量。

刘挺

哈工大副校长，计算学部主任，国家级领军人才

加强进修是近年来热门的钻研目标,本书兼顾了基础常识和前沿算法,使读者可以根据自身的实际情况由浅入深地了解加强进修。本书同时引见了加强进修在机械人、机械视觉、自然语言解决等范畴的使用,对于促进人工智能交叉钻研有积极的推动作用,为不同范畴的钻研人员提供了桥梁。特别是近年来许多加强进修算法使用在自然语言解决问题中,用于解决文本理解、常识图谱机械翻译等问题,此类交叉硏究有良好的前景,有助于进一步推动文本理解的发展。

邓小铁

北京大学老师，ACM / IEEE Fellow

加强进修近年来在广度和深度上均获得了快速发展,逐渐成为相关钻研和开发人员需要进修和了解的必备常识之一。本书从经典加强进修出发深入浅出地引见了模型进修、索求与利用、多目标进修、层次化进修、技能进修等算法，并衍生出一些新兴的钻研范畴如使用离线进修、表示进修元进修等提升算法的高效性和泛化能力。此外,结合智能控制、机械视觉、自然语言解决、医疗推举、金融等使用范畴探讨了加强进修在复杂问题中的解决方案。本书提供了相关常识的讲解和系统性的分析,给读者引见了完整的加强进修理论与使用的方法论。

3. 作者简介

本书作者均为加强进修和人工智能范畴的一线钻研人员，拥有国内外一流大学博士学位。

白辰甲.  上海人工智能实验室青年钻研员，博士毕业于哈尔滨工业大学计算学部，曾在加拿大多伦多大学联合培养，2022年获哈工大优秀博士论文奖。在高水平国际会议和期刊上颁发论文20余篇，获机械进修顶会ICML、ICLR、NeurIPS亮点论文。钻研目标包括加强进修、博弈智能和具身智能。

赵英男.  哈尔滨工程大学助理老师，博士毕业于哈尔滨工业大学计算学部，曾在加拿大阿尔伯塔大学进行联合培养，主要钻研目标为深度加强进修，表征进修等，在国际会议和期刊上颁发多篇学术论文。

郝建业.  天津大学智算学部副老师，华为诺亚方舟决策推理实验室主任。主要钻研目标为深度加强进修、多智能体系统。颁发人工智能范畴国际会议和期刊论文100余篇，专著2部。 主持国家科技部2030重大项目课题、国防科技创新重点项目课题及企业横向课题等项目10余项，钻研成果荣获国际会议最佳论文奖3次，NeurIPS20-22大会竞赛冠军4次。相关成果在工业基础软件智能化、自动驾驶、游戏AI、广告及推举、5G优化、物流调度等范畴落地使用。

刘鹏.  哈尔滨工业大学老师，博士生导师，模式识别与智能系统钻研中心主任。主要钻研目标为图像解决、模式识别、机械进修。颁发学术论文50余篇，获发明专利10余项，获黑龙江省科技进步一等奖1项。

王震.  西北工业大学老师，网络空间安全学院书记，国家保密学院常务副院长，Elected Member of Academia Europaea (EA), European Academy of Sciences and Arts (EASA)，AAIA Fellow, 全球高被引科学家，国家杰青，国防创新团队负责人。围绕博弈智能，人工智能基础理论，网络空间智能对抗，在Nature Communications，PNAS，Science Advance，AAAI，NeurIPS，ICML，ICLR等颁发系列成果，WoS引用2万余次，编制完成行标5项。获科学索求奖，中国青年五四奖章，教育部、陕西省、学会科学技术奖一等奖等。

4.目录结构

本书分为三个部分，分别引见加强进修基础算法，前沿算法与前沿使用。

基础算法部分：

第一章：加强进修基础

第二章：加强进修钻研范畴和使用范畴

第三章：进修值函数的加强进修算法

第四章：策略迭代的加强进修算法

前沿算法部分：

第五章：基于模型的加强进修算法

第六章：值分布式加强进修算法

第七章：加强进修的索求算法

第八章：多目标加强进修算法

第九章：层次化加强进修算法

第十章：基于技能的加强进修算法

第十一章：离线加强进修算法

第十二章：元加强进修算法

第十三章：高效的离线加强进修表示算法

前沿使用部分：

第十四章：加强进修在智能控制中的使用

第十五章：加强进修在机械视觉中的使用

第十六章：加强进修在语言解决中的使用

第十七章：加强进修在其他范畴中的使用