百度paddlepaddle：
http://on-demand.gputechconf.com/gtc-cn/2018/pdf/CH8206.pdf
《深入理解 AutoML 和 AutoDL：构建自动化机器学习与深度学习平台》 _博客_云社区_开发者中心 - 华为云本节书摘来自华章计算机《深入理解 AutoML 和 AutoDL：构建自动化机器学习与深度学习平台》一作者是王健宗 瞿晓阳 。
智能系统与技术丛书 王健宗 瞿晓阳 著 自动化机器学习是未来人工智能的一个重要发展方向，值得我们关注和学习。本书作者王健宗博士是机器学习方面的资深研究者和实践者，在本书中，他不仅讲解了 AutoML 的基础理论知识，还详细分析了近几年 AutoDL 方面最前沿的算法和技术，提供了很好的方法与思路参考。想要系统研究 AutoML 并把握其最新技术趋势的读者，本书不容错过。 —杨强 IEEE Fellow/IAPR Fellow/AAAS Fellow/ACM 杰出科学家 / 微众银行首席人工智能官 / 香港科技大学计算机与工程系教授 人工智能技术将会重塑很多行业，而人工智能的自动化将极大地加速这一进程。本书作者王健宗博士是人工智能领域的知名专家，兼具深厚的理论功底和丰富的实践经验，一直致力于让 AI 无处不在。他的这本专著深入浅出地总结了人工智能自动化的基本理论、框架和技术，对研究和应用人工智能自动化的专业人士和初学者来说都是一本不可多得的参考书。 —俞栋 腾讯 AI Lab 副主任 / 西雅图人工智能实验室负责人 AutoML 可以使机器学习的调参建模流程实现自动化，大大降低机器学习的门槛，让用户在没有丰富机器学习经验的情况下也能开发机器学习模型，大大缩短创建模型的时间。王健宗博士的这本书不仅非常系统、深入地讲解了 AutoML 和 AutoDL 的理论知识和核心技术，而且给出了具体的工程实践方法。对于想学习 AutoML 和 AutoDL 技术或搭建自动化机器学习平台的读者来讲，本书有很大的参考价值。 —李晓林 美国佛罗里达大学教授 / 同盾科技副总裁兼人工智能研究院院长 自动化机器学习探索一种 “学习的学习” 模式，既是国际学术界热点研究问题，也是工业界急需的核心技术。本书是国内顶尖 AI 专家王健宗博士在实践中摸索出的自动化机器学习理论、方法与系统框架，具有极高的学术和应用价值。 —陈为 教授 / 博导 / 浙江大学计算机学院副院长 AutoML 在机器学习的发展过程中一直是研究者的梦想，让模型的超参数甚至模型结构本身就可以通过学习过程自动探索到最优解。王健宗等著的这本 AutoML 专著涵盖自动化特征工程、自动化超参优化，以及神经网络架构搜索等前沿技术方法。从理论和实践双重维度，对自动化机器学习做了全面介绍，对工程实践也有很好的指导意义。 —李磊 字节跳动人工智能实验室总监 AutoML 的概念于 2012 年由学术界提出，当时的目的是解决编程时人工调校参数的问题。在谷歌、微软等公司的大力推动下，目前 AutoML 的研究越来越深入，应用越来越广泛。AutoML 可以帮助选择模型并选择超参数，成为机器学习和 AI 自动化和平民化的重要方向。王博士的这本书填补了 AutoML 中文图书的空白，从理论与实践的双重维度，对 AutoML 和 AutoDL 的入门知识和进阶知识做了全面介绍，值得一读！ —陈继东 蚂蚁金服 ZOLOZ 全球可信身份平台负责人 / 资深数据专家 AutoML 是当前 AI 领域的前沿方向之一，由谷歌等巨头引领，让深度学习的使用更趋自动化、民主化，是降低机器学习门槛的一大利器。王健宗博士查阅并解读了近百篇论文，详尽介绍了最前沿的 AutoML 算法和技术，本书堪称打开 AutoML 和 AutoDL 深入学习之门的神奇钥匙。 —杨静 新智元创始人兼 CEO 如今，自动化机器学习技术已经风靡全球。模型选择、特征工程、调参等工作自动化之后，普通民众学习 AI 以及专业人士运用 AI 的效率得到了极大提升。王博士既是奋斗在科研一线的 AI 专家，又是平安科技的大型 AI 项目负责人，理论与实践能力均炉火纯青，写这本书再适合不过。相信很多人能从本书中受益。 —周磊（July） 七月在线创始人兼 CEO 为什么要写这本书“人工智能”“机器学习”“深度学习”“联邦学习”“自动化” 等已经成为互联网行业使用最频繁的词汇，在人工智能发展日益成熟的今天，越来越多的研究者将目标聚焦于 “自动化”。出于对 AutoML 技术出现的振奋和对人工智能的热情与投入，我们逐渐萌生了撰写这本书的想法，我们想让更多的人了解 AutoML，了解我们身边最前沿的技术和知识，最终能够让天下没有难的 AI，实现普惠 AI。如果一定要问我们写这本书的原因，我觉得可以归结为如下三点： 首先，已经有多家互联网公司发布了 AutoML 平台，毫无疑问 AutoML 已经成为目前各大公司的 “护城河”，我们希望通过本书来揭开 AutoML 平台的神秘面纱。基于 AutoML 平台，专业编程人员和非专业人员均可快速创建项目并训练模型，但是，由于国内至今还没有一本关于 AutoML 算法介绍的书籍，平台用户只知其然却不知其所以然。 其次，我们想要通过本书建立一套完整的 AutoML 知识体系。很多 AutoML 从业者懂技术，但是缺少一套完整的知识体系来支撑自己的核心技术，有鉴于此，我们在开始撰写本书前做的第一件事就是建立知识体系，包括自动化机器学习、神经架构搜索的核心算法、自动化模型压缩、模型调参、深度学习的垂直领域应用以及元学习等。这套知识体系可以帮助很多从业者认清技术方向，也可以帮助初期从业者选择研究领域。我们期望有更多人来为 AutoML 这个诞生仅仅一年半的新技术添砖加瓦，共建 AutoML 生态。 最后，我们希望这本书能为更多非专业人员带来价值。本书的初期定位是 AutoML 入门书籍，换句话说，我们撰写的初衷是想为更多不懂算法但是热爱 AI 技术的爱好者提供一些思路和理解角度。因此，我们在本书中尽量使用白话来解释算法思想，从人工智能的初期发展到 AutoML 技术的成熟，可以让每一个非技术人员快速理解 AutoML。 对于本书，我们倾注了很多热情和心血，从 2017 年年底 AutoML 技术开始出现就开始深入探索，接着起草最初书稿框架到成型历时一年多，其中经过了多次章节结构调整和修改，查阅并解读近百篇 AI 前沿论文，才有了今天大家看到了这本书。在本书中，我们从 0 到 1 介绍了 AutoML 技术的方方面面，希望这本书能带给你惊喜。 读者对象本书适用于非计算机专业研究人员、期望转型 AI 领域的技术爱好者，同样也适用于初级、中级和高级的人工智能算法工程师、项目经理和产品经理等。 本书特色AutoML 技术的发展日新月异，诸多科学家和研究者会在论文中发表自己的研究成果，但是目前国内还没有一本讲解 AutoML 发展和技术的书籍。本书聚焦于 AutoML，从无到有地介绍了 AutoML 的发展过程以及相关的算法。本书涉及 AutoML 技术的多个方面，从 AutoML 到 AutoDL，最后延伸到元学习，为读者提供了一套完整的知识体系。 如何阅读这本书本书是关于自动化人工智能的一本入门级书籍，书中涵盖了大部分基础知识，因此非专业人士也可以读懂。自动化人工智能的最重要的两个分支是自动化机器学习和自动化深度学习，因此，本书的核心和聚焦在这两大研究领域，旨在为专业人士和刚入门的学者提供一些研究方向和思路。 从逻辑上，全书一共分为四个部分。 第一部分（第 1～2 章）是关于人工智能的基础概述，并介绍了现有的 AutoML 平台。 第二部分（第 3～6 章）是自动化机器学习，这里的机器学习是指统计机器学习，这一部分主要介绍了基本的机器学习知识以及自动化特征工程、自动化模型选择和自动化超参优化。 第三部分（第 7～13 章）是自动化深度学习，众所周知，近年来深度学习的研究开展得如火如荼，为了拓展读者的知识领域和研究思路，我们在这一部分花费了大量的篇幅来介绍近几年最前沿的算法和技术，这也是全书最核心的章节。 第四部分（第 14 章）是关于元学习的内容，我们认为元学习应该是独立于统计机器学习和深度学习的一个研究领域，因为元学习跳出了学习 “结果” 的这种思想，学习的是“学习过程”，这也是自动化人工智能的理想目标。因此，我们将元学习单独作为一个部分，作为全书内容的升华，读者可以在本书的引导下展开更深入的研究。 我们将本书的重点内容罗列为以下几点： 1）自动化特征工程生成方法，分别是深度特征合成算法、Featuretools 自动特征提取以及基于时序特征的自动化特征工程。 2）自动化模型选择方法，包括贝叶斯优化算法、进化算法、分布式优化等。 3）自动化超参优化，主要有序列超参优化、进化算法的运用以及迁移学习方法。 4）神经架构搜索，主要搜索算法有强化学习和进化算法。 5）神经架构搜索加速方案，包括权值共享法、超网络、网络态射法、代理评估模型以及可微分神经架构搜索。 6）模型压缩和加速方案，包括量化、修剪法、稀疏化以及轻量级模型设计。 专业读者或具体从业者可根据自己的研究领域以及感兴趣情况选择以上部分内容重点阅读。对于非专业读者，本书中也有最基本的算法入门介绍，可以将本书作为一本 AutoML 入门书籍进行全书通读。 勘误和支持本书并没有涵盖 AutoML 研究领域的全部知识，因为这个领域的知识体系之庞大，不是一本书就可以介绍完的。譬如我们书中所涉及的图计算网络、超网络、蒙特卡洛树搜索以及元学习都可以成为一个独立的研究课题。在 AutoML 技术的发展过程中，很多前沿算法会不断被提出和更新，因此书中的内容会存在一定的局限性。 本书的很多思想和知识体系都是作者基于自己的理解建立的，难免会出现理解不当或者不准确的地方，恳请读者批评指正。如果你有更多的宝贵意见，欢迎发送邮件至邮箱 yfc@hzbook.com，我们会认真采纳你的意见和建议。这本书的结束并不意味着我们的研究就此结束，我们还需要不断挖掘其中的精华与奥妙，期待能够得到你们的真挚反馈和支持。 致谢在本书的撰写和研究期间，感谢多名 AutoML 技术爱好者（赵淑贞、尚迪雅、曾昱为、吴文启、唐彦玺、张君婷、贺凡等）的参与支持。 感谢出版社对本书的耐心修订和整理，没有他们，就没有今天这本书的出版。 最后，我要感谢读者，感谢读者对我们的信任。我们尽最大努力想要给大家呈现一本逻辑清晰、技术易懂的入门书籍，感谢读者选择了这本书，选择就是对我们最大的信任。 谨以此书献给 AutoML 的技术爱好者和研究者们！ 王健宗 2019 年 8 月于深圳 赞誉 前言 第 4 章 自动化特征工程 43 4.1 特征工程 43 4.1.1 什么是特征 43 4.1.2 什么是特征工程 44 4.2 特征工程处理方法 45 4.2.1 特征选择 45 4.2.2 数据预处理 47 4.2.3 特征压缩 48 4.3 手工特征工程存在的问题 49 4.4 自动化特征工程 50 4.4.1 什么是自动化特征工程 50 4.4.2 机器学习和深度学习的特征工程 51 4.5 自动化特征工程生成方法 52 4.5.1 深度特征合成算法 52 4.5.2 Featuretools 自动特征提取 52 4.5.3 基于时序数据的自动化特征工程 56 4.6 自动化特征工程工具 67 4.6.1 自动化特征工程系统 67 4.6.2 自动化特征工程平台 71 4.7 参考文献 75 第 5 章 自动化模型选择 76 5.1 模型选择 76 5.2 自动化模型选择 77 5.2.1 基于贝叶斯优化的自动化模型选择 78 5.2.2 基于进化算法的自动化模型选择 84 5.2.3 分布式自动化模型选择 86 5.2.4 自动化模型选择的相关平台 92 5.3 自动集成学习 94 5.3.1 集成学习基础 94 5.3.2 集成学习之结合策略 97 5.3.3 自动化模型集成 98 5.4 参考文献 99 第 6 章 自动化超参优化 101 6.1 概述 101 6.1.1 问题定义 103 6.1.2 搜索空间 103 6.1.3 搜索策略 103 6.1.4 评价预估 104 6.1.5 经验迁移加速 105 6.2 基本方法 105 6.2.1 网格搜索 105 6.2.2 随机搜索 105 6.3 基于模型的序列超参优化 106 6.3.1 代理模型的选择 108 6.3.2 代理模型的更新 108 6.3.3 新超参组的选择 109 6.3.4 基于高斯过程回归的序列超参优化 111 6.3.5 基于随机森林算法代理的序列超参优化 112 6.3.6 基于 TPE 算法的序列超参优化 114 6.3.7 SMBO 的进阶技巧 114 6.4 基于进化算法的自动化超参优化 115 6.4.1 基于进化策略的自动化超参优化 115 6.4.2 基于粒子群算法的自动化超参优化 116 6.5 基于迁移学习的超参优化加速方法 117 6.5.1 经验迁移机制 117 6.5.2 经验迁移衰退机制 117 6.5.3 经验迁移权重机制 117 6.5.4 优化过程的试点机制 118 6.6 参考文献 118 第 7 章 深度学习基础 120 7.1 深度学习简介 120 7.1.1 什么是神经元 120 7.1.2 人工神经网络的发展历程 121 7.1.3 深度学习方法 123 7.2 卷积神经网络简介 123 7.2.1 卷积层 123 7.2.2 池化层 125 7.2.3 全连接层 126 7.3 CNN 经典模型 126 7.3.1 LeNet126 7.3.2 AlexNet127 7.3.3 VGGNet128 7.3.4 GoogLeNet129 7.3.5 ResNet130 7.3.6 DenseNet131 7.4 循环神经网络 132 7.4.1 基本循环神经模型 132 7.4.2 LSTM 模型 133 7.4.3 GRU 模型 134 7.5 参考文献 134 第 8 章 自动化深度学习概述 136 8.1 深度学习 vs 自动化深度学习 136 8.2 什么是 NAS136 8.2.1 问题定义 137 8.2.2 搜索策略 139 8.2.3 加速方案 140 8.3 NAS 方法分类 140 第 9 章 基于强化学习的 AutoDL142 9.1 强化学习基础 142 9.1.1 强化学习简介 142 9.1.2 基本要素及问题定义 144 9.1.3 发展历史 144 9.1.4 基本方法 146 9.2 两类基本模型 147 9.2.1 TD 经典算法 148 9.2.2 DQN 系列算法 149 9.2.3 策略梯度算法 152 9.3 强化学习之 Actor-Critic 系列 154 9.3.1 Actor-Critic 算法 154 9.3.2 确定性策略梯度 155 9.3.3 深度确定性策略梯度 157 9.3.4 异步优势 Actor-Critic 算法 158 9.3.5 近端策略优化 160 9.3.6 分布式近端策略优化 164 9.4 基于强化学习的自动搜索 166 9.5 基本搜索方法 166 9.5.1 基于层的搜索 166 9.5.2 基于块的搜索 169 9.5.3 基于连接的搜索 171 9.6 进阶搜索方法 173 9.6.1 逆强化学习 173 9.6.2 图超网络 174 9.6.3 蒙特卡洛树搜索 175 9.6.4 知识提炼（教师网络）177 9.7 参考文献 179 第 10 章 基于进化算法的 AutoDL181 10.1 启发式算法 181 10.1.1 随机搜索 182 10.1.2 近邻搜索 183 10.1.3 进化计算 187 10.1.4 启发式算法的局限性 189 10.2 初代进化算法 190 10.2.1 基本术语 190 10.2.2 基础算子 191 10.2.3 遗传算法 196 10.2.4 进化策略 198 10.2.5 进化规划 199 10.3 其他近代进化算法 200 10.3.1 遗传编程算法簇 200 10.3.2 群体算法—以 PSO 为例 205 10.3.3 文化基因算法 207 10.3.4 差分进化算法 208 10.3.5 分布估计算法 208 10.4 进化神经网络 209 10.4.1 简介 209 10.4.2 神经网络编码方式 210 10.4.3 竞争约定 211 10.4.4 网络结构的创新性 212 10.4.5 NAS 之进化算法 212 10.5 细粒度的神经进化（NEAT 算法）213 10.5.1 基因编码 214 10.5.2 基因的可追溯性 216 10.5.3 通过物种形成保护创新结构 216 10.6 粗粒度的神经进化（CoDeep-NEAT 算法）218 10.6.1 DeepNEAT 算法 218 10.6.2 CoDeepNEAT 算法 219 10.7 block-level 的进化 220 10.7.1 Genetic CNN 算法 220 10.7.2 CGP-CNN 方法 222 10.8 基于 node-level 的网络架构进化 224 10.8.1 思想简介 224 10.8.2 基本算法设计 225 10.8.3 信息复用与加速 226 10.9 基于 NAS 搜索空间的网络架构进化 227 10.9.1 思想简介 227 10.9.2 基本算法设计 227 10.9.3 信息复用与加速 228 10.10 基于层次拓扑表示的网络进化方法 228 10.10.1 思想简介 228 10.10.2 分级表示 229 10.10.3 随机的层次分级进化 230 10.11 参考文献 230 第 11 章 AutoDL 高阶 233 11.1 搜索加速之权值共享法 233 11.1.1 ENAS233 11.1.2 基于稀疏优化的 NAS235 11.2 基于 one-shot 模型的架构搜索 236 11.2.1 超网络的应用 236 11.2.2 基于 one-shot 的搜索 237 11.2.3 实例级架构搜索 238 11.2.4 单路径超网络 240 11.3 搜索加速之代理评估模型 241 11.3.1 代理模型 241 11.3.2 PNAS 中的 LSTM 代理 242 11.4 基于网络态射法的神经架构搜索 244 11.4.1 网络态射的提出 244 11.4.2 什么是网络态射 244 11.4.3 网络态射 + 迂回爬山法 246 11.5 可微分神经架构搜索 247 11.5.1 可微分神经架构搜索的来源 247 11.5.2 可微分神经架构搜索的方法 248 11.6 参考文献 250 第 12 章 垂直领域的 AutoDL252 12.1 AutoCV252 12.1.1 Auto-DeepLab（图像语义分割）252 12.1.2 随机连线神经网络 257 12.2 AutoVoice261 12.2.1 关键词定位问题定义 261 12.2.2 随机自适应架构搜索原理 262 12.2.3 SANAS 模型 262 12.3 AutoNLP263 12.3.1 什么是自注意力机制 263 12.3.2 初识 Transformer 模型 265 12.3.3 Evolved Transformer 结构 266 12.4 参考文献 270 第 13 章 自动化模型压缩与加速 271 13.1 从生物角度看模型压缩的重要性 271 13.1.1 人脑神经元的修剪 271 13.1.2 大脑的冗余性 272 13.1.3 修剪的意义 273 13.2 模型压缩发展概述 274 13.3 入门级方法：量化技术 275 13.3.1 量化技术 275 13.3.2 二值化网络 276 13.3.3 TensorRT277 13.4 初级方法：修剪法 278 13.4.1 修剪法 278 13.4.2 修剪与修复 279 13.5 中级方法：稀疏化技术 281 13.5.1 正则化 281 13.5.2 知识精炼 281 13.5.3 张量分解 281 13.6 高级方法：轻量级模型设计 284 13.6.1 简化卷积操作 284 13.6.2 深度可分离卷积 285 13.6.3 改进的 Inception287 13.7 自动化模型压缩技术 289 13.7.1 AMC 算法 289 13.7.2 PocketFlow 框架 291 13.8 基于 AutoDL 的轻量级模型 292 13.8.1 问题定义 292 13.8.2 帕累托最优问题 293 13.8.3 进化算法的应用 294 13.8.4 强化学习的应用 296 13.8.5 可微分架构搜索 298 13.9 参考文献 300 第 14 章 元学习 302 14.1 什么是元学习 302 14.1.1 基本介绍 302 14.1.2 经典案例 303 14.1.3 深入了解元学习 304 14.1.4 元学习应用的发展 306 14.2 元学习的通用流程 306 14.2.1 基本定义 306 14.2.2 流程框架 306 14.3 从模型评估中学习 307 14.3.1 任务无关推荐 308 14.3.2 参数空间设计 308 14.3.3 参数转换 309 14.3.4 学习曲线 310 14.4 从任务属性中学习 310 14.4.1 元特征 310 14.4.2 学习元特征 311 14.4.3 相似任务的热启动优化 311 14.4.4 元模型 311 14.4.5 管道合成 312 14.4.6 是否调整 312 14.5 从先前模型中学习 312 14.5.1 迁移学习 313 14.5.2 神经网络中的元学习 313 14.5.3 小样本学习 314 14.5.4 监督学习之外的方法 315 14.6 基于模型的方法 316 14.6.1 记忆增强神经网络 316 14.6.2 元网络 317 14.6.3 模型无关的元学习方法 317 14.6.4 利用注意力机制的方法 319 14.6.5 基于时间卷积的方法 320 14.6.6 基于损失预测的方法 321 14.6.7 元强化学习 321 14.7 基于度量的方法 322 14.7.1 Siamese 网络 322 14.7.2 匹配网络 324 14.7.3 关系网络 324 14.7.4 原型网络 325 14.8 基于优化的方法 326 14.8.1 基于 LSTM 网络的元学习者 326 14.8.2 未知模型的元学习 326 14.8.3 Reptile：可扩展元学习方法 327 14.8.4 基于梯度预测的方法 327 14.9 参考文献 329 结束语 332 【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件至：huaweicloud.bbs@huawei.com 进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容。 全文完本文由 简悦 SimpRead 优化，用以提升阅读体验
使用了 全新的简悦词法分析引擎 beta，点击查看详细说明
|
|