机器学习个人总结

除了一开始做的笔记后面都没了，公式好难推

人工智能主要包括感知智能（比如图像识别、语言识别和手势识别等）和认知智能（主要是语言理解知识和推理）。它的核心是数据驱动来提升生产力、提升生产效率。

机器学习相关技术属于人工智能的一个分支。其理论主要分为如下三个方面：

1. 传统的机器学习：包括线性回归、逻辑回归、决策树、SVM、贝叶斯模型、神经网络等等。

2. 深度学习（Deep Learning）：基于对数据进行表征学习的算法。好处是用非监督式或半监督式的特征学习和分层特征提取高效算法来替代手工获取特征。

3. 强化学习（Reinforcement Learning）：强调如何基于环境而行动，以取得最大化的预期利益。其灵感来源于心理学中的行为主义理论，即有机体如何在环境给予的奖励或惩罚的刺激下，逐步形成对刺激的预期，产生能获得最大利益的习惯性行为。和标准的监督式学习之间的区别在于，它并不需要出现正确的输入/输出对，也不需要精确校正次优化的行为。强化学习更加专注于在线规划，需要在探索（在未知的领域）和遵从（现有知识）之间找到平衡。

监督学习：训练数据中有我们想要预测的属性，也就是说对每一组 输入 数据，都有对应的 输出。问题可以分为两类：

• 分类问题：数据属于有限多个类别，希望从已标记数据中学习如何预测未标记数据的类别。
  例子：手写数字、字母的识别
• 回归问题：每组数据对应的输出是一个或多个连续变量。
  例子：是根据鲑鱼长度作为其年龄和体重。

无监督学习：训练数据无对应的输出值。例子：数据聚类、降维。

半个课程下来，目前还停留在理论阶段，概率论倒是还记得，高数和线代半斤八两，机器学习是门实践和理论结合密切的学科，网上查阅资料文献的时候，看到

对于此前不是机器学习/深度学习这个领域的朋友，不管此前在其他领域有多深的积累，还请以一个敬畏之心来对待。
持续的投入：三天打鱼两天晒网的故事，我们从小便知，不多说了；
系统的学习：一个学科，知识是一个体系，系统的学习才可以避免死角，或者黑洞；
大量的练习：毕竟机器学习/深度学习属于Engineering & Science的范畴，是用来解决实际的问题的。单纯的理论研究，如果没有实际的项目（包括研究项目）经验做支撑，理论可能不会有很大突破。

检索一些文献或者网页资讯，记录机器学习等人工智能领域的前沿技术介绍、展望、应用，了解我们国家的先进或不足，存在的卡脖子技术等（选取一种技术方向即可）

摘自对谷歌AI负责人Jeff Dean的采访

在加拿大温哥华举行的NeurIPS 2019会议上，机器学习成为最大的焦点。来自全世界各地的13000名研究人员探索了诸如神经科学、如何解释神经网络输出，以及AI如何帮助解决现实世界中的重大问题等。

其中Google AI负责人Jeff Dean在研讨会上进行演讲，讨论机器学习如何帮助应对气候变化带来的威胁以及机器学习如何重塑系统和半导体。

相信很多人对Google在使用ML创建机器学习半导体方面的早期工作、Google的BERT（NLP模型）对会话式AI的影响以及2020年值得关注的机器学习趋势非常感兴趣。VentureBeat就上述问题采访了Jeff Dean，具体采访内容篇幅过长，以自己的理解简要说一下。

• 提到已经证明非常有效的一件事情，是芯片的专门化（相对例如通用CPU而言）用以执行一些并非完全通用的、某些特定类型的计算。Google已经从更严格的计算模型（例如GPU甚至TPU）中受益匪浅。这些模型更为严格，但实际上是根据机器学习计算需要做的事情而专门设计的。相对于通用CPU，这实际上带来了相当多的性能优势。

• 对于BERT来说，这是重要的一年。到处都是BERT，以及各种BERT。BERT之所以有趣，是因为它建立在其他研究成果不断发展的基础上，BERT的种类取决于一年前完成的Transformer工作。Transformer工作确实是在解决与基于LSTM的早期序列模型相同的问题。对在一堆文本（任意文本）上进行预训练的BERT的微调，然后对关心的特定NLP任务进行微调，对于许多希望能够解决的NLP问题来说，是一个很好的范例。

• 像现在这样，BERT和其他模型可以很好地处理数百个作为上下文的单词，但10000个单词就处理不了。因此，这是一个有趣的方向。Jeff Dean认为多模态模型非常有趣，例如我们可以通过有趣的方式将文本与图像，音频或视频相结合。Google已经做了一些工作，社区的其他成员也做了一些工作，这在将来将变得越来越重要。

• Dean认为与人工智能相关的工作将是重要的。总的来说，世界将不断提高技术水平，进行基础研究，以提高我们在许多重要领域的能力，比如NLP或语言模型、视觉或多式化的东西。机器人是一个很难解决的问题--让机器人在任意的环境中工作，就像一个大会议室里有椅子之类的东西，在过去的几年里，Google在这方面取得了相当大的进步。