• cs224n第一讲深度自然语言处理


    1、什么是NLP?

    定义。融合了计算机科学、AI和计算语言学的人工智能领域的一个分支。

    NLP levels。单词结构的形态分析,句子结构的句法分析,语义解释(结合上下文得出的语义就引出了语用学和语篇处理)。

    应用。机器翻译、口语对话系统、生成开发知识库、语音识别、情感分析,在商业上掀起研究NLP 的浪潮。

    人类语言的特殊之处:一是专门构造用于传达说话者(写作者)的意思,二来它是一个分散的、象征性的、绝对的信号系统(语言就是系统) 

    2、什么是DL?

    深度学习是ML的一个分支,主要研究如何让计算机自动学习,而不是人工教授、手工写代码。

    DL是表征学习(representation learning)的一个分支,它试图获得多层的习得表征和最佳输出,实际表现就是你在研究中用到了神经网络的模型。

    探索DL的原因。手工设计的特征不完整、过于专一、设计和证实的时间周期长;习得特征自适应和学习能力好;用于监督学习和无监督学习;表征的信息多样,视觉的,语言的;效果较之其他机器学习方法明显提高。

    在DL领域首个突破在语音识别上,再是计算机视觉领域(在ImageNet计算机视觉竞赛中出色表现)

    3、学习前提

    Prerequisites

    熟练使用培Python;熟悉矩阵、多元微积分、线性代数相关概念;基本概率统计知识;机器学习相关(loss function、optimization with gradient descent)

    4、为什么NLP很难?

    5、Deep NLP = DL + NLP

    近几年在NLP领域的发展,通过不同的

    • 层次:词汇学,句法学,语义学
    • 工具:词性标注,名称识别,找句子语法结构
    • 应用:机器翻译,情感分析,聊天助手,问答系统

    深度学习和语言都是以词义为起点(第二讲),将一个单词用向量表示,维度自定义,组成单词向量(vectors for words),同类型的单词就会聚集在向量空间中,若要观察到需要用一些方法,如主成分分析、非线性降维,来投射到二维空间,以便观察。

    Morpheme:the smallest unit of meaning that a word can be divided into.

    应用举例:用神经网络进行依存句法分析(dependency parsing)

    运用DL在NLP的各个应用领域,像机器翻译,情感分析,聊天助手,问答系统上,都呈现出了大幅度的提高。

    小tip:NLP最早进行研究是在美苏冷战时开始的。。。

    下一讲预告

  • 相关阅读:
    SSL 1579——泽泽在巴西
    SSL 1644——取数字问题
    SSL 1589——火车票
    SSL 1506——打鼹鼠
    SSL 1212——大厅安排
    洛谷 1064——金明的预算方案(动态规划的背包问题)
    SSL 1463——公共子串
    SSL 1461——最大连续数列的和
    SSL 1643——最小乘车费用
    SSL 1460——最小代价问题
  • 原文地址:https://www.cnblogs.com/py-fwg/p/9905794.html
Copyright © 2020-2023  润新知