• 数学之美:自然语言处理-从规则到统计


    前言

      系列文章:[传送门]

      看着吴军博士的这本书,本来对数学很感兴趣的我。为了学英语,就在那书提到的《从一到无穷大》买了中英两本(中文使用天猫积分,哈哈)。

      

    正文

      如图

      

      语言的出现是为了人与人之间的通信。任何一种语言都是一种编码方式,而语法规则是编解码的算法。其数学本质:ta可以用某种语言解码方式得到另一个ta的表达意思。

      现在,大家用的很多的。搜狗输入法的语音识别,苹果的siri等。都象征着,计算机能处理自然语言,处理语言的方式和人类的一样。

       

    机器智能(规则)

      图灵测试:是一种来验证机器是否能有智能的方法:让人和机器进行交流,如果无法判断自己交流是人还是机器,那就说明机器是智能。

        

      就想学英语一样,语法,名词(n.),动词(v.)...很多实在的规则摆在我们面前,就想固定住的是的。人们思维也觉得合情合理,这不是天然的一种数据结构。多好的规则,多好的结构,可以让算法来描述。

        

          这貌似计算机可以实现?

      但事实摆在眼前,

        "The pen is in the box "    "The box is in the pen"

        钢笔在盒子里                     盒子在围栏里

      如果运用规则处理的话,这两句话就是典型的问题。计算机无法判断,如果有人说

    if

      #我说的只是一个例子,这种例子在一种数量级上的,所以if失败

      但自然语言的处理,并非是靠计算机理解力自然语言而完成的。事实上,靠的是数学中的统计。进而出现了统计语言学,进而才有了今天的我们手中的siri。

    从规则到统计

      统计,统计语言学。最近,学校里安排了概率论。原来概率在这块领域作用很大,问下老师一些问题。心态豁然开阔。就是统计语言模型里面涉及(下篇博客出)。关于此方面的书,我针对的去看,豆瓣会更新:http://book.douban.com/doulist/3909716/

      例子

        我爱美丽的花

      

      数学

      p(我想要的)=p(W,Q,E,R)

      然后可用,概率哦(下篇博客出),我们仔细讨论这个问题。

    总结

      就这样,基于统计的自然语言处理方法(统计语言模型),用数学把复杂的问题简单化。

    感谢及资源共享

        

        路上走来一步一个脚印,希望大家和我一起。

        感谢读者!很喜欢你们给我的支持。如果支持,点个赞。

        知识来源: 《数学之美》

      

  • 相关阅读:
    2015/12/26 十六、 八 、二 进制转十进制
    2015/12/25 ① 图灵测试 ② 安装jdk出现的问题 ③ 配置环境变量
    java如何产生随机数
    二分查找法
    冒泡排序法
    计算阶乘
    九九乘法小练习
    数组循环语句练习
    经典循环例题练习
    如何用循环语句输出一个三角形
  • 原文地址:https://www.cnblogs.com/Alandre/p/3649588.html
Copyright © 2020-2023  润新知