前言
系列文章:[传送门]
看着吴军博士的这本书,本来对数学很感兴趣的我。为了学英语,就在那书提到的《从一到无穷大》买了中英两本(中文使用天猫积分,哈哈)。
正文
如图
语言的出现是为了人与人之间的通信。任何一种语言都是一种编码方式,而语法规则是编解码的算法。其数学本质:ta可以用某种语言解码方式得到另一个ta的表达意思。
现在,大家用的很多的。搜狗输入法的语音识别,苹果的siri等。都象征着,计算机能处理自然语言,处理语言的方式和人类的一样。
机器智能(规则)
图灵测试:是一种来验证机器是否能有智能的方法:让人和机器进行交流,如果无法判断自己交流是人还是机器,那就说明机器是智能。
就想学英语一样,语法,名词(n.),动词(v.)...很多实在的规则摆在我们面前,就想固定住的是的。人们思维也觉得合情合理,这不是天然的一种数据结构。多好的规则,多好的结构,可以让算法来描述。
这貌似计算机可以实现?
但事实摆在眼前,
"The pen is in the box " "The box is in the pen"
钢笔在盒子里 盒子在围栏里
如果运用规则处理的话,这两句话就是典型的问题。计算机无法判断,如果有人说
if
#我说的只是一个例子,这种例子在一种数量级上的,所以if失败
但自然语言的处理,并非是靠计算机理解力自然语言而完成的。事实上,靠的是数学中的统计。进而出现了统计语言学,进而才有了今天的我们手中的siri。
从规则到统计
统计,统计语言学。最近,学校里安排了概率论。原来概率在这块领域作用很大,问下老师一些问题。心态豁然开阔。就是统计语言模型里面涉及(下篇博客出)。关于此方面的书,我针对的去看,豆瓣会更新:http://book.douban.com/doulist/3909716/
例子
我爱美丽的花
数学
p(我想要的)=p(W,Q,E,R)
然后可用,概率哦(下篇博客出),我们仔细讨论这个问题。
总结
就这样,基于统计的自然语言处理方法(统计语言模型),用数学把复杂的问题简单化。
感谢及资源共享
路上走来一步一个脚印,希望大家和我一起。
感谢读者!很喜欢你们给我的支持。如果支持,点个赞。
知识来源: 《数学之美》