我想做一个聊天机器人
聊天机器人可以分为两种,一种是任务型,类似于小爱同学,我可以命令她去执行某些功能,还有一类是非任务型,我可以和她进行聊天,说一些当下热门的新闻,或者让它给我讲一些牢厂251的笑话。
最近我一直在想一个问题,我的手机中其实有很多的聊天记录,这些记录更加贴近我的对话习惯。我能不能根据这些数据,构建一个基于信息检索的聊天机器人呢?
ta的回答像我认识的人,而不是像机器。偶尔会给我讲讲ta的事,分享一些蠢萌蠢萌的图片。
我仔细想过如何实现,这类聊天机器人最好的实现方式是基于信息检索,在一个已有的知识库的基础上和用户进行对话,这个知识库可以是海量的已经存在的⼈机对话,也可以是某种形式的知识信息。
这有点类似于前几周我转载的那篇《和死神赛跑:趁父亲还在世,我想用人工智能留住他》中主人公的方法,不过我觉得这种基于知识库的信息检索,更加贴近我们生活的一种说法是内容推送。
我们可以给知识库中的对话增加标签,有些话题是ta可以主动发起的,有些回答会存在二义性,比如说多喝热水。
对于我们发送的消息,ta的回答需要进行排名,所以需要score来记录回复的准确性,就像搜索引擎,我们需要去反馈它的结果是否正确。
还有一个关键点,我们需要对双方对话进行情感值监控,ta需要判断我们是不是阴阳人说奇怪的话。
综上来说,目前最佳的技术选型是ElasticSearch,这项技术其实一直使用在我们身边,如果你用过Github的Search,就会知道它的强大了,千亿代码中实时搜索。
ElasticSearch的信息检索非常强大,而且内置了分词器,我们可以非常方便的实现情感值分析。
ElasticSearch这种Json的存储格式也是最适合于对话这种系统模型了。
ElasticSearch为我们数据模型提供相应的API,我们可以利用SpringBoot来封装整个系统,同样对前端提供相应的API。
这里有一个致命问题,这种基于信息检索的对话系统,是一个无状态的系统,⼀般没有办法对上下⽂进⾏跟踪,其实从整个流程上讲,这并不是真正意义上的对话,当然也就谈不上是智能系统。
在深度学习领域,对话系统建模有一种主流的模型,序列到序列(S2S)。
S2S把⼀串输⼊语句的字符,通过学习转换成为⼀个中间的状态。这其实就是⼀个编码的过程。这个中间状态,可以结合之前字句的中间状态,从⽽实现对上下⽂进⾏跟踪的⽬的。中间状态需要随着对话的演变⽽产⽣变化。然后,我们需要⼀个解码的过程,把中间的状态转换成为最后输出的字句。
但是S2S并不是基于信息检索來寻找中间状态的,我更希望ta的回答像我认识的人,而不是像机器。
当然这还只是构思,不过我已经给ta命名好了,Athena。
后续开发文档也会相继更新。