《小蜜智能对话开发平台的技术探索与场景实践》

阿里巴巴高级算法专家李永彬：小蜜智能对话开发平台的技术探索与场景实践

 

john_lilijun这已经是落后的思想了。目前最好的思想是transformer + GNN。

 

 

 

 

 

 

 

 

 

 

实际中需要引入外部服务（e.g.：用户、发票是否存在...）

ML：Machine Language 

难点：测试困难；多人标注难度大

RL：需要和外部服务交互，最好是人评测，外包众包成本高

 

 

 

 

 

 

 最近邻 的思想：

 

iput1/input2：从 support set 和 prediction set 取pair，训练 embedding ，计算相似性

预测时，和哪个类别最接近，就归为哪个类别

 

 

 

 

 

 Capsule 网络通过特征网络结构能很好地组装一个实体的语义含义

什么是 胶囊：就是一个向量，向量的每一维，都具有一个很好地物理含义

--> Hierarchical dim? 

 

 

 

 

 

 

--> 可以考虑 核方法？

 

 --> 可以进一步搞... consineFace 啥的

triplet loss 啥的

以及最近的负样本为王

业务层和平台引擎层一定要解耦（【平台】）

 

 基于状态机：

-----------------------------

 bot simulator: self play ——>预训练 ，监督学习 ——> 强化学习提升 

核心：DST、policyNet

multi-agents：各种各样的外部服务

variables（含slots）：slots 只是用户自然语言中的意图槽位——而外部服务返回的很多信息，不是 slots，我们统一称之为 slots 

tracking 多次：访问多次外部服务...

 变量怎么变？抽象为：增删改查

 

 模型要有学习能力，但是不能“学坏”——要受我业务流程的限制，通过在reward evaluator 中嵌入taskflow 来实现 >>  需要 in-depth 理解；

john_lilijun这已经是落后的思想了。目前最好的思想是transformer + GNN。