Cross-lingual Transfer of Named Entity Recognizers
without Parallel Corpora
1.布朗聚类:
布朗聚类是一种针对词汇的聚类方法,Input是一系列的文章或者句子,Output有两种:
第一种是:一系列的词组,具体多少个类看你之前的设定:
第二种是:每个词都有一长串的二进制码,用类似霍夫曼编码的方式对每个词进行编码
可以显而易见的是,前缀相似度更高的词就越相近
什么样的词汇相似呢?一个直觉的想法就是:相似的词出现在相似的位置。
更精确的说法就是:相似词的前驱词和后继词的分布相似,也就是它前面的词和后面的词出现得是相似的。