帮助:繁简处理/转换原理
维基百科,自由的百科全书本页简单介绍1.4版软件的繁简转换原理,以使大家可以有效处理转换时遇到的错误。
参看m:Automatic conversion between simplified and traditional Chinese
[编辑] 与分词的关系
转换程序使用最简单的“最大匹配”法进行转换。这会导致如下的错误:假设转换词库中有一对应关系为
内存 => 記憶體现对以下句子转换
人体内存在很多微生物基于最大匹配,系统会对“内存”进行转换,得到“記憶體”。整个句子将会被错误地转换成
人體記憶體在很多微生物解决这个问题的根本方法是采用智能的分词匹配,将上述句子先拆分为
人体 内 存在 很多 微生物然后再对每个词单独转换。
在分词系统实现之前,要修正上述错误,可以有两种方法:
- 手工将涉及分词错误的词分开:“人体内-{}-存在很多微生物”
- 将涉及分词错误的多个词作为一个整体加到定制转换表里,如“体内存在 => 體內存在”。
[编辑] 不检测原始字体
由于我们允许在同一文章内繁体/简体混合,因而不可能判断一个词其原型是繁体还是简体。这就需要在繁体/简体用字相同时,要同时定义两条转换关系。举例如下:“译名表”(简体)应转成“譯名表”,注意这里需要特殊转换的是“表”字,因其默认转换是“錶”。那么在转换表中,我们要有两条对应:
译名表=>譯名表 譯名表=>譯名表这是因为繁体用户会直接写“譯名表”,如果没有第二条转换关系的话,在繁体显示下会变成“譯名錶”。