机器翻译

机器翻译

机器翻译大体经过了两个阶段：

  理性主义阶段（1949~1992）：

          主张由人类专家观察不同语言间的转换规律，以规则的形式表示翻译知识。

          缺点：翻译知识获取难、开发周期长、人工成本高等

  经验主义阶段（1993~2016）：

          主张以数据为核心，通过数据模型来描述自然语言之间的转换过程，在大规模语言文本数据中自动训练数学模型。

          其主要代表 为“ 统计机器翻译 ”（Statistics  Machine  Translate） 

统计机器翻译

  基本思想：

         通过隐结构来描述翻译过程，利用特征来刻画翻译规律，并且通过特征的局部性采用动态规划算法在指数级的搜索空间

         中实现多项式时间复杂度的高效运算。

         隐结构：词语对齐、短语切分、短语调序、同步文法等

  缺点：

         SMT面临翻译性能严重依赖于隐结构和特征设计，局部特征难以捕获全局依赖关系，对数线性模型难以处理翻译过程中

         的线性不可分现象等难题。

基于句法的统计机器翻译（2000年后）

  基于形式化语法的翻译模型：

         建立在形式化语法的基础上，但并不能包含人类语言学知识，如短语标记、词与词之间的依赖关系等。

  基于语言学语法的翻译模型：

        建立在语言学语法基础上，将人类语言学知识包含到模型中，并根据其采用的结构树形式的不同，又可将其分为基于短语 

        结构树、基于依存树

       a、基于短语结构树

       通过短语结构树，将短语的句法标记及标记间的依赖关系等引入到翻译过程中。

       b、基于依存树

       改模型通过依存树，将词与词之间的了、依赖约束关系等语言学知识引入到翻译过程中。

基于形式化语法的模型与基于句法的模型相比，最明显的特点是借用了形式化语法的结构，使得翻译过程是层次化的，有结构的。

  其优点有二：

     a、层次化结构使得处理复杂的远距离重排序变得更为可行。

     b、层次化结构自然而然的引入非终结符号，从而使得模型能够处理非连续短语，同时又具有一定的泛化能力。

   通俗的说,终结符号就是语言中用到的基本元素,一般不能再被分解;
   名词,动词,形容词,助词,等等基本语言单位.

   非终结符则是"语法"中用到的元素,除非谈论"语法",一般交谈语言中并不会用到非终结符.
    比如,主语,短语,词组,句子.