• Chart Parser 中 Earley's 算法的应用


    1. 基本概念

    1.1 状态 state

    • 上下文无关文法规则
    • 圆点 · (左边是已分析的,右边是未分析的;点在最右端表示完成状态,否则为未完成状态)
    • 状态的起止位置

     

    1.2 基本操作/算子 operator

    • 预测 Predicator:若圆点右方是一个非终结符,那么以该终结符为左部的规则都有匹配的希望。
    • 扫描 Scanner:若圆点右方是一个终结符,那么圆点向右扫描一个字符。
    • 归约 Completer:若圆点右方没有符号,则表示当前状态所作的预测已经实现,因为可以将当前状态与已有包含当前状态的状态进行归约。

     

    1.3 算子的形式定义

    *α,β,γ是终结符或非终结符串 是终结符或非终结符串,其中α,β均 为空字符 可 i <= j <= k

    • Predicator:对于状态 Z -> α·Xβ[j,k](X 是非终结符),对于语法中每条形如 X -> γ 的规则,都可以形成一个新状态:X -> ·γ[k,k]
    • Scanner:对于状态 Z -> α·Xβ[j,k](X 是终结符),如果 X 与输入字符串中的第 k 个字符匹配,就形成一个新状态 Z -> αX·β[j,k+1]
    • Completer:对于一个已经完成的状态 Z -> γ·[j,k],如果已后状态集合中有形如 X -> α·Zβ[i,j]这样的状态,就形成一个新状态:X -> αZ·β[i,k]

     

    2. 算法描述

    设输入字符串长度为n, 字符间隔可记做0,1,2,…,n

    (1)将文法规则中形如 S -> α 的规则形成状态: <S -> ·α[0,0]> 加入到状态集合中(种子状态/seed state)

    (2)对当前分析句子的每个词,依次进行循环:

        i)如果当前状态是[未完成状态],且点后不是终结符,则 执行Predicator;

        ii)如果当前状态是[未完成状态],且点后是终结符,则 执行Scanner;

        iii)如果当前状态是 如果当前状态是[完成状态],则 执行Completer;

    (3)如果最后得到形如<S -> α·[0,n]>这样的状态,那么输入字符串被接受为合法的句子,否则分析失败

     

    3. 示例

    使用以下文法分析字符串 "I-I-|":

    p : e '-|'

    e : t

      | e '-' t

    t : f

      | t '/' f

    f : I

      | '(' e ')'

    (0)字符串长度为 4,因此分析表共有 4+1=5 个状态集,将所有种子状态加入状态集 0

    (1)此时需要匹配的字符为 'I',首先对状态 e 执行 Scanner 操作后,产生状态 f

    由于状态 f 处于完成状态,触发 Completer 操作。由于状态 f 的左部为非终结符 f ,因此对于状态集 0 中所有圆点右方第一个字母为 f 的状态,都可以产生一个新状态。继而由状态 d 得到了状态 g

    此时状态 g 也处于完成状态,因为执行 Completer 操作,得到状态 h 和未编号状态 t : t·'/'f,0

    状态 h 也处于完成状态,执行 Completer 得到状态 i 和未编号状态 p : e·'-|',0

    (2)(3)(4)以此类推,填充每个状态集,最后得到的状态 p : e'-|'·,0 为完成状态,表示分析成功

    此时回顾整张分析表,对所有在这次成功分析中有所贡献的状态进行编号。

     

        

     

     

    注:

    1. “基本概念”与“算法描述”两个部分参考了 http://ccl.pku.edu.cn/doubtfire/Course/Computational%20Linguistics/contents/Earley_Parsing.pdf

    2. 例题取自 http://inst.eecs.berkeley.edu/~cs164/sp19/

  • 相关阅读:
    es6 javascript对象方法Object.assign()
    在vue中使用axios实现跨域请求并且设置返回的数据的格式是json格式,不是jsonp格式
    Vue中应用CORS实现AJAX跨域,及它在 form data 和 request payload 的小坑处理
    nvm、nzm、npm 安装和使用详解
    Win7系统出现提示: “Windows已遇到关键问题,将在一分钟后自动重新启动......
    npm安装/删除/发布/更新/撤销发布包
    web前端性能优化总结
    一道经典面试题-----setTimeout(function(){},0)和引发发的其它面试题
    渐进增强和优雅降级之间的区别在哪里?
    大学物理(上)期中考试参考答案
  • 原文地址:https://www.cnblogs.com/truelycloud/p/10504099.html
Copyright © 2020-2023  润新知