自动机

自动机类型：有限自动机(finite automata,FA)，下推自动机(push-down automata, PDA)，线性界限自动机(linear-bounded automata)和图灵机(Turing machine)

有限自动机

确定性有限自动机

DFA(deterministic automata) M 是一个五元组

$M=(Sigma, Q, delta, q_0, F)$

其中，$Sigma$是输入符号的有穷集合，Q 是状态的有限集合，$q_0 in Q$是初始状态，F 是终止状态集合，$F subseteq Q$，$delta$ 是 $Q imes  Sigma$ 到 Q（下一个状态）的映射，也称状态转移函数。

注：$Q imes Sigma$表示两个集合的直积，这里表示分别从两个集合中取任意元素的组成的有序对，生成有序对的集合。

DFA M 接受的语言，记作T(M):

$T(M)=lbrace x | delta(q_0,x) in F brace$

其中，x 表示一个句子，且 $x in Sigma^*$，我们扩展转移函数为，

$hat {delta}: Q imes Sigma^* ightarrow Q $

$hat {delta} (q, epsilon) = q$

$hat {delta}(q, xa) = hat {delta}(delta(q, a),x)$

其中$x' ightarrow xa$为右线性正则文法产生式（应用到句子上的情况）

不确定性有限自动机

NFA(non-definite automata) M 是一个五元组

$M=(Sigma, Q, delta, q_0, F)$

其中，$Sigma$是输入符号的有穷集合，Q 是状态的有限集合，$q_0 in Q$是初始状态，F 是终止状态集合，$delta$是直积$Q imes  Sigma$ 到 Q的幂集的映射。集合的幂集是集合所有的子集（包括空集和自身）组成的集合，这个集合的元素个数为$2^{|Q|} = sum_{i=0}^{|Q|} inom {|Q|} {i}$

NFA与DFA不同的是，DFA 的$delta(q,a)$是一个确定的状态作为下一个状态，而NFA的$delta(q,a)$是一个集合，其中任一状态都有可能作为下一状态，

$delta: Q imes Sigma ightarrow P(Q)$

我们扩展转移函数如下，

$hat {delta}: Q imes Sigma^* ightarrow P(Q)$

$hat {delta}(q, epsilon) = s$

$hat{delta}(q, xa) = igcup_{r in delta(q, a)} hat{delta}(r,x)$

NFA M 接受的语言为，

$T(M)=lbrace x|p in delta(q_0, x), p in F$

其中，x 表示一个句子

正则文法与FA

定理：若$G=(V_N, V_T, P, S)$表示一个正则文法，则存在一个$FA M = (Sigma, Q, delta, q_0, F)$，使得$T(M)=L(G)$

其中，$V_N$表示非终结符，$V_T$表示终结符

于是可以由给定正则文法构造FA M，步骤如下：

1. 令$Sigma = V_T, Q=V_N cup {T}, q_0 = S$，其中 T 是新增的一个非终结符
2. 如果P中存在产生式$S ightarrow epsilon$，则 $F=lbrace S, T brace$，否则$F=lbrace T brace$
3. 如果P中存在产生式$B ightarrow a, B in V_N, a in V_T$，则$T in delta(B, a)$
4. 如果P中存在产生式$B ightarrow aC, B, C in V_N, a in V_T$，则$C in delta(B, a)$
5. 对于每个$a in V_T$，有$delta(T, a) = varnothing$

 上面这个步骤给出的太突然，初看可能会不太容易理解。

我们从给出的正则文法出发，根据上篇文章的介绍，正则文法的规则是（为了与上面步骤相一致，以右线性正则文法为例）$A ightarrow x|xB$，可见非终结符总是由一种或多种终结符的方幂连接而成，也就是说，非终结符是有终结符组成，所以正则文法所识别的句子最终都是由终结符组成，所以步骤（1）中，FA M的输入符号集就是$Sigma = V_T$，FA M的上个状态在某一输入符的条件下转换到下一状态，而这个输入符正是文法中的终结符x，正好对应文法规则的产生式$A ightarrow xB$，不难想到，这对应着FA M中状态转变，即状态 A 转换到 状态 B，而A 和 B 是文法中的非终结符，所以FA M的状态集合$Q = V_N$。不过，这样就OK了吗？显然没有，此时Q中的状态全部是$V_N$中的非终结符，根据文法产生式，非终结符总是要继续推导下去的，这说明，Q中少了能表示终止的状态，否则就是要构造无限长度的句子了。我们新增一个非终结符T，这个非终结符T很特殊，它没有产生式，它的具体意义稍后就会解释。不过我们的Q 就完整了，于是$Q=V_N cup {T} $。另外，FA M的起始状态则不难理解为是文法的起始符$q_0=S$。

接着看步骤3、4和5

右线性正则文法的产生式有：$B ightarrow a, B in V_N, a in V_T$，表示一个非空终止符B 产生出一个终止符a，这个产生式的右端没有非终结符，根据这种产生式，对应于FA M则是由状态B 接收一个输入符a 后进入下一个状态，这个状态就是前面新引入的那个T，即，但凡应用了$B ightarrow a$这种右端没有非终结符的产生式，FA M就进入下一个状态T，由状态B并接收一个输入符a进入下一个状态T，如果是NFA，则是下一个状态集合，这里为了不失一般性，我们考虑NFA（毕竟DFA是NFA的特例），即$delta(B, a)$是下一个状态集合，那么如果经过产生式$B ightarrow a$变换后，，FA M进入状态T，则 $T in delta(B, a)$。

根据右线性正则文法，如果有产生式：$B ightarrow aC, B, C in V_N, a in V_T$，那么根据上面的阐述，应该知道应用了此产生式后，FA M进入下一个状态C，且$C in delta(B, a)$。当然如果还有产生式$B ightarrow aD$，那么$D in delta(B, a)$；如果B 只有一个产生式$B ightarrow a$，那么$delta(B, a)$只有一个元素，$delta (B, a) = lbrace T brace$

前面提到过，新引入的非终结符T没有产生式，没有$T ightarrow a|aA$这样的产生式，所以$delta(T, a) = varnothing$

然后来看步骤2，

FA M的终止状态集合$F subseteq Q$，显然集合Q里面只有状态T 可以作为终止状态，即应用了文法产生式$B ightarrow a$之后进入状态T，所以$F = lbrace T brace$。前面我们介绍文法时，没有引入$epsilon$，现在将其引入，这样就可以产生“空句子”，如果$S ightarrow epsilon$，即产生一个 空句子 ，那么显然，使用起始状态 S 作为此时的终止状态，所以，如果有产生式$S ightarrow epsilon$，此时$F=lbrace S, T brace$，而 $S in V_N$，此时依然能保证$F subseteq Q$，当然如果没有产生式$S ightarrow epsilon$，那么$F = lbrace T brace$，即只有非空句子的终止状态T

定理：若$M=(Sigma, Q, delta, q_0, F)$是一个有限自动机，则存在一个正则文法$G=(V_N, V_T,P,S)$，使得$L(G)=T(M)$

由FA M构造G的步骤：

1. 令$V_N=Q$，$V_T = Sigma$，$S=q_0$。根据前面的说明，这里应该不难理解
2. 如果$C in delta(B, a), B, C in Q, a in Sigma$，则在P中存在产生式：$B ightarrow aC$。根据前面的说明，反过来就得到这条步骤
3. 如果$C in delta(B, a), C in F$，则P中存在产生式$B ightarrow a$。根据前面的说明，这里C 就是T

上下文无关文法与下推自动机

 下推自动机(Pushdown Automata, PDA)用于实现上下文无关文法(CFG)。PDA 可以表达成一个七元组：

$M=(Sigma, Q, Gamma, delta, q_0, Z_0, F)$

$Q$: 状态的有限集合

$Sigma$: 输入符号集

$Gamma$: 栈符号表

$delta$: 转移函数

$q_0$: 初始状态

$Z_0$: 初始栈顶符号（也有叫栈底符号的，因为初始时栈里仅有这一个符号）

$F$: 终止状态集或可接受状态集，$F subseteq Q$

$$ egin{aligned} delta : & quad quad Q & quad imes   quad quad Sigma quad  imes &   quad  Gamma quad Rightarrow quad & Q quad imes quad & Gamma^* \ & ext{old state} & ext{input symb.} & ext{stack top} & ext{new state(s)} & ext{new stack top(s)} end{aligned}$$

$delta (q,a,X) = lbrace (p, Y), ...$

从状态q 转移到状态 p，a是下一个输入符号，X是当前栈顶符号，Y是下一个用于替换X的栈顶符号，如下图所示，$Y in Gamma^*$，

（图来源网上）

• 如果$Y = epsilon$，直接将X从栈顶弹出
• 如果$Y=X$，栈顶符号不变还是X
• 如果$Y=Z_{1}Z_{2}...Z_{k}$，将X从栈顶弹出，然后将Y压入栈，按从右往左的顺序压入栈，此时$Z_1$位于栈顶

PDA类似NFA，比NFA多了一个stack，正是这个stack使得PDA可以识别一些非正则的语言。输入符号集与栈符号集可能会不同，所以分别用$Sigma$和$Gamma$表示。

图灵机

略（以后再专门讲述，主要是内容跟书上太过重复了，但是自己又不会组织语言，所以只能先等等）。

ref

统计自然语言处理，宗成轻