一、算法背景
给定一个主串(以 S 代替)和模式串(以 P 代替),要求找出 P 在 S 中出现的位置,此即串的模式匹配问题。
Knuth-Morris-Pratt 算法(简称 KMP)是解决这一问题的常用算法之一,这个算法是由高德纳(Donald Ervin Knuth)和沃恩·普拉特在1974年构思,同年詹姆斯·H·莫里斯也独立地设计出该算法,最终三人于1977年联合发表。
在继续下面的内容之前,有必要在这里介绍下两个概念:真前缀 和 真后缀。
由上图所得, "真前缀"指除了自身以外,一个字符串的全部头部组合;"真后缀"指除了自身以外,一个字符串的全部尾部组合。
二、暴力匹配
这个算法的复杂度是O(n*m)
1 // n是P的长度,m是S的长度,返回P在S中出现的次数 2 int solve(char P[],int n,char S[],int m) // P是模式串,S是主串 3 { 4 int ans = 0; 5 int i,j; 6 for (i=0;i+n<=m;i++) 7 { 8 for (j=0;j<n;j++) 9 { 10 if (S[i+j] != P[j]) 11 break; 12 } 13 if (j == n) 14 ans++; 15 } 16 return ans; 17 }
三:KMP字符串匹配算法
KMP算法成功的将算法的复杂度变成了O(n+m)
3.1 算法流程
(1)
首先,主串"BBC ABCDAB ABCDABCDABDE"的第一个字符与模式串"ABCDABD"的第一个字符,进行比较。因为B与A不匹配,所以模式串后移一位。
(2)
因为B与A又不匹配,模式串再往后移。
(3)
就这样,直到主串有一个字符,与模式串的第一个字符相同为止。
(4)
接着比较主串和模式串的下一个字符,还是相同。
(5)
直到主串有一个字符,与模式串对应的字符不相同为止。
(6)
这时,最自然的反应是,将模式串整个后移一位,再从头逐个比较。这样做虽然可行,但是效率很差,因为你要把"搜索位置"移到已经比较过的位置,重比一遍。
(7)
一个基本事实是,当空格与D不匹配时,你其实是已经知道前面六个字符是"ABCDAB"。KMP算法的想法是,设法利用这个已知信息,不要把"搜索位置"移回已经比较过的位置,而是继续把它向后移,这样就提高了效率。
(8)
i | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
---|---|---|---|---|---|---|---|---|
模式串 | A | B | C | D | A | B | D | ' ' |
next[i] | -1 | 0 | 0 | 0 | 0 | 1 | 2 | 0 |
怎么做到这一点呢?可以针对模式串,设置一个跳转数组int next[]
,这个数组是怎么计算出来的,后面再介绍,这里只要会用就可以了。
(9)
已知空格与D不匹配时,前面六个字符"ABCDAB"是匹配的。根据跳转数组可知,不匹配处D的next值为2,因此接下来从模式串下标为2的位置开始匹配。
(10)
因为空格与C不匹配,C处的next值为0,因此接下来模式串从下标为0处开始匹配。
(11)
因为空格与A不匹配,此处next值为-1,表示模式串的第一个字符就不匹配,那么直接往后移一位。
(12)
逐位比较,直到发现C与D不匹配。于是,下一步从下标为2的地方开始匹配。
(13)
逐位比较,直到模式串的最后一位,发现完全匹配,于是搜索完成。
3.2 next数组是如何求出的
next数组的求解基于“真前缀”和“真后缀”,即next[i]
等于P[0]...P[i - 1]
最长的相同真前后缀的长度(请暂时忽视i等于0时的情况,下面会有解释)。
i | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
---|---|---|---|---|---|---|---|---|
模式串 | A | B | C | D | A | B | D | ' ' |
next[ i ] | -1 | 0 | 0 | 0 | 0 | 1 | 2 | 0 |
- i = 0,对于模式串的首字符,我们统一为
next[0] = -1
; - i = 1,前面的字符串为
A
,其最长相同真前后缀长度为0,即next[1] = 0
; - i = 2,前面的字符串为
AB
,其最长相同真前后缀长度为0,即next[2] = 0
; - i = 3,前面的字符串为
ABC
,其最长相同真前后缀长度为0,即next[3] = 0
; - i = 4,前面的字符串为
ABCD
,其最长相同真前后缀长度为0,即next[4] = 0
; - i = 5,前面的字符串为
ABCDA
,其最长相同真前后缀为A
,即next[5] = 1
; - i = 6,前面的字符串为
ABCDAB
,其最长相同真前后缀为AB
,即next[6] = 2
; - i = 7,前面的字符串为
ABCDABD
,其最长相同真前后缀长度为0,即next[7] = 0
。
那么,为什么根据最长相同真前后缀的长度就可以实现在不匹配情况下的跳转呢?举个代表性的例子:假如i = 6
时不匹配,此时我们是知道其位置前的字符串为ABCDAB
,仔细观察这个字符串,首尾都有一个AB
,既然在i = 6
处的D不匹配,我们为何不直接把i = 2
处的C拿过来继续比较呢,因为都有一个AB
啊,而这个AB
就是ABCDAB
的最长相同真前后缀,其长度2正好是跳转的下标位置。
有的读者可能存在疑问,若在i = 5
时匹配失败,按照我讲解的思路,此时应该把i = 1
处的字符拿过来继续比较,但是这两个位置的字符是一样的啊,都是B
,既然一样,拿过来比较不就是无用功了么?其实不是我讲解的有问题,也不是这个算法有问题,而是这个算法还未优化,关于这个问题在下面会详细说明,不过建议读者不要在这里纠结,跳过这个,下面你自然会恍然大悟。
思路如此简单,接下来就是代码实现了,如下:
1 /* P 为模式串,下标从 0 开始 */ 2 void GetNext(string P, int next[]) 3 { 4 int p_len = P.size(); 5 int i = 0; // P 的下标 6 int j = -1; 7 next[0] = -1; 8 9 while (i < p_len - 1) 10 { 11 if (j == -1 || P[i] == P[j]) 12 { 13 i++; 14 j++; 15 next[i] = j; 16 } 17 else 18 j = next[j]; 19 } 20 }
下面我们具体看下这个代码:
(1):i和j的作用是什么?
i和j就像是两个”指针“,一前一后,通过移动它们来找到最长的相同真前后缀。
(2):if...else...语句里做了什么?
假设i和j的位置如上图,由next[i] = j
得,也就是对于位置i来说,区段[0, i - 1]的最长相同真前后缀分别是[0, j - 1]和[i - j, i - 1],即这两区段内容相同。
按照算法流程,if (P[i] == P[j])
,则i++; j++; next[i] = j;
;若不等,则j = next[j]
,见下图:
next[j]
代表[0, j - 1]区段中最长相同真前后缀的长度。如图,用左侧两个椭圆来表示这个最长相同真前后缀,即这两个椭圆代表的区段内容相同;同理,右侧也有相同的两个椭圆。所以else语句就是利用第一个椭圆和第四个椭圆内容相同来加快得到[0, i - 1]区段的相同真前后缀的长度。若相等的话,则说明 j 之前的都可以匹配到,所以next[i] = j .不等的话,则要去找[0,j-1]的真前缀的后一个,也就是next[j] 再进行匹配
细心的朋友会问if语句中j == -1
存在的意义是何?第一,程序刚运行时,j是被初始为-1,直接进行P[i] == P[j]
判断无疑会边界溢出;第二,else语句中j = next[j]
,j是不断后退的,若j在后退中被赋值为-1(也就是j = next[0]
),在P[i] == P[j]
判断也会边界溢出。综上两点,其意义就是为了特殊边界判断。
四:完整代码
1 #include <iostream> 2 #include <string> 3 4 using namespace std; 5 6 /* P 为模式串,下标从 0 开始 */ 7 void GetNext(string P, int next[]) 8 { 9 int p_len = P.size(); 10 int i = 0; // P 的下标 11 int j = -1; 12 next[0] = -1; 13 14 while (i < p_len) 15 { 16 if (j == -1 || P[i] == P[j]) 17 { 18 i++; 19 j++; 20 next[i] = j; 21 } 22 else 23 j = next[j]; 24 } 25 } 26 27 /* 在 S 中找到 P 第一次出现的位置 */ 28 int KMP(string S, string P, int next[]) 29 { 30 GetNext(P, next); 31 32 int i = 0; // S 的下标 33 int j = 0; // P 的下标 34 int s_len = S.size(); 35 int p_len = P.size(); 36 37 while (i < s_len && j < p_len) 38 { 39 if (j == -1 || S[i] == P[j]) // P 的第一个字符不匹配或 S[i] == P[j] 40 { 41 i++; 42 j++; 43 } 44 else 45 j = next[j]; // 当前字符匹配失败,进行跳转 46 } 47 48 if (j == p_len) // 匹配成功 49 return i - j; // 从0开始 50 51 return -1; 52 } 53 54 int main() 55 { 56 int next[100] = { 0 }; 57 58 cout << KMP("bbc abcdab abcdabcdabde", "abcdabd", next) << endl; // 15 59 60 return 0; 61 }
五:KMP优化
i | 0 | 1 | 2 | 3 | 4 | 5 | 6 | 7 |
---|---|---|---|---|---|---|---|---|
模式串 | A | B | C | D | A | B | D | ' ' |
next[ i ] | -1 | 0 | 0 | 0 | 0 | 1 | 2 | 0 |
以3.2的表格为例(已复制在上方),若在i = 5
时匹配失败,按照3.2的代码,此时应该把i = 1
处的字符拿过来继续比较,但是这两个位置的字符是一样的,都是B
,既然一样,拿过来比较不就是无用功了么?这我在3.2已经解释过,之所以会这样是因为KMP不够完美。那怎么改写代码就可以解决这个问题呢?很简单。
1 /* P 为模式串,下标从 0 开始 */ 2 void GetNextval(string P, int nextval[]) 3 { 4 int p_len = P.size(); 5 int i = 0; // P 的下标 6 int j = -1; 7 nextval[0] = -1; 8 9 while (i < p_len ) 10 { 11 if (j == -1 || P[i] == P[j]) 12 { 13 i++; 14 j++; 15 16 if (P[i] != P[j]) 17 nextval[i] = j; 18 else 19 nextval[i] = nextval[j]; // 既然相同就继续往前找真前缀 20 } 21 else 22 j = nextval[j]; 23 } 24 }