• 【★】KMP算法完整教程


    KMP算法完整教程



    全称:                               Knuth_Morris_Pratt Algorithm(KMP算法)

    类型:                               高级检索算法

    功能:                               字符串匹配查找

    提出者:                           D.E.Knuth(克努兹),J.H.Morris(莫瑞斯),V.R.Pratt(普莱特)

    所属领域:                        数据结构学

    应用场景:                        统计软件

    时间复杂度:                    O(m+n)





    一。原始匹配字符串方法


            以前,我们要肉眼在一个长字符串中寻找一个关键字词,比如在word文档中找一个单词,我们的世界观决定的方法论就是穷举法:挨个搜寻单词的第一个字母,每找到一个就定位然后匹配下一个字母,当匹配错误时就会放弃之前的匹配,沿着刚才的进度继续搜索首字母.


           这种方法也叫作”暴力字符匹配”,和早期计算机检索算法共享着同样的思想,其中被检索的字符串数据库叫做”主串”,检索的字符串叫”模式串”.名字很怪异我也没办法.

            于是依照这种算法我们可以编写一个程序来实现它:


    int Index(SString S,SString T,int pos)

    {

      i=pos;j=1;

      while(i<=S[0]&&j<=T[0])

      {

        if(S[i]==T[j]){++i;++j;}

        else{i=i-j+2;j=1;}//主串指针回溯重新开始下一趟匹配.

      }

      if(j>T[0])return i-T[0];

      else return 0;

    }

    //返回模式串T在主串S第pos之后部分中的位置,若不存在则函数值为0.

    这里要注意i和j的指针回溯问题,注意细节,具体如下图:

    【★】KMP算法完整教程

    然后问题就来了,这种算法在特定的情况下暴露出一些问题,在时间效率上不是很完美,因为它毕竟是一种穷举法,也符合人们的第一感觉,但是并不是最优的解决方案。比如说当在模式串中比较到第5个字符时才发现不匹配,那么之前四个字符都完全匹配,下一步就不需要再把模式串一位一位的向后移,而很可能直接把模式串向后移动四位就可以了,省去了三次比较,比如模式串是“aceddfaa”,主串是“acedabcd”的情况。





    二。初代KMP算法



           针对上面那个例子,我们可以展开思考,如果模式串匹配到第j个字符不匹配的话,接下来只需要在主串中这个位置从模式串中第f(j)的字符开始比较就行了,而不需要从第一个开始。而且f(j)只与模式串中第j个字符以前的所有字符有关。好了,这个f(j)我们用一个数组来存放,就是next【j】。求出next【j】就是KMP算法的核心。可以看出next【j】的值越小越好,优化的效率越高。

    KMP的next数组求法是很不容易搞清楚的一部分,也是最重要的一部分。我这篇文章就以我自己的感悟来慢慢推导一下吧!保证你看完过后是知其然,也知其所以然。

    如果你还不知道KMP是什么,请先阅读上面的链接,先搞懂KMP是要干什么。

    下面我们就来说说KMP的next数组求法。

    KMP的next数组简单来说,假设有两个字符串,一个是待匹配的字符串strText,一个是要查找的关键字strKey。现在我们要在strText中去查找是否包含strKey,用i来表示strText遍历到了哪个字符,用j来表示strKey匹配到了哪个字符。

    如果是暴力的查找方法,当strText[i]和strKey[j]匹配失败的时候,i和j都要回退,然后从i-j的下一个字符开始重新匹配。

    而KMP就是保证i永远不回退,只回退j来使得匹配效率有所提升。它用的方法就是利用strKey在失配的j为之前的成功匹配的子串的特征来寻找j应该回退的位置。而这个子串的特征就是前后缀的相同程度。

    所以next数组其实就是查找strKey中每一位前面的子串的前后缀有多少位匹配,从而决定j失配时应该回退到哪个位置。

    我知道上面那段废话很难懂,下面我们看一个彩图:

    【★】KMP算法完整教程

    这个图画的就是strKey这个要查找的关键字字符串。假设我们有一个空的next数组,我们的工作就是要在这个next数组中填值。

    下面我们用数学归纳法来解决这个填值的问题。

    这里我们借鉴数学归纳法的三个步骤(或者说是动态规划?):

    1、初始状态

    2、假设第j位以及第j位之前的我们都填完了

    3、推论第j+1位该怎么填

    初始状态我们稍后再说,我们这里直接假设第j位以及第j位之前的我们都填完了。也就是说,从上图来看,我们有如下已知条件:

    next[j] == k;

    next[k] == 绿色色块所在的索引;

    next[绿色色块所在的索引] == 黄色色块所在的索引;

    这里要做一个说明:图上的色块大小是一样的(没骗我?好吧,请忽略色块大小,色块只是代表数组中的一位)。

    我们来看下面一个图,可以得到更多的信息:

    【★】KMP算法完整教程

    1.由"next[j] == k;"这个条件,我们可以得到A1子串 == A2子串(根据next数组的定义,前后缀那个)。

    2.由"next[k] == 绿色色块所在的索引;"这个条件,我们可以得到B1子串 == B2子串

    3.由"next[绿色色块所在的索引] == 黄色色块所在的索引;"这个条件,我们可以得到C1子串 == C2子串

    4.由1和2(A1 == A2,B1 == B2)可以得到B1 == B2 == B3

    5.由2和3(B1 == B2, C1 == C2)可以得到C1 == C2 == C3

    6.B2 == B3可以得到C3 == C4 == C1 == C2

    上面这个就是很简单的几何数学,仔细看看都能看懂的。我这里用相同颜色的线段表示完全相同的子数组,方便观察。

     

    接下来,我们开始用上面得到的条件来推导如果第j+1位失配时,我们应该填写next[j+1]为多少?

    next[j+1]即是找strKey从0到j这个子串的最大前后缀:

    #:(#:在这里是个标记,后面会用)我们已知A1 == A2,那么A1和A2分别往后增加一个字符后是否还相等呢?我们得分情况讨论:

    (1)如果str[k] == str[j],很明显,我们的next[j+1]就直接等于k+1。

      用代码来写就是next[++j] = ++k;

    (2)如果str[k] != str[j],那么我们只能从已知的,除了A1,A2之外,最长的B1,B3这个前后缀来做文章了。

    那么B1和B3分别往后增加一个字符后是否还相等呢?

    由于next[k] == 绿色色块所在的索引,我们先让k = next[k],把k挪到绿色色块的位置,这样我们就可以递归调用"#:"标记处的逻辑了。

     

    由于j+1位之前的next数组我们都是假设已经求出来了的,因此,上面这个递归总会结束,从而得到next[j+1]的值。

     

    我们唯一欠缺的就是初始条件了:

    next[0] = -1,  k = -1, j = 0

    另外有个特殊情况是k为-1时,不能继续递归了,此时next[j+1]应该等于0,即把j回退到首位。

    即 next[j+1] = 0; 也可以写成next[++j] = ++k;

     这里我们用Java来描述:

    public static int[] getNext(String ps)

    {

        char[] strKey = ps.toCharArray();

        int[] next = new int[strKey.length];


        // 初始条件

        int j = 0;

        int k = -1;

        next[0] = -1;

     

        // 根据已知的前j位推测第j+1位

        while (j < strKey.length - 1)

        {

            if (k == -1 || strKey[j] == strKey[k])

            {

                next[++j] = ++k;

            }

            else

            {

                k = next[k];

            }

        }


         return next;

    }

     



    三。KMP算法的优化和改进


    KMP算法是可以被进一步优化的。

    我们以一个例子来说明。譬如我们给的P字符串是“abcdaabcab”,经过KMP算法,应当得到“特征向量”如下表所示:

    【★】KMP算法完整教程

    但是,如果此时发现p(i) == p(k),那么应当将相应的next[i]的值更改为next[k]的值。经过优化后可以得到下面的表格:

    【★】KMP算法完整教程


    (1)next[0]= -1 意义:任何串的第一个字符的模式值规定为-1。

    (2)next[j]= -1 意义:模式串T中下标为j的字符,如果与首字符

    相同,且j的前面的1—k个字符与开头的1—k

    个字符不等(或者相等但T[k]==T[j])(1≤k

    如:T=”abCabCad” 则 next[6]=-1,因T[3]=T[6]

    (3)next[j]=k 意义:模式串T中下标为j的字符,如果j的前面k个

    字符与开头的k个字符相等,且T[j] != T[k] (1≤k

    即T[0]T[1]T[2]。。。T[k-1]==

    T[j-k]T[j-k+1]T[j-k+2]…T[j-1]

    且T[j] != T[k].(1≤k

    (4) next[j]=0 意义:除(1)(2)(3)的其他情况。


    于是乎我们修正的NEXT数组的求法如下:

    public static int[] getNext(String ps)

    {

        char[] strKey = ps.toCharArray();

        int[] next = new int[strKey.length];


        // 初始条件

        int j = 0;

        int k = -1;

        next[0] = -1;

     

        // 根据已知的前j位推测第j+1位

        while (j < strKey.length - 1)

        {

            if (k == -1 || strKey[j] == strKey[k])

            {

                // 如果str[j + 1] == str[k + 1],回退后仍然失配,所以要继续回退

                if (str[j + 1] == str[k + 1])

                {

                    next[++j] = next[++k];

                }

                else

                {

                    next[++j] = ++k;

                }

            }

            else

            {

                k = next[k];

            }

        }


         return next;

    }


           好了,以上就是KMP算法的所有内容,我们可以看出,KMP算法的关键就是:利用匹配失败后的信息,利用递归的思想为每一个字符算出一个“特征值”。最后,KMP算法适合在字符种类很稀疏的情况下适用:仅当模式与主串之间存在许多“部分匹配”的情况下才显得比“暴力匹配”快,但是如果模式串中有太多相同的字符,就会略微降低KMP的优化效果。KMP算法还有一个进步特点就是:指示主串的指针不需要回溯,对主串仅需从头至尾扫描一遍。


    (如需转载请标明出处)

  • 相关阅读:
    BZOJ1050: [HAOI2006]旅行comf(并查集 最小生成树)
    洛谷P1762 偶数(找规律)
    抽象类的基本概念------abstract
    百度地图小图标没有显示的解决方案
    nfs:server 172.168.1.22 not responding,still trying问题解决方法 平台为RealARM 210平台
    大话分页(二)
    In App Purchases(IAP 应用程序內购买): 完全攻略
    快速修改数组的问题
    64位linux中使用inet_ntoa报错处理
    CDN和双线机房相比有何优势
  • 原文地址:https://www.cnblogs.com/jinhengyu/p/7516925.html
Copyright © 2020-2023  润新知