第八章柔性字符串匹配3

第八章 字符串匹配
介绍
• 字符串匹配算法是计算机科学中研究得最 为广泛和古老的问题之一。取证领域需要 各种字符串的搜索、排除技术。 • 目前存在各种各样复杂的字符串算法，同 时也存在各种的误解 • 例如：KMP算法在实际中比蛮力方法慢一 倍。BM算法中真正实用的是对原算法高度 简化后的方法
介绍
• 经典的数据结构中对字符串算法介绍得比 较少，但是在安全领域，用得非常广范， 例如IDS，FireWall，Anti Virus等 • 字符串匹配技术本身也在发展例如多模式 匹配、扩展模式匹配、近似模式匹配等等 • 但是由于课程时间限制，我们仅仅介绍概 念上比较简单，又很实用的算法
第一种情况是模式串中无真子串， 如上图的主串 s=“cddcdc”、模式串t=“cdc”的模式匹配过程。当s0=t0， s1=t1，s2≠t2时，算法中取i=1,j=0，使主串下标i值回退， 然后比较s1和t0。但是因t1≠t0，所以一定有s1≠t0，实际上 接下来就可直接比较s2和t0。 可以推广到匹配长度为m-1情况
{
if(str[i] == t.str[j]) // { i++;j++; } else { i = i-j+1;j = 0; } } if(j >= t.size-1) v = i-t.size+1; else v = -1; return v;
}
(3)BF算法的时间复杂度
若n为主串长度，m为子串长度，则串的BF匹配算法最坏的情况下需 要比较字符的总次数为(n-m+1)*m＝O(n*m) 最好的情况是：一配就中！主串的前m个字符刚好等于模式串的 m个字符，只比较了m次，时间复杂度为O(m)。 最恶劣情况是：模式串的前m-1个字符序列与主串的相应字符序列比 较总是相等，但模式串的第m个字符和主串的相应字符比较总是不 等，此时模式串的m个字符序列必须和主串的相应字符序列一共比 较n-m+1次，所以总次数为:m*(n-m+1),因此其时间复杂度为 O(n×m)。
当si≠tj（0≤i<n,0≤j<m）时，存在
"si-jsi-j+1…si-1" = "t0t1…tj-1“ 此时若模式串中存在可相互重叠的真子串，满足 "-1" = "tj-ktj-k+1…tj-1" （0<k<j）
则说明模式串中的子串“t0t1…tk-1”已和主串“si-ksik+1…si-1”匹配。下一次可直接比较si和tk；
此时若模式串中不存在可相互重叠的真子串，则说明
在模式串t0t1…tj-1”中不存在任何以t0为首字符的字符串与
“si-jsi-j+1…si-1”中以si-1为末字符的字符串匹配，下一次可 直接比较si和t0。 关于模式串中的真子串问题。我们把模式串中从第一个 字符开始到任一个字符为止的模式串中的真子串定义为next
BF与KMP算法的运行效率比较
回顾BF的最恶劣情况：S与T之间存在大量的部分匹配，比较 总次数为： (n-m+1)*m＝O(n*m) 而此时KMP的情况是：由于主串比较位置i无须回退，比较次 数仅为n,即使加上计算next[j]时所用的比较次数m，比较总 次数也仅为n+m=O(n＋m)，大大快于BF算法。
1.4 可以改进的地方
• 前缀搜索 • 从左到右搜索，如果发现T中已搜索字符串的 后缀是p的前缀，那么就可以移动比1更多的距 离，移动到II的后面
• 后缀搜索
• • 在搜索窗口内从右往左逐个读入正文串中的字符，搜索其与模式串的最长公共后缀。 因为这种搜索方式能跳过正文的一些字符，因而具有亚线性的平均时间复杂度。 基于后缀搜索思想的方法中最著名的就是Boyer-Morre(BM)算法，而其它方法几乎都是 在其基础上的改进，比较有代表性的如Horspool(BMH)、Tuned-BM(TBM)、 Sunday(QS)、SSABS、BR等。BM算法的时间复杂度在最好的情况下为O(n/m)，但最 坏的情况下却为O(nm)。尽管理论上BM算法比基于前缀和子串的方法好，但实际应用 中却并不是最快的算法。
k = next[k]; } if(P[k+1]==P[i]) next[i] = k+1; else next[i] = -1; //如果相等而结束, 则找到一对长度为k的前缀字串和后缀字串 //增加了一个相同项 //其他情况
}
}
KMP算法
• • • • • • • • • • • • • • • • • • • • • • int find(char*T, char* pat){ int n = strlen(pat); int *next = new int[n]; calnet(pat, next); char *p=T, *q=pat; int i=0; while(*p!='\0'&&(*(q+i)!='\0')){ if(*p==*(q+i)){ p++; i++; }else{ if(i==0)//pattern的第一个字符就不等，那么搜索窗口后移一个字符 p++; else i = next[i-1]+1; } } if(*(q+i)=='\0') return p-T-n; else return -1; }
1.5 KMP算法
KMP算法是在BruteForce算法的基础上的模式匹配的 改进算法。KMP算法的特点主要是消除了Brute-Force算法的 如下缺点： 主串下标i在若干个字符序列比较相等后，只要 有一个字符比较不相等便需要把下标i的值回退。分两种情况 分析Brute-Force算法的匹配过程：
的，所以问题实际是求搜索窗口“aba”，既是前缀又是后缀的子串
s＝ a b a c a b a b
t＝ a b a b
i＝3
失败
j＝3
总结以上两种情况可以发现，一旦si和tj比较不相等，
主串的si可直接与模式串的tk（0≤k<j）比较，k的确定与 主串s并无关系（因为这个时候k表示Si-j…Si-1的边界，也 就是t0..tj-1的边界），而只与模式串t本身的构成有关， 即从模式串本身就可求出k的值。 一般情况下，设s="s0s1...sn-1"，t="t0t1...tm-1"，
第一次匹配s＝c d d c d c t＝c d c 第二次匹配s＝c d d c d c t＝c d c 第三次匹配s＝c d d c d c t＝c d c 第四次匹配s＝c d d c d c t＝c d c
i＝2 j＝2 i＝１ j＝０ i＝2 j＝０ i＝5 j＝2
失败 失败
失败 成 功
经典字符串匹配相关算法
1.字符串匹配算法
2.多字符串匹配 3.正则表达式匹配 4.近似字符串匹配
第一部分 字符串匹配
1.1位并行和位运算 位并行利用了计算机机器字位运算的内在 并行性，即可以把多个值装入同一个机器 字内，然后只需要一次运算就能更新所有 值。
还可以做算术运算，但是如果一个串跨多个 机器字的时候要注意进位的影响
KMP算法:如何求next
• • • • • • • • • • • void calnext(char* P, int next[]){ next[0] = -1; //第一个元素的next总是-1 for(int i=1; i<strlen(P); i++){
int k = next[i-1]; //因为采用递归的方法, 为了计算next[i], 先记录下next[i-1] while(P[k+1]!=P[i]&&k>=0){ // 递归
KMP算法的思想:
设s为主串，t为模式串，设i为主串s当前比较字符的下标， j为模式串t当前比较字符的下标，令i和j的初值为０。当si = tj时，i和j分别增1再继续比较；否则i不变，j改变为next[j]值 （即模式串右滑）后再继续比较。依次类推，直到出现下列 两种情况之一：一是 j退回到某个j=next[j]值时有si = tj ， 则i和j分别增1后再继续比较；二是j退回到j=-1时，令主串和 子串的下标各增1，随后比较si+1和t0 。这样的循环过程一直 进行到变量i大于等于size或变量j大于等于size时为止。
1.3 Brute Force算法
1、 Brute-Force算法
(1)Brute-Force算法的设计思想： 将文本T的第一个字符和模式p的第1个字符比较， 若相等，继续逐个比较后续字符； 若不等，从主串S的下一字符起，重新与T第一个字符比较。 直到主串S的一个连续子串字符序列与模式T相等。返回值为S中 与T匹配的子序列第一个字符的序号，即匹配成功。
如何求next
• 举个例子 假设子串为P:“abacabab”, 且我们将要求的是‘b‟ 的next值, e.g. next[7] 假设next[0~6]均为已知: next[0]=-1, next[1]=-1 , next[2]=0 , next[3]=-1 , next[4]=0 , next[5]=1 ,next[6]=2 （为0-2字符） • "abacabab" • next[6]=2可以说明P[0~2](蓝)与P[4~6](红)是一样 的
［j］函数，则next［j］函数定义为
-1 当j＝0时 next[ j ]＝ max { k | 0<k<j 且‘t0 t1 …tk-1’=‘tj-k tj-k+1…tj-1’ } 0 其他情况 当模式串t中的tj与主串s的si比较不相等时，模式串t中需 重新与主串s的si比较的字符下标为k，即下一次开始比较si和 tk； 若模式串t中不存在如上所说的真子串，有next［j］=0， 则下一次开始比较si和t0；当j=0时令next［j］=-1。