lecture9-06

概率算法随机数概念伪随机数生成算法几种主要的概率算法Sherwood算法Las Vegas算法Monte Carlo算法1伪随机数随机数与伪随机数概率算法中要进行随机选择，需要大量随机数.通常根据某种规则生成随机数，这些随机数不是真正随机的，但在一定程度上可以模拟随机数，一般叫做伪随机数随机变量X的取值范围是(0,1)且对任意的0<a<1,P{0<X≤a}=a, 则称X服从(0,1)上的均匀分布23伪随机数生成算法---线性同余法生成伪随机序列为{ a i }, i = 0,1,…, n ,…,0<a i <m⎩⎨⎧=+==−,...2,1mod )(10n m c ba a d a n n 模数：m , 机器最大数.乘数：b , 2≤b <m ，计算前给定常数：c , 0≤c <m ，计算前给定种子：d , 0≤d <m, 计算时随机给出伪随机数生成算法4乘同余法⎩⎨⎧===−,...2,1mod 10n m ba a d a n n 参数：c = 0，d ≠0，m =231−1, b =75实例：d =116,807, 282,475,249, 1,622,650,073, 984,943,658, 1,144,108,930, 470,211,272, 101,027,544, 1,457,850,878……确定型算法与随机算法1.特点：确定型算法: 对某个特定输入的每次运行过程是可重复的，运行结果是一样的.随机算法：对某个特定输入的每次运行过程是随机的，运行结果也可能是随机的.2. 随机算法的优势：在运行时间或者空间需求上随机算法比确定型算法往往有较好的改进随机算法设计简单6随机算法复杂性度量随机算法A 对于规模为n 的某个给定的实例I 的一次执行的时间与另一次可能不一样.随机算法A 对于某个规模为n 的实例I 的运行时间的期望：算法A 反复求解实例I 的平均时间.一般情况下，许多随机算法对于规模为n 的不同的实例，运行时间期望都一样，因此这个期望时间代表随机算法的平均预期时间.79确定型排序算法Quicksort 最坏情况下时间为O (n 2)平均情况下为O (n log n )确定型排序+选择算法如果选用中位数进行划分, 时间为O(n log n )随机快速排序算法预期时间O (n log n )最坏情况概率非常小，在实际应用中可以忽略算法比较时间期望值估计假设随机选择时，1..n中每个数被选的概率相 等，并且假设第k个数总是出现在划分后两个数组 中较大的数组（最坏情况的上界）.那么，随机选 择算法的时间期望为 1 n T ( n) ≤ (T ( n − 1) + T ( n − 2) + ...T ( + 1) n 2 n n + T ( ) + T ( + 1) + ... + T ( n − 1)) + O( n) 2 2 2 n −1 ≤ ∑ T ( i ) + O ( n) n i =n / 2 注意n为奇数，上式没有T(n/2)项11时间的期望（续）2 n −1 T ( n) ≤ T ( i ) + tn n i=n/ 2∑设T ( k ) ≤ ck对一切 k < n为真 , 则 2 n n T ( n) ≤ [c + c( + 1) + ... + c ( n − 1)] + tn 2 n 2 n n ( + n − 1) 2c 2 2 + tn = n 2 c 3n 3cn c = ( − 1) + tn = − + tn 2 2 4 2 3cn 3 t ≤ + tn = ( + )cn ≤ cn 取c ≥ 4t 即可 4 4 c12算法比较拟中位数选择算法 最坏情况 O(n) 平均情况 O(n) 随机算法 平均时间 O(n) 最坏情况 O(n2) 每次恰好选到边界元素 与实例无关，只与选择有关 概率很小，可以忽略 预期时间 O(n)13预期复杂度分析设A为求解问题π的确定型算法，B为对应的Sherwood 算法，对于输入x的计算时间分别记为tA(x), tB(x). 令 Xn={ x | x为π的实例, |x|=n } 输入等概率分布情况下，A的平均时间复杂度 1 t A ( n) = ∑ t A ( x) | X n | x∈ X n B在实例x的预期时间t B ( x ) = t A ( n) + s( n)B 的平均复杂性1 t B ( n) = t B ( x ) = t A ( n) + s( n) | X n | x∈ X n∑14Sherwood算法总结算法能得到正确的解 算法比确定型算法简单 算法的平均性能与确定型算法一样 算法改善了最坏情况的预期复杂性 运行时间基本与输入实例无关 确定算法最坏情况在随机选择出现的概率接近0 实现途径 通过改进确定型算法得到 将确定型选择原则改为随机选择 在确定型算法前增加随机洗牌步骤15随机洗牌算法算法 RandomShuffle(A,n) 1. for i←1 to n-1 do 2. 3. j←Random(i+1,n) A[i]↔A[j]例如数组A： n=12 A i=1, j=4： i=2, j=9： i=3, j=8： 2, 3, 1, 8, 6, 9, 11, 4, 5, 12, 10, 7 8, 3, 1, 2, 6, 9, 11, 4, 5, 12, 10, 7 8, 5, 1, 2, 6, 9, 11, 4, 3, 12, 10, 7 8, 5, 4, 2, 6, 9, 11, 1, 3, 12, 10, 716Las Vegas 算法例3 n后问题算法BoolQueen(n) 1. k←1 // k放皇后的行号 2. count←0 // count放好的皇后数 3. while k≤n do 4. for i←1 to n do // i为待选列号 5. 检查 i 与前面 k-1个皇后的相容性 6. 如果相容则将 i 加入S 7. if S≠∅ then 8. j←Random(1,|S|) 9. xk←S[j] 10. count←count+1 11. k←k+1 12. else k←n+1 13. return count17n后问题的LV算法算法QueenLV(n) //重复调用随机算法BoolQueen 1. p←BoolQueen(n) 2. while p<n do 3. p←BoolQueen(n)改进算法---与回朔相结合 设 stopVegas ≤ n, 表示用QueenLV算法放置的皇后数 剩下 n-stopVegas 个皇后用回朔方法放置 stopVegas = 0 时是完全的回朔算法 stopVegas = n 时是完全的Las Vegas算法18改进的LV算法比较对于不同的 stopVegas 值，设 p 为算法成功概率 s 为一次成功搜索访问的结点数的平均值 e 为一次不成功搜索访问的结点数的平均值 t 为算法找到一个解的平均时间1− p t = ps + (1 − p )(e + t ) ⇒ t = s + e 则 p n=12时的统计数据：stopVegas = 5时算法效率高stopVegas 0 5 12 p 1.0000 0.5039 0.0465 s 262.00 33.88 13.00 e 47.23 10.20 t 262.00 80.39 222.1119Las Vegas 算法总结一次运行可能得不到解 得到的解一定是正确的 改进途径：与确定型算法相结合 改进确定型算法的平均情况下复杂度 修改确定性算法得到20例5串相等测试问题：A有一个长串x, B有长串y，A和B希望知道x=y?方法一：A 将x 发送给B，B 测试x = y?发送消耗：长串占用信道资源大方法二：A 用x 导出一个短串f(x) (fingerprints)A 将f(x) 发送到BB 使用同样方法导出相对于y 的短串f(y)B 比较f(x) 与f(y)如果f(x) ≠f(y)，则x ≠y;如果f(x) = f(y)，则不确定.25fingerprints的产生方法设x 和y 的二进制表示为正整数I(x), I(y)选择素数p, fingerprint函数为I p(x) = I(x) mod pA 传送p 和I p(x) 给B. 当p 不太大时，传送一个短串. 存在问题：x = y ⇒I p(x) = I p(y)I p(x) = I p(y) ⇏x = y出错条件：固定p | (I(x) −I(y))26算法二Knuth, Morris, Pratt利用有限状态自动机模式匹配算法Introduction to Algorithms运行时间：O(m+n)算法三随机算法设计思想：设X(j) = xjx j+1 …x j+m-1改造算法一不是比较每个X(j) (j = 1, 2, …, n-m+1) 与Y，而是将Ip (Y) 与I p(X(j)) 比较其他算法34时间复杂度W p, I p(Y), I p(X(1)) 计算O(m) 时间从Ip(X(j)) 计算I p(X(j+1)) 总共需要O(n)时间总时间为O(m+n)出错条件：∏≠−⇔=∧≠)}(|{|))(()(| |))(()( )(jXYj ppjXIYIp jXIYIjXY算法分析38例7素数测试•求x的m次幂•求a的模n的m次幂•Fermart小定理•测试算法分析40算法的问题Fermat小定理的条件是必要条件，不是充分条件，满足这个条件的也可能是合数.对所有与n互素的正整数a，都满足上述条件的合数n称为Carmichael 数，如561，1105，1729，2465等。

Carmichael数非常少，小于108的只有255个。

如果n为合数，但不是Carmichael数，算法Ptest2 测试n为合数的概率至少为1/2. 但是这个算法不能解决Carmichael数的问题。

4647定理2 如果n 为素数，则方程x 2≡1(mod n )的根只有两个，即x = 1，x = −1（或x = n −1）.证明x 2(mod n ) ≡1⇔x 2−1 ≡0(mod n )⇔(x +1)(x −1) ≡0(mod n )⇔x +1 ≡0 或x −1 ≡0（域中没有零因子）⇔x = n −1 或x =1称x ≠±1 的根为非平凡的.定理2: 如果方程有非平凡的根，则n 为合数. 例如:x 2(mod 5) ≡1 ⇔x = 1 或x = 4x 2(mod 12) ≡1 ⇔x = 1 或x = 11 或x = 5 或x =75和7是非平凡的根素数的另一个必要条件48设n 为奇素数，存在q, m 使得n -1=2q m , (q ≥1). 序列)(mod ),...,(mod ),(mod ),(mod 242n a n a n a n a m m m m q 的最后一项为a n -1(mod n ), 而且每一项是前面一项的平方. 对于任意i （i =0,1,…q -1）, 判断)(mod 2n a m i 是否为1 和n -1, 且它的后一项是否为1.如果其后项为1，但本项不等于1 和n -1, 则它就是非平凡的根，从而知道n 不是素数.随机选择a ∈{2,3,…, n -2}, 进行上述测试. 基于定理2的测试原理49例如n =561, n -1=560=24⋅ 35, 假设a =7, 构造的序列为 1)561(mod 7)561(mod 7,67)561(mod 7)561(mod 7,166)561(mod 7)561(mod 7,298)561(mod 7)561(mod 7,241)561(mod 756035228035214035270352354321========= 第5项为1，但是第4项等于67，它既不等于1也不等于560，是个非平凡的根，因此可以判定n 为合数.根据这个思想设计的计算机算法称为Miller-Rabin 算法，它随机选择正整数a ∈{2,3,…, n -1}, 然后进行上述测试.实例。