博弈机器人

五子棋博弈算法一．五子棋搜索树中的极大极小搜索算法算法是系统中最重要的部分,是整个游戏开发的核心。

研究五子棋这种博弈类游戏，最理想的方法是不论对手走哪种棋路的时候计算机都可以根据对手的走法来预测下一步。

预测最大的困难就是搜索太复杂，状态空间的复杂度为10105，五子棋博弈树的复杂度为1070，要完成如此复杂的搜索即使计算机的运算速度很快，并采用强有力的启发式搜索技术，也是不可取的。

所以考虑根据实际情况调整搜索深度，可以通过极大极小搜索方法来实现。

下面将博弈的双方分别命名为BLACK和WHITE。

而搜索目的是为BLACK找到最佳移动点。

假定由BLACK先走子，然后博弈双方轮流移动。

规定博弈树的根节点深度为0，则节点深度是偶数的，对应的是BLACK下一步要移动的点，这些节点叫做BLACK节点；节点深度是奇数的，就对应的是WHITE下一步所要移动的点，这些节点叫做WHITE节点。

可以计算出来k层包括了深度为2k的节点和深度为2k+1的节点。

这里博弈树的搜索深度可以用层数表示，这样就可以向前预测BLACK和WHITE交替落子的回合数。

由于博弈树的复杂程度限制，除掉博弈快结束的情况，稍复杂的博弈局面搜索到终点都是不可能的。

只能在有限范围内搜索，可以采用启发式搜索方法。

如何来确定下一个考察点是这种方法关键一步，通过分析，根据重要性估值，分值高的节点更重要，这样就可以较快的求出最佳落子点了。

评估节点的重要性高低我采用静态评估函数，评估函数可以帮我们衡量代表叶节点重要性的“值”。

若当前应该BLACK下，选值最大的节点。

所以叶节点WHITE的双亲中一个BLACK 节点的倒推值等于叶节点所有静态评估值中最大的那个。

另外，WHITE 选时，必然选最小的节点，也就是最负的值。

所以叶节点BLACK 的双亲中一个WHITE 节点的倒推值等于叶节点值中最小的。

一层赋值完毕，层层向上，直到第二层，BLACK 首步就是最终倒推值最大点。

将静态估值函数h(n)作为棋盘估值函数，现在分析人机对弈的情况。

下面讨论时用矩形表示计算机方下棋的棋盘状态，用圆形表示玩家棋盘状态。

假定当前棋局w 为轮到计算机方下棋，计算机方从若干种选择中选一合法落子点，下面要考虑此种情况下玩家下棋的棋局；从某一个圆形棋局出发，玩家在若干种选择中任选一合法点落子。

再次进入计算机方下棋的矩形棋局；依此类推，层层向下最终会形成一棵博弈树，此树根节点为w。

该树第 2 层子节点为圆形棋局，第3层子节点为矩形棋局等等。

搜索继续向前，多层子节点逐渐形成，下面说说极大极小值的过程，假设博弈树已经形成，这里以向前搜索 3 层子节点为例，第 3 层子节点棋局n 的估计值由静态估值函数h(n)给出，如图 4.1 所示，值为各节点旁的数值。

15行15列棋盘，行15路，列15路，加到一起30路；五子棋获胜连续五子必须在一条直线上，对角线上少于五子的各路可以刨除，对角线共有29*2路，可以减少8+8=16路，因此，整个棋盘路的总数为：30+(29-8)+(29-8)=72路。

计算机需要知道什么时候的局势好过什么时候的局势，我们可以通过给不同局势赋不同分值的办法来让计算机明白，从而使计算机可以对当前棋局进行判断。

对于棋局n，第j 路得分：h(j)=hc(j)-hp (j)。

计算机方在第j路估计值得分为hc(j)，玩家在第j路得分为hp(j)。

下面给出局势评估分值规则：用+表示合法空节点；玩家棋子和计算机方棋子分别用o和*表示。

+ + + * + +：hc(j)=10;+ + * * + +：hc (j)=100;+ * * * + +：hc(j)=1000;o * * * * +：hc(j)=10000;+ * * * * +：hc(j)=50000;* * * * * 的时候落子方就已经是胜利了：hc (j)=100000之所以要给出如此大的分值差距，主要是防止以后作全局判断的时候因为分数的累加使得计算机判断错误这种情况。

而计算机判断双方的分值，即在落子时对自己的落子点涉及分值和对方落子点的分值进行对比，从而来进行之后落子的判断。

二．α-β剪枝算法优化用搜索树法来解决人机博弈时计算量太大以至于目前几乎所有的计算机都无法承受的，因此,通常只能搜索到一个非常有限的深度。

判断每种走法的优劣只能根据此有限深度的局势来进行。

为了提高搜索的效率,需要对搜索树法进行改进。

（1）α-β剪枝不搜索分支节点而舍弃该分支的过程叫剪枝。

采用剪枝，不用把每个节点都搜索一遍也可获得和极大极小搜索同样结果的走步，最常用的剪枝方法是α-β剪枝算法。

在前面提到的极大极小搜索中，有一定程度的数据冗余存在。

一棵极大极小树片断，节点下面标出的是该节点值，设A节点是一个为极大值点，B 节点值是16，D 节点值是14，所以 C 节点值必然小于等于14(取极小值)；而A节点的值不需要估出C节点的其他子节点（如E、F）的值就可以得到，是节点Max(B，C)，值为16。

这样我们就可以将 D 节点的其它后继兄弟节点直接去掉，称为α剪枝(Alpha 剪枝)。

另外一种剪枝如图 4.3，同样是一棵极大极小树的片段，设A节点为极小值点， B 节点估值得到6，D 节点估值是l6， C 节点取极大值，所以它的值必然将大于等于16；而A节点值应该从B、C 中选出最小的，Min(B，C)是6。

因此A节点的值不需要估出 C 节点的其他子节点（如E、F）的值就可以得到。

这样我们就可以将 D 节点的后继兄弟节点直接剪掉，称为β剪枝(Beta 剪枝)。

极大极小搜索中有效使用α剪枝和β剪枝，就是α-β搜索算法。

上边讲到了α-β剪枝极大极小搜索产生子结点的顺序。

得到五子棋的静态估值函数除了要有一定的五子棋知识，还要能运用这些知识对当前五子棋局势状态正确估值。

可以对棋盘全局的每一个合法空点进行搜索判断棋形计算得分，然后综合全局得分，优先选择分值最高的走步。

也可以在程序中规定几个经典下棋定式，再根据定式判断当前棋局局势得分，但这种做法前提必须对五子棋相当熟悉。

根据极大极小搜索树中的判断棋形所给出的得分值，搜索整个棋盘，最后把各部分得分求和，就可以得到当前棋局局势状态的评价值。

这里静态估值函数在实践中需要不断调整得分值，因为它的好坏直接决定了五子棋博弈系统智能的高低。

在α-β剪枝过程中，如果能较早得到一个较大的值，则在其后的搜索中，剪枝数目增加，从而使程序效率大大提高。

所以搜索时产生子结点的顺序非常关键，直接影响到程序运行的快慢。

想得到产生子结点的顺序的较优方案，还需要在实际中慢慢体会。

假设顺序是从(1，1)点开始到(15，15)为止产生结点，假设计算机为黑棋，我们假设黑棋从(1，1)开始的第一个无子的点进行预测，再预测白棋走，再预测黑棋走，向后预测n 步后，整个棋局局势用静态估值函数打分；再选择另一个合法空节点，再为棋局局势打分。

重复此过程，并根据得分对深度为n 的搜索树进行α-β剪枝搜索。

下面用类 C 语言对描述深度为3 的搜索树α-β剪枝算法：初始时minvalue 为-∞，maxvalue 为+∞；设计算机为BLACK，人为WHITE；函数Nowvalue()返回对当前局面的估值。

int BLACK(point x, minvalue, maxvalue){在x 处下黑子；if(已到达搜索的最后一层) return Nowvalue()；for(int i=1；i< 16；i+ + )for(int j=1；j< 16；j+ + ){point node=(i, j)；minvalue=max (minvalue, WHITE(node, minvalue, maxvalue))if(minvalue> maxvalue) return maxvalue;)return minvalue;)}WHITE 结点的β剪枝函数：int WHITE(point x, minvalue, maxvalue)}{在x 处下白子；if(已到达搜索的最后一层) return Nowvalue();for(int i= 1；i< 16；i+ + )for(int j=1；j< 16；j+ +){point node=(i,j)；maxvalue=min(maxvalue, BLACK(node, minvalue, maxvalue))if(maxvalue<=minvalue) return minvalue;)return maxvalue;)}BLACK 和WHITE 两函数互为递归调用，可以动态改变搜索深度。

BLACK(point x, minvalue, maxvalue)函数，返回的是对BLACK 结点最有利的走步的局势静态估值函数值。

反之WHITE (point x, minvalue, maxvalue)函数，返回的是对WHITE 结点最有利的局势静态估值函数值。

（2）两种算法比较极大极小值算法是对弈的基础思想，但是计算量太过庞大。

表 4.1 是比较极大极小值算法和α-β剪枝算法在五子棋对弈中搜索深度为一，二，三层时候各自遍历的节点数。

极大极小值算法实现机制相当于穷举法，许多可以省略搜索的节点它也一一遍历了。

所以极大极小值算法和α-β剪枝搜索节点数的比较结果明显，极大极小值算法中遍历节点数目太过庞大，而采用α-β剪枝算法可以有效提高搜索速度。

三．另一种博弈算法1.概述玩家每走一步，对于玩家和计算机，都根据获胜表对棋盘各个空棋位进行评分，每个位置的分数与下面这句话有关：该位置所在的每一种获胜组合中已经拥有的棋子数，然后对玩家和计算机产生的分数均衡，以判断计算机是进攻还是防守。

2.数据结构10×10的数据，用来记录棋盘状态；两个获胜表（[10][10][192]），也就是获胜组合，因为五个子一线则胜，不在一线上的五个子就不在一个组合中，对于10×10的棋盘获胜的组合有192种，下面将会详细说明，获胜表用来表示棋盘上的每个位置是否在玩家或计算机的获胜组合中；一个二维数组（[2][192]），记录玩家与计算机在各种获胜组合中填入了多少棋子；两个10×10的数组，用来记录玩家与计算机在各个棋盘位置上的分数，分数高的将是计算机下一步的着法。

3.计算获胜组合上图是一个10×10的五子棋棋盘，我们可以得出垂直方向上的获胜组合是10×6=60，同理，水平方向的获胜组合也是60，而两个倾斜方向上的获胜组合是(1+2+3+4+5)×2+6=36，即：60*2+36*2=192。

4.评分用两个数组存储每个棋位的分数，一个是计算机的，另一个是玩家的，表示该位置对于各方是最佳着法的肯定程度，对一个位置的评分就是：遍历该位置所在的每一种获胜组合，根据这个组合中已经拥有的己方棋子数1到4分别加不同分数，最后将这些所有的获胜组合所得出的分数相加就是该位置的分数，下图是对于黑方各棋位的评分（其中的1，2，3，4这几个值要根据实际需要来确定）。