实验二Strassen矩阵乘法

实验2 Strassen矩阵乘法

一、 实验目的

1.理解Strassen矩阵乘法的分治思想

Strassen矩阵乘法的分治法设计模式是：半分+混合

2.改进Strassen矩阵乘法对内存的需求

若按Strassen矩阵乘法的直接表述实现，则空间复杂度将是O(3n2)，本实验将试图改进这个方面。

3.Strassen矩阵乘法的性能问题

改进Strassen矩阵乘法的内存需求，并不一定能改进Strassen矩阵乘法的效率，本实验将试图测试一些较大规模(n>=1024)的n阶方阵的Strassen矩阵乘，探讨其效率问题。

二、 实验环境

C/C++编程环境或任何编程语言环境

三、 实验内容

1． Strassen矩阵乘法描述

尽管Strassen矩阵乘法的实用价值在当今的多核计算环境下可能不是那么显著，但其理论价值仍值得我们研究。Strassen矩阵乘法体现了一类重要的分治算法设计模式，即半分+混合，同样具有这种算法设计模式的是FFT(Fast Fourier Transform)-“由于FFT这个卓越算法在实践上的重要意义，有些人把它看作是有史以来人们发明的最重要的算法之一。”[1]

Strassen 矩阵乘法的基本思想，可由下述矩阵乘法概括：

输入：两个n=2k 维方阵A 和B （若A 和B 的维度不是2k ，则通过增加元素为0的行和列，以使A 和B 均为2k 维的方阵）

输出：n 维方阵

C

(1)

1+41+443-11+24134.12-43+4113.123-11+224.3424.1314.11.2412.4-434

4+=A B =A B =A B =A B =A B M =A B M =A M M B M M M

(2)

为方便表示，这里采用与书本不同的下标表示法，如对于1个n/2维矩阵

14.14M ，下标14.14表示其由两个矩阵A 1+4和B 1+4乘积而成，A 1+4表示A1+A4，

同理B 1+4表示B1+B4，同理12.4M 表示A1+2与B4的乘积。采用这种表示法，目的是为了记住每个M 矩阵是由A 和B 的哪一个或两个子矩阵得到的，从而方便后面的内存分配设计。

1）第一步：半分(半分指维度，若指面积也许应叫1/4分)

将A 和B 两个n 维方阵各分解为4份，每份n/2维，即A1,A2,A3,A4和B1,B2,B3,B4。

2）第二步：混合

将维度为n/2的7个子矩阵的“混合”（加减运算混合法），存入维度为n 的结果矩阵C 的4个位置中，即C 的4个n/2维的子矩阵依次是：

= 4.13124.14.1444312.M C -+M M M + 1.24142 2.M M C =+ 34.1433.1M M C =+

(3)

1.24413.14..14112

34M C =-+M M M +公式(3)右侧的加减法似乎没有规律（实际上有，见[2]）。这7个n/2维M 方阵中的每一个等于两个n/2维的子方阵的乘积，如

14.141+41+4=A B M

(4)

表示n/2维的方阵14.14M 等于n/2维的1+4A 和1+4B 的乘积。 3）第三步：递归半分

对于像公式(4)右侧的两个n/2维方阵的乘法问题，我们可以再次调用公式(1)和(2)：将A 1+4看成公式(1)中的A ，B 1+4看成公式(1)中的B 。

因此，原始规模为n 的矩阵乘法问题，被分解为规模为n/2的7个子问题（n/2维的矩阵乘法问题），这7个子问题中的每一个又可分解为7个子子问题（n/4维的矩阵乘法问题），…，直到叶问题（1维的两个矩阵乘法=两个元素乘法）。

2． Strassen 矩阵乘法算法框架

上述描述仍有尚未确定的地方，如内存如何分配，变量如何传递，还有我们无法准确地度量其空间效率（乘法时间效率约为n 2.807[1]，这是Strassen 矩阵乘法比传统矩阵乘法n 3好的理论依据，但实验结果是否真的如此，需要你来验证）。因此，初步用以下程序框架S1描述Strassen 矩阵乘法（注：本文所有代码均为伪代码，不可编译）：

class Matrix { //定义一个矩阵结构 public:

int* p; //方阵第1个元素地址 Matrix(int dim) { p = new int[dim*dim]; //采用行存储

}

~Matrix() { delete[] p; } };

void testS () { //测试主程序 Matrix A(1024); //输入A ，B Matrix B(1024);

/*设置矩阵A,B 中的元素为随机数*/

Matrix C(1024); //分配存放结果的矩阵C 的内存 S1(A,B,C); }

// Strassen 矩阵乘法

void S1(const Matrix& A, const Matrix& B, Matrix& C, int dim ) { if(dim==1) { *C.p = *(A.p) * *(B.p); return; } //[J]

Matrix left(dim/2); Matrix right(dim/2) //[N1] 分配两个临时n/2维矩阵存放公式(2)中右侧的A 和B 的子矩阵，如14.141+41+4=A B M 中的1+4A 和1+4B ：

left ;←1A /* [C1] 取出A1子矩阵并放入left */ 4left ;+=A /* 将1A 与4A 的和存入left */ /* 同理将1+4B 存入right */

Matrix 14.14M (dim/2); // [N2] 存放1+4A 与1+4B 的乘积 S1(left, right, 14.14M , dim/2); //递归调用，得到14.14M /* 同理得到 4.13M ,12.4M , 1.24M ,34.1M ,13.12M ,24.34M */

← 4.13124.14.1444312.M C -+M M M + // [N3] 执行加法，将结果存入C 的第1子矩阵

/* 同理按公式(3)计算C 2,C 3,C 4 */ }

从程序S1可知：每一递归层k ∈[()1log 2?n ..0]，需分配7*(2k )2+2*(2k )2=9*4k ，如果不算最外层的A,B,C 分配的内存，那么总共分配的内存是[3]：

()

134921log 0

2?=×∑?=n n k k

(5)

3． Questions [Question1]

程序S1是可以进一步优化的，[N1~N3]处的内存分配可以不需要，因为在

n 2log 次递归中，每次递减地分配和释放内存是不仅导致内存碎片，而且影响性

能，应该一次性地分配好，但问题是应该一次性地分配多少额外内存才合适呢？（除去预先分配A,B,C 的n 维方阵内存以外），进一步地讲，最少需分配多少额外内存呢？还是根本不用额外分配内存？ [Question2]

请实现你认为的最小内存分配的Strassen 算法S ，并用蛮力法（传统矩阵乘法）验证S 的计算结果。 [Question3]

请给出Question2中S 的性能度量，以Excel 表形式展现，表头为： n 维 Strassen 时间T n 2.807 T/ n 2.807 传统乘法时间S

n 3 S/ n 3

你能得到什么结论？ [Question4]

试问，Strassen 算法能超越传统矩阵乘法吗？

1）若能，请给出在何种维度的情况下，Strassen 算法为优。

2）若不能，请努力改进程序S ，以使S 在维度>=N 的情况下，Strassen 算法为优。可能的改进包括：扩大内存分配、连续内存读写，最小化内存工作区，尽量用指针，内存copy 。

3）若还不能，请修改程序S ，使S 在某种维度K 以下，将矩阵乘法改为传统矩阵乘法。（即程序S 也不一定非要到[J]处才使用数量乘，可以在某个维度下（如子矩阵维度在10~100维时，使用传统矩阵乘法）。这个K 是多少呢？

四、参考文献

[1] Anany Levitin. Introduction to the Design and Analysis of Algorithms. 2e, Pearson Education. 2007. Chinese version. pp.176

[2] Thomas H. Cormen, Charles E. Leiserson, Ronald L. Rivest and Clifford. Introduction to Algorithms, 2e, MIT Press ,2001: 28.2 Strassen's algorithm for matrix multiplication

[3] David H. Bailey, King Lee and Horst D. Simon. Using Strassen's Algorithm to Accelerate the Solution of Linear Systems.The Journal of Supercomputing, 4, pp.357-371.1990

五、提交要求

1.提交电子版实验报告。

实验报告写作要求：

――实验报告样式可从http://192.168.2.3/guide.aspx 表格下载－学生适用－在校生管理－实践教学－实验：深圳大学学生实验报告）

――源代码作为实验报告附件上传。

――实验报告正文不要帖源代码＋实验指南，而是要介绍自己做的工作，包括程序是如何设计的，算法是什么，输出结果的详细解释与分析。

――实验结论只需谈“实验过程中发现了何问题，是否解决，以及解决思路是什么”，除此以外，请不要写其它内容在实验结论中。

2.本实验完成人数1~2人。