数据库系统实现-两阶段多路归并排序算法的C实现

两阶段多路归并排序

Two-Phase Multiway Merge-Sort

实验报告

目录

1 实验目的 (3)

2 实验内容 (3)

3 实验环境 (3)

4 实验的设计和实现 (3)

4.1 算法描述 (3)

4.2 设计思路 (4)

4.3 数据结构 (5)

4.4 具体实现 (6)

5 实验结果 (9)

5.1 50MB内存TPMMS实验结果 (9)

5.2 10MB内存TPMMS实验结果 (9)

5.3 100MB内存TPMMS实验结果 (10)

5.4 三者的比较 (11)

6 实验遇到的问题和解决方法 (11)

6.1 Phase2阶段遇到的问题和解决方法 (11)

6.2 生成子记录文件名的方法 (13)

7 代码附录 (13)

1实验目的

通过merge-sort算法的实现，掌握外存算法所基于的I/O模型与内存算法基于的RAM模型的区别；理解不同的磁盘访问优化方法是如何提高数据访问性能的。

2实验内容

生成一个具有10,000,000个记录的文本文件，其中每个记录由100个字节组成。实验只考虑记录的一个属性A，假定A为整数类型。记录在block上封装时，采用non-spanned方式，即块上小于一个记录的空间不使用。Block的大小可在自己的操作系统上查看，xp一般为4096 bytes。在内存分配50M字节的空间用于外部merge-sort。要求设计和实现程序完成下列功能：

1)生成文本文件，其中属性A的值随机产生。

2)按照ppt中的方法对文本文件中的记录，按照属性A进行排序，其中在

第二阶段的排序中每个子列表使用一个block大小的缓冲区缓冲数据。

3)按照教材cylinder-based buffers(1M bytes)的方法，修改第二阶段的算法。

4)比较两种方法的时间性能，如果有更大的内存空间，算法性能还能提高

多少？

3实验环境

1)Visual C++ 6.0

2)Windows 7操作系统

4实验的设计和实现

4.1算法描述

Two-Phase Multiway Merge-Sort算法的具体描述分为2个阶段，如下所示：

●Phase 1

1)Fill main memory with records.

2)Sort with favorite main memory sorting algorithms.

3)Write sorted list to disk.

4)Repeat until all records have been put into one of the sorted lists.

●Phase 2

1)Initially load input buffers with the first block of their respective sorted

lists.

2)Repeated run a competition among the first unchosen records of each of

the buffered blocks.

3)If an input block is exhausted, get the next block from the same file.

4)If the output block is full, write it to disk.

4.2设计思路

从上述的算法描述中，我们知道，系统主要由2大模块组成：Phase1和Phase2。Phase1阶段主要将生成的记录文件按内存块大小（本实验中是50MB）分成多个（本实验中是20个）相应的子记录文件，把这些文件中的记录读进内存进行排序，再写回磁盘上。Phase2阶段利用多路归并排序算法，将Phase1阶段已经排好序的子记录文件重新归并为1个有序的记录文件，写回到磁盘上。由于我们在Phase1和Phase2阶段之前必须先生成1个含有10000000个100B记录的文件，所以系统必须再加上1个生成记录文件的Generate Record File模块。终上所述，系统由3大模块组成，分别为：Generate Record File、Phase1、Phase2。Phase1模块可以细分为内存块排序模块Main Memory Sort和写回磁盘模块Write To Disk。Phase2模块可以细分为多路归并排序模块Merge-Sort和写回磁盘模块Write To Disk。

详细的系统逻辑结构图如图3-1所示：

图3-1 TPMMS系统逻辑结构图

4.3数据结构

我们讨论单个记录的数据结构。由于1个记录有100个字节，其中4字节是由随机整数组成的主键属性Primary Key，另外96个字节是随意填充的数据content，而且本系统又是由C语言进行实现的，所以我们可以采取结构体来作为记录的数据结构。其中整形字段key记录4字节的主键属性，以便进行排序工作。数组字段contents用来填充剩余的96个字节，内容可以随意（本实验中均为0）。具体的数据结构如图4-1所示：

图4-1 单个记录的数据结构

4.4具体实现

4.4.1Generate Record File阶段

Generate Record File阶段比较简单，首先打开一个文件，然后生成随机数key并将其写入文件中，再填充96个任意内容的字节（本实验中均为0），即能生成1条完整的记录。重复10000000次，生成我们所需的记录文件。核心代码实现如图4-2所示，其中MAX_RECORD_NUMBER大小为10000000，ROW_NUMBER大小为95。

图4-2 Generate Record File阶段的实现

4.4.2Phase1阶段

Phase1阶段重点在于如何进行内存排序，并写回到磁盘上。这里我们采用了STL的sort函数帮助我们进行排序。首先读入50MB记录，利用sort 函数进行排序后，写到磁盘上生成1个有序的子记录文件。重复进行20次，生成20个相应的子记录文件。核心代码实现如图4-3所示，其中BLOCK_SIZE大小为50M，SUB_LIST_NUMBER大小为20。

图4-3 Phase1阶段的实现

4.4.3Phase2阶段

Phase2阶段是本系统实现的难点所在。主要的实现大致可以分为以下几部分进行讨论：

1)输入缓冲的实现

将Phase1阶段中得到的20个子记录文件的首字符分别读入长度为20的输入缓冲数组inputBuffer，核心代码实现如图4-4所示：

图4-4 输入缓冲的实现

2)输出缓冲的实现

选取输入缓冲数组inputBuffer中主键属性key最小的那个缓冲区，输入到输出缓冲数组outputBuffer中，然后循环执行，核心代码实现如图4-5所示：

图4-5 输出缓冲的实现

3)多路归并排序的实现

如果输出缓冲数组outputBuffer已经填满，此时可知输出缓冲是有序的，且之后的主键属性key的值都不会小于该输出缓冲区，这时我们即可将其输出到最后想要得到的结果文件上，核心代码实现如图4-6所示：

图4-6 多路归并排序的实现

4)Phase2阶段的其他实现

我们将在“实验中遇到的问题和解决办法”这一章详细讨论Phase2阶段剩下来的难点实现。

5实验结果

5.150MB内存TPMMS实验结果

采用50MB内存块大小进行TPMMS实验的结果如图5-1所示：

图5-1 50MB内存TPMMS实验结果图

从上图可以看出，生成1GB大小10000000条记录的文件需要152秒，phase1阶段需要136秒，phase2阶段需要150秒。所以整个排序过程需要286秒，即4分46秒的时间才能完成。

5.210MB内存TPMMS实验结果

我们将50MB内存缩减5倍，进行10MB内存块大小的TPMMS实验。这将

产生100个子记录文件。实验结果如图5-2所示：

图5-2 10MB内存TPMMS实验结果图

生成1GB大小10000000条记录的文件所需时间不变，仍为152秒左右。我们注重于phase1阶段和phase2阶段的所需时间。从图中可以看出，phase1阶段需要147秒，phase2阶段需要152秒。整个排序过程需要300秒，即5分钟的时间才能完成。

5.3100MB内存TPMMS实验结果

我们再将50MB内存增加2倍，进行100MB内存块大小的TPMMS实验。这将产生10个子记录文件。实验结果如图5-3所示：

图5-3 100MB内存TPMMS实验结果图

生成1GB大小10000000条记录的文件所需时间不变，仍为152秒左右。我们注重于phase1阶段和phase2阶段的所需时间。从图中可以看出，phase1阶段需要124秒，phase2阶段需要130秒。整个排序过程需要254秒，即4分14秒的时间才能完成。

5.4三者的比较

从上面的实验结果，我们可以很明显地看出，内存块大小越大，算法所需时间越少。这是因为内存块越小，生成的子记录文件个数就越多，这样phase1阶段生成子记录文件的时间就增加了。并且这还使得phase2阶段的输出缓冲区变小，导致多路归并时程序读写磁盘的次数增多，所以phase2阶段时间也增加了。这样整个排序过程时间当然增加。

终上所述，当在理想条件下，我们应使用内存块大小较大的方法来进行TPMMS算法的实现。在本章中TPMMS算法的性能为：100MB优于50MB优于10MB。所以在可能的情况下，应该考虑采纳100MB的TPMMS算法。

6实验遇到的问题和解决方法

6.1Phase2阶段遇到的问题和解决方法

前文已经详细描述了Phase2阶段的3个主要的实现阶段，但是仅仅依靠这3

个阶段还不能完全实现Phase2阶段，必须解决以下几个关键问题才能完成Phase2阶段的所有任务。

6.1.1读完某个子记录文件后，输入缓冲的填充方法

当某个输入缓冲数组inputBuffer[i]相对应的子记录文件infp[i]已经读完时，我们就必须重新查找其余可用的子记录文件，按数组下标i搜索到第一个可用的文件infp[k]后，将它的第一个字节继续填充到输入缓冲数组inputBuffer[i]中。

特别的，当数组下标i超过子记录文件总数SUB_LIST_NUMBER（本实验中为20）时，我们就认为所有子记录文件已经读取完毕，这时可以设置一个bool型变量flag = true，进行标识。核心代码实现如图6-1所示：

图6-1 读完某个子记录文件后，输入缓冲的填充方法

6.1.2读完所有子记录文件后，处理最后一组输入缓冲数据的方法

利用在6.1.1中设置的bool型变量flag，当flag=true时，我们知道子记录文件已经全部读取完毕。这时在输入缓冲数组inputBuffer中只剩下最后一组数据，并且根据Phase2阶段的定义，它们肯定比之前输入缓冲中的数据要大。所以我们只需利用STL提供的sort函数对它们进行排序后，直接输出到最终结果文件即可。核心代码实现如图6-2所示：

图6-1 读完所有子记录文件后，处理最后一组输入缓冲数据的方法

6.2生成子记录文件名的方法

当我们生成子记录文件时，想要赋予文件类似于record_k.txt (k = i+1, 0 <= i <= 19) 的文件名。由于在C语言中，不支持字符串和整数的直接连接。在这里我们需要一个generateFileName函数，采用itoa函数将整数k = i+1转换成字符串，再连接到“record_”后面，从而得到想要的文件名。核心代码实现如图6-3所示：

图6-3 生成子记录文件名的方法

7代码附录

#include // for sort function

#include // for strcpy

#include // for fscanf, fprintf, fopen

#include // for clock

using namespace std;

/* define the constants used in this program */

const int MAX_RECORD_NUMBER = 10000000; // max record number const int BLOCK_SIZE = 500000; // main memory block size const int ROW_NUMBER = 95; // for record to fill the other 96 bytes

const int SUB_LIST_NUMBER = ( MAX_RECORD_NUMBER / BLOCK_SIZE );

// sub list number

const int MAX = 99999999; // for function selectMinRecord to initialize the variable "min"

/* the data structrue of a record */

typedef struct record

{

int key; // primary key

char contents[ROW_NUMBER + 1]; // content

}Record;

Record subRecord[BLOCK_SIZE]; // main memory buffer

Record inputBuffer[BLOCK_SIZE + 1]; // input buffer

Record outputBuffer[BLOCK_SIZE + 1]; // output buffer

/* generate a file of MAX_RECORD_NUMBER (= 10000000) records, every record is 100 bytes */

void generateFile( string fileName )

{

// calculate time

printf("The records is now under generating ...\n");

clock_t start, finish;

double duration;

start = clock(); // start time

// open file

FILE *fp = fopen( fileName.c_str(), "w" );

if ( !fp ) // open failed

{

printf("File could not be created!\n");

fprintf( stderr, "File could not be created!\n" );

exit( 1 );

}

// generate random integers and records

srand( (unsigned)time( NULL ) ); // srand seed

for ( int i = 0; i < MAX_RECORD_NUMBER; i ++ ) // generate MAX_RECORD_NUMBER records

{

if ( i > 0 )

fprintf( fp, "\n" );

int key = rand(); // primary key, random integer, 4 bytes

// write record to disk, every record has 100 bytes

fprintf( fp, "%d ", key ); // write key as the first 4 bytes

for ( int j = 0; j < ROW_NUMBER; j ++ ) // write '0' for content as the other 96 bytes

fprintf( fp, "%c", '0' );

}

fclose( fp ); // close output file

// calculate time

finish = clock(); // finish time

duration = (double)( finish - start ) / CLOCKS_PER_SEC; // run time

printf ( "It takes %f seconds to genetate the whole records.\n", duration );

}

/* use for phase 1 of two phase multiway merge sort

compare two record by primary key, with ascending order */

bool cmp( const Record &r1, const Record &r2 )

{

return r1.key < r2.key;

}

/* give an integer, to generate a file name */

string generateFileName( int i )

{

char str[20]; // temporary charater array

string temp = ""; // temporary string

itoa( i+1, str, 10 ); // store integer k+1 to array str

temp = str; // convert array str to temporary string temp = "D:/record_" + temp + ".txt"; // form the file name

return temp; // return the temporary string of file name

}

/* phase 1 of two phase multiway merge sort

read record with maximum block size to main memory

and sort them by primary key */

void phase1( string fileName )

{

// open file

FILE *infp = fopen( fileName.c_str(), "r" );

if ( !infp ) // open failed

{

printf( "File %s could not be opened!\n", fileName.c_str() );

fprintf( stderr, "File %s could not be opened!\n", fileName.c_str() ); exit( 1 );

}

string temp = ""; // temporary string

int i = 0, j = 0;

// calculate time

printf( "The sorted list of records is now under generating ...\n" ); clock_t start, finish;

double duration;

start = clock(); // start time

char str[ROW_NUMBER + 10];

// read all records to main memory

for ( int k = 0; k < SUB_LIST_NUMBER; k ++ )

{

// read records of a block size to main memory

for ( i = 0; i < BLOCK_SIZE; i ++ )

{

fgets( str, ROW_NUMBER + 10, infp );

sscanf( str, "%d %s", &subRecord[i].key, subRecord[i].contents ); }

// use STL algorithm sort to sort records

sort( subRecord, subRecord + BLOCK_SIZE, cmp );

temp = generateFileName( k ); // sorted list name

FILE *outfp = fopen( temp.c_str(), "w" ); // open output file

if ( !outfp ) // open failed

{

printf( "File %s could not be opened!\n", temp.c_str());

fprintf( stderr, "File %s could not be opened!\n", temp.c_str() );

exit( 1 );

}

// write the sorted records to sub list file

for ( i = 0; i < BLOCK_SIZE; i ++ )

{

if ( i > 0 )

fprintf( outfp, "\n" );

fprintf( outfp, "%d %s", subRecord[i].key, subRecord[i].contents );

}

printf( "The sorted list %s generated successfully!\n", temp.c_str() );

fclose( outfp ); // close output stream

}

fclose( infp ); // close input file

// calculate time

finish = clock(); // finish time

duration = (double)( finish - start ) / CLOCKS_PER_SEC; // run time

printf( "It takes %f seconds to genetate the sorted list of records.\n", duration ); }

/* copy record r2 to record r1 */

void copyRecord( Record &r1, Record &r2 )

{

r1.key = r2.key;

strcpy( r1.contents, r2.contents );

}

/* copy a record to input buffer */

void copyToInputBuffer( FILE *fp, int index )

{

char str[ROW_NUMBER + 10];

fgets( str, ROW_NUMBER + 10, fp );

sscanf( str, "%d %s", &inputBuffer[index].key, inputBuffer[index].contents ); }

/* write the records in output buffer to disk

when the output buffer is full */

void writeToDisk( FILE *fp )

{

// flush output buffer to disk

for ( int j = 0; j < BLOCK_SIZE; j ++ )

{

fprintf( fp, "%d %s\n", outputBuffer[j].key, outputBuffer[j].contents );

}

}

/* select the minimum record in input buffer

by primary key */

int selectMinRecord( int size )

{

int min = MAX;

int index = 0;

for ( int i = 0; i < size; i ++ )

{

if ( inputBuffer[i].key < min )

{

min = inputBuffer[i].key;

index = i;

}

}

return index;

}

/* phase 2 of two phase multiway merge sort

merge the sorted sub list to a sorted result file

of ascending order */

void phase2()

{

// open output file to store the sorted records

FILE *outfp = fopen( "D:/result.txt", "w" );

if ( !outfp ) // open failed

{

printf( "Output file could not be created!\n" );

fprintf( stderr, "Output file could not be created!\n" );

exit( 1 );

}

string temp = ""; // temporary string

int count = 0; // the used output buffer size

int total = 0; // the record number written to disk int i = 0, j = 0;