游戏拍卖行系统毕业设计(论文)

大连交通大学信息工程学院

毕业设计(论文)任务书题目游戏拍卖行系统

毕业设计(论文)进度计划与考核表

指导教师签字：年月日注：“计划完成内容”由学生本人认真填写，其它由指导教师考核时填写。

大连交通大学信息工程学院

毕业设计(论文)外文翻译

学生姓名李青霖专业班级软件工程08-1班

指导教师常敬岩史原职称高工讲师

所在单位信息科学系软件工程教研室

教研室主任刘瑞杰

完成日期 2012 年 4 月 13 日

A clustering method to distribute a database on a grid

ScienceDirect:Future Generation Computer Systems 23 (2007) 997–1002

Summary:Clusters and grids of workstations provide available resources for data mining

processes. To exploit these resources, new distributed algorithms are necessary, particularly concerning the way to distribute data and to use this partition. We present a clustering algorithm dubbed Progressive Clustering that provides an “intelligent” distribution of data on grids. The usefulness of this algorithm is shown for several distributed datamining tasks.

Keywords: Grid and parallel computings; Data mining; Clustering

Introduction

Knowledge discovery in databases, also called data mining, is a valuable engineering tool that serves to extract useful information from very large databases. This tool usually needs high computing capabilities that could be provided by parallelism and distribution. The work developed here is part of the DisDaMin project that deals with data mining issues (as association rules, clustering, . . . ) using distributed computing. DisDaMin’s aim is to develop parallel and distributed solutions for data mining problems. It achieves two gains in execution times: gain from the use of parallelism and gain from decreased computation (by using an intelligent distribution of data and computation). In parallel and distributed environments such as grids or clusters, constraints inherent to the execution platform must be taken into account in algorithms. The non-existence of a central memory forces us to distribute the database into fragments and to handle these fragments using parallelism. Because of the high communication cost in this kind of environment, parallel computing must beas autonomous as possible to avoid costly communications (or at least synchronizations). However, existing grid data mining projects (e.g. Discovery Net, GridMiner, DMGA [7], or Knowledge Grid [11]) provide mechanisms for integration and deployment of classical algorithms on grid, but not new grid-specific algorithms.

On the other hand the DisDaMin project intends to tackle data mining tasks considering data mining specifics as well as grid computing specifics. For data mining problems, it is necessary to obtain an intelligent data partition, in order to compute more independent data fragments. The main problem is how to obtain this intelligent partition. For the association rules problem, for example, the main criterion for intelligent partition is that data rows within a fragment are as similar as possible (according to values for each attribute), while data rows between fragments are as dissimilar as possible. This criterion allows us to parallelize this problem which normally needs to access the whole database. It allows us to decrease complexity (see [2]). As this distribution criterion appears similar to the objective of clustering algorithms, the partition could be produced by a clustering treatment. The usefulness of the intelligent partition obtained from clustering for the association rules problem has already been studied (see [2]).

Clearly the clustering phase itself has to be distributed and needs to be fast in order not to slow down the global execution time. Clustering methods will be described before introducing the Distributed Progressive Clustering algorithm for execution on grid.

Fig. 1. KMeans and agglomerative clustering principle.

Clustering

Clustering is the process of partitioning data into distinct groups (clusters) so that objects within a same cluster are similar, but dissimilar from objects in other clusters. Distinct clustering methods could be separated considering two kinds of leading principles: hierarchical methods and partitioning ones.

Hierarchical methods are composed of agglomerative ones (that initially consider a partition with clusters of a unique data instance and merge neighbouring clusters until a termination criterion is met) and divisive ones (that initially consider a partition with one cluster which contains all data instances and cut clusters iteratively until termination). Partitioning methods are composed by distance-based methods (as KMeans [8] for example), density-based methods or based on probabilities. Other criteria permit us to distinguish between clustering methods (see [10]); those methods based on membership degree of data instances to clusters (hard as cited before or fuzzy (see [4])), and incremental methods for which data instances are considered when available instead of all at a time (see [5]), method based on neighbourhood search (k-nearest neighbours). . . . Two well-known clustering algorithms are the partitioning KMeans (see [8]) (which yields approximate results and has an acceptable time complexity), and agglomerative methods (see [12]) (which yield relative good quality results, but are limited by time complexity).

Principle of Kmeans: KMeans is an iterative algorithm that constructs an initial k-partition of data instances. An iterative relocation technique attempts to improve the partitioning by moving data from one group to another one until a termination criterion (see Fig. 1, left part). KMeans will produce a local optimum result.

Principle of agglomerative clustering: Hierarchical agglomerative clustering consists of a bottom-up approach to the problem that considers all data separately as clusters and merges two nearest clusters at each iteration until a termination condition (see Fig. 1, right part). This method uses a similarity measure matrix that makes the method unsuitable for huge datasets (because of the storage cost).

Parallel algorithms: The two previous methods need to access the whole database or to communicate between each iteration in order to obtain a correct solution. Parallel methods exist for

KMeans (see [3]) and agglomerative clustering .Parallel versions also exist for other algorithms cited before (see [6]). For parallel clustering to achieve the same quality clusters as under sequential clustering, a lot of communications is required. Those methods are suited to supercomputers as CC-NUMA or SMP, using a common memory and fast internal interconnection networks (Parallel Data Miner for IBM-SP3 for example). The huge number of communications in existing parallel methods yields performance problems in the context of grids. The classical methods need to be revisited to take into account the constraints of grid architectures (no common memory, slow communications). The Distributed Progressive Clustering (DPC) method presented in the next section considers these constraints.

Fig. 2. Database B and associated matrix V.

Progressive clustering

The distributed progressive clustering method deals with attributes in an incremental manner (this differs from existing incremental methods that deal with increasing number of data instances instead of increasing number of attributes in DPC). The method is suitable for distributed execution using local computation to construct global results without synchronization. DPC is inspired by the sequential clustering algorithm called CLIQUE (see [1]) that consists in clustering data by projections in each dimension, and by identifying dense clusters of data projections. The method assumes that the whole database can be reached for projections. In the context of grid, it is assumed that the database is distributed by vertical splits (multibase). DPC works in a bottom up approach considering attributes of the database. It first computes clusters on vertical fragments containing few attributes and then combines these clusters to obtain clusters in higher dimensions. Both steps (i.e. the clustering of vertical fragments and the combination of these clusters) are executed in a distributed way benefiting from distributed execution. The distributed progressive clustering method is explained in the next sections. Three steps could be identified: initial clustering, crossing and merging optimizing steps.

Definitions

A database with m attributes and n rows (instances) is represented by

B = (A, K, V), where: A = {A1, A2, . . . Am} is a finite set of attributes; K = {K1, K2, . . . Kn} is the set of keys of the database rows; V is the associated matrix1 (see Fig. 2), with vi, j (where 1 _ i _ m and 1 _ j _ n) is

the ith coordinate of the jth row. Let U be a partition based on keys,2 such as U = {U1, S . . . ,Up}, with Ui = {Kl 2 K}, i Ui = K and Ui \ Uj = ;. Let A be an attribute-partition, such as A = {X1, . . . , Xq }, with X j = {Ak 2 A}, S j X j = A and X j \ Xk = ;. Let PX be a projection of database B on an attribute-subset X (X 2 A).

Given X = {Ak . . . Ar }, the associated matrix to PX has n rows and q columns (a row for each instance of B and a column for each attribute Aj of X). The jth column of PX is associated to the jth column of B (see Fig. 3). Given an instance partition U (p elements) of database B (m columns), (U, B) could be associated to a reduced matrix R (p, r matrix, see Fig. 3). Each row of R is associated to a subset of instances Ui of B.

From R (p, m matrix), it is possible to obtain a matrix R0 (n, m), by duplicating, for each Ui of R, the row in R associated to Ui with cardinality of Ui . It is also possible to obtain a matrix associated to the database B, by replacing, for each Ui of R, the row in R associated to Ui by rows associated to Ui in B. Replacing n rows of B by p rows in R permit to decrease size of data to treat. Each row of R represents the mean of rows in B associated to Ui .

Let RX be the reduced matrix associated to a projection PX of B. Given X a subset of attributes of database B from an attribute-partition A.

M is the operation of projection defined by M: B, X ! PX .Massociates the projection PX of B to the subset X. PX is obtain using a mask MX on matrix B. The mask MX is defined by a n, m matrix such as MXi j = 1, 8i, 8 j with Aj 2 X and MXi j = 0, 8i, 8 j with Aj 62 X. The operation of projectionM is then defined by:M(B, X) = MX t · X = PX .

Partition F. A partition of a database is a row partition of the associated matrix with computation of rows. This operation is achieved by the use of a classical clustering algorithm as a step of algorithm DPC.

网格上分布式数据库的聚类方法

ScienceDirect:Future Generation Computer Systems 23 (2007) 997–1002

摘要：集群和网格的工作站为数据挖掘过程提供可利用的资源。为了利用这些资源，新的分布式算法是必要的，特别是涉及分配数据以及使用分区的方法。我们提出一个被称为逐步聚类的聚类算法，它可以为网格中的数据提供一个“智能”分区。该算法的应用显示了分布式数据挖掘任务。

关键词：网格式和并行处理；数据挖掘；聚类

导言

数据库中的知识发现，也称为数据挖掘，是一种宝贵的工程工具，可从非常大的数据库提取有用的信息。此工具通常需要高计算能力，可以提供并行处理和分配。这里的开发工作是DisDaMin项目一部分，DisDaMin项目是利用分布式计算处理数据挖掘的问题（如关联规

则，聚类分析，……）。DisDaMin的目的是为数据挖掘问题开发并行和分布式方案。它在执行时间方面实现了两个成果：成果从并行的使用和减少计算来获得（通过使用一种数据的智能分布和计算）。在并行和分布式环境，如网格或集群，限制固有的执行平台，必须考虑到的算法。中心记忆的不存在迫使我们分发数据到片段，并且利用并行来处理这些片段。由于在这样的环境下的高通信成本，并行计算必须尽可能避免昂贵的通讯费（或至少是同步）。但是，现有的网格数据挖掘项目（如Discovery Net， GridMiner，DMGA[7]，或Knowledge Grid[11]）提供的机制，都是整合和部署经典算法的网格，但不是新的网格的算法。

另一方面，DisDaMin项目要处理的数据挖掘任务考虑数据挖掘细节以及网格计算细节。数据挖掘的问题，获取智能数据分区是必要的，以便计算更单独的数据片段。其主要的问题是如何取得这个智能分区。对于关联规则的问题，例如，智能分区的主要标准时每个片段的数据行是尽可能相似的（根据每个属性的值），片段之间数据行是尽可能不同的。这一标准通常需要我们访问整个数据库来并行这个问题。它使我们能够降低复杂性（见[2]）。由于分配的标准在目标聚类算法表现得很相似，分区可产生的聚类待遇。从关联规则问题方面的聚类获得的智能分区的好处已经进行了研究（见[2]）。

显然，聚类阶段本身已分发，而且需要快速进行，为了不减慢全球执行的时间。在网格上，聚类方法将在引入逐步分布聚类算法的执行之前被描述。

聚类

聚类是数据分割成不同的群体（集群）的过程，使同一集群的数据相似，但不同于其他集群。独特的聚类方法可以根据两种主要原则分开：分层方法和分割方法。

图1.Kmeans和凝聚聚类原则

分层的方法是由凝聚部分（即最初根据惟一的数据实例考虑分区，合并邻近的簇，直到满足终止的标准）和分布部分（即最初根据一个集群考虑分区，这个集群包含所有数据实例并且消减集群迭代直至终止）组成。划分的方法是以距离为基础的方法（如KMeans [8]所示），基于密度的方法或基于概率的方法。其他标准使我们能够区分聚类方法（见[10]）；那些方法基于集群的数据实例的隶属度（很难被引用或含糊不清（见[4]）），以及数据实例的增量方法

在某一时刻可以代替所有数据时被考虑（见[5]），这种方法基于邻里搜索（k-neareat 邻居）……两个著名的聚类算法是分割KMeans （见[8]）（产生近似的结果，并有可接受的时间复杂性）和凝聚的方法（见[12]）（其中产量相对优质的成果，但受到时间复杂度的限制）。

原则Kmeans ：KMeans 是一个迭代算法，构建了数据实例的初始化K-分区。迭代迁移技术试图通过将数据从一组移动到另一组的方式来改善分区，直至终止的标准（见图1，左部分）。KMeans 将产生局部最优的结果。

凝聚聚类的原则：分层凝聚聚类包括一个问题的自下而上的方法，这个问题是要把所有数据分别作为集群还是在每个迭代上合并两个最近的集群直至终止条件（见图1，右部分）。这种方法使用了相似度量矩阵，使该方法不适合大数据集（由于存储成本）。

并行算法：前面的两个方法需要访问整个数据库或在每次迭代进行沟通，以获得正确的解决办法。并行方法存在KMeans （见[3]）和凝聚聚类中。并行版本也存在于其他算法引用之前（见[6]）。为了达到同一质量集群作为顺序聚类的并行集群来说，大量的通信是必需的。这些方法适用于作为CC – NUMA 或SMP 的大型计算机，它使用一个相同的记忆和快速的内部交互网络（IBM - SP3的并行数据挖掘）。在现有的并行方法中大量的通信产生网格文本里的性能问题。将在下一节中考虑分布式逐步聚类（DPC ）方法的这些制约因素。

逐步聚类

分布式逐步聚类方法以循序渐进的方式处理属性（在分布式逐步聚类技术中，它有别于现有的增量方法，现有的增量方法处理越来越多的数据实例取代处理越来越多的属性）。该方法适用于利用当地算法以构建全球结果无需同步的分布式执行。分布式逐步聚类技术通过CLIQUE （见[1]）这种序列聚类算法被定义，CLIQUE 包括在每层被映射的聚类数据，并将这些数据预测定义为深度聚类。该方法假定整个数据库都能被映射。在网格文本中，通过垂直分裂（多基）来假定来分布数据库。分布式逐步聚类技术自下而上的办法进行工作，它考虑数据库的属性。它首先计算集群在包含一些属性的标准片段中，然后结合这些集群获得集群的更高层面。这两个步骤（即垂直片段的集群和集群的合并）以分布的方法被执行，这种方法受益于分布式执行。在下面的部分将研究分布式逐步聚类方法。三个步骤可确定：初步聚类，交叉和合并优化的步骤。

1 ith instance 1 j m ith row

n

Database B Matrix V

associated

to database B

图2.数据库B和关联矩阵V

定义

一个属性为M属性列和N行（实例）的数据库，被表示B=（A，K，V），此处：A = {A1, A2,…Am}是一个有限的属性集; K = {K1, K2,…Kn}是数据库行的关键字集；V是关联矩阵1（见图.2），vi，j（1 _ i _ m和1 _ j _ n的位置）是第j行的第i个坐标。设U是一个基于关键字的分区，2就是 U={U1, S…,Up},Ui={Kl 2 K},iUi =K和Ui/Uj= ;。设A是一个属性划分，如A={X1,…,Xq},Xj={Ak 2 A},SjXj=A和Xj/Xk= ;设PX是数据库B在属性子集X(X2 A)上的映射。

给定X = {Ak…Ar }，PX的相关矩阵有n行和q列（行代表B的每个实例，列待变X的每个属性Aj）。PX的第j列和B的第j列相关联（见图3）。给定数据库B（m列）的一个实例分割U（P个因子），（U，B）和下一层矩阵R相关联（p，r矩阵，见图3）。R的每一行和数据库B的实例Ui的子集相关联。

从R（p，m矩阵）里可以获得矩阵R0（n，m），通过重复，对于R的每个Ui，R的每一行都和带有Ui的基数的Ui相关联。也可以通过取代和数据库B相关联，对于R的每个Ui，R的每一行都和数据库B中Ui行相关的方式与Ui相连。通过R中的p行取代数据库B中的n 行，允许缩小数据处理的规模。R的每一行代表和Ui相关联的数据库B的所属行。

设RX是与数据库B的一个映射PX相关联的低层矩阵。给定X一个数据库B的属性子集，与属性分布A相对应的。

M是对通过M：B，X！PX被定义的映射的操作。将B的映射PX投影到子集X上。PX是在矩阵B中获得一个隐藏的MX。这个隐藏的MX是指被n，m矩阵定义，像MXi j = 1, 8i, 8 j ，Aj 2 X和MXi j = 0, 8i, 8 j以及Aj 62 X这种形式。映射M的操作通过M（B，X）=MXt·X=PX 定义。

分区F、数据库的一个分区是具有行运算的关联矩阵的行分区。A这种操作通过经典聚类算法来实现，这个算法是分布式逐步聚类方法的一个步骤。

大连交通大学信息工程学院

毕业设计调研报告

学生姓名李青霖专业班级软件工程08-1班

指导教师常敬岩史原职称高工讲师

所在单位信息科学系软件工程教研室

教研室主任刘瑞杰

完成日期 2012 年 4 月 6 日

实习报告

1 课题的来源及意义

近年来，随着电子商务和Internet技术的不断发展，网上(在线)拍卖模式已经成为电子

商务重要的常见业务之一，并作为一种新型电子商务模式正逐渐被越来越多的用户所接受。拍卖是从美国兴起的，它通过Internet将过去少数人才能参于的贵族式的物品交换形式，变成每一个网民都可以加入的平民化交易方式。拍卖网站营造了一个供需有效集结的市场，成为消费者和生产商各取所需的场所。

随着电子商务模式的不断改变，大多数网民认同并充满激情的在参与竞拍，觉得这种商务方式能给自己带来趣味和娱乐，是以往传统方式所不能有的，觉得花几十元甚至是几块钱就可以买到自己心仪而且高价的产品是件特别激动人心的事，他们认为以后会有越来越多的网民参与进来，同时也将会有越来越多的开拓者加入到“竞拍”这种电子商务新模式的大家族中，来开垦互联网这块肥沃的土地。所以无论从背景还是从现在电子商务模式上都可以看出开发游戏拍卖行系统是可行的。

2 国内外发展状况

回顾2009年，中国互联网行业发展势头十分喜人。从中国工业和信息化部发布的统计数据可以看到，2009年中国网民数达到3.84亿，净增超过8000万。而易观国际Enfodesk产业数据库近期发布的《2009年第四季度中国B2C网上零售市场季度监测》数据也显示了，2009年第四季度，中国B2C网上零售市场规模达79.2亿元，同比增长高达181%，网购用户规模也将突破1亿。

这些数据表明中国电子商务已经进入了快速发展阶段。中国网购市场交易规模的高速增长，网购用户的稳定增长，都为中国电子商务未来的发展铺平了道路。

在这样的优势背景下，越来越多的企业对电子商务情有独钟，并纷纷投身电子商务，想要抢在他人之前占领这一块能为企业带来极大回报的经济领域。同时，电子商务模式也变的多种多样，“竞拍”“低价竞拍”“竞拍网”等词又成了风靡网络电子商务的代名词。

网上竞拍是一种全新集娱乐休闲购物为一体的电子商务新模式，在广大网民以超低价购买一线主流时尚商品的同时，还可以使身心得到放松。传统的购物网站商品价格昂贵，质量又无保证，而这种网购模式确实改变了这一现状，它采用国外最先进的电子商务经营理念，为广大消费者搭建了一个低价购物，娱乐身心，安全可靠于一身的网络技术商务平台。

在国外，竞拍网站也成为商家竞争的重要手段之一，世界比较著名的珠宝企业蓝色尼罗河就在这方面取得了比较成功的业绩。2005年，蓝色尼罗河的销售额高达2.03亿美元；2006年，蓝色尼罗河公司的年收入就达到 2.5亿美元，远远超过了其最大的几家竞争对手——Polygon、Cartier和Tiffany等老牌珠宝公司。蓝色尼罗河的成功创造了珠宝电子商务销售史上的一个奇迹，同时也说明了电子商务在珠宝行业中是具有巨大的发展潜力的。Polygon公司是全球珠宝首饰行业中第一个也是最大的一个网上B2B珠宝电子商务交易平台，在90年代Polygon曾帮助20000多家珠宝零售店建立了网站，引领着美国珠宝首饰行业向网络转移。在Polygon中珠宝产品的交易是在会员间以非公开的方式完成的，卖方列出自己产品的库存，买方可以根据自己的需求在数据库中查询；买方也可以发出寻价单，寻求卖方单

独与买方联系。每天通过Polygon达成的交易额有数百万美元(公司只收取会员费而不收取产品交易费)，并有超过20亿美元的珠宝首饰产品库存提供查询。而https://www.360docs.net/doc/eb9267358.html,作为C2C类珠宝电子商务网站的代表，是当前北美最为成功的珠宝类拍卖网站。在https://www.360docs.net/doc/eb9267358.html,中，所有的戒指、红宝石手镯、珍珠耳环等珠宝产品，都是以1美元起拍，最终的成交价由竞拍来决定；而对于竞拍珠宝产品的货源问题，Bidz公司主要从珠宝产品制造商、批发商和零售商那里以低价买入其积压存货，然后统一储存进行拍卖，这样既解决了公司的货源问题，也解决了一直困惑珠宝产品供货商的商品“流动性问题”；Bidz还有一个对顾客非常有利的人性化退货条款，如果顾客拿到的珠宝产品同说明明显不符，那么就可以全额退货；另外，Bidz还通过捆绑式市场推广策略和最小化配送优惠来降低成本、增加利润。对于珠宝拍卖类网站，Bidz是一个非常成功的典范。

3 课题的研究目标、研究内容、研究方法、研究手段和进度安排

3.1 研究目标

目前行业中对Web开发所应用的语言笔笔皆是，然而为我们所熟知的、并且容易迅速掌握的技术便是JSP技术，而且JSP技术的网络安全性极高，速度也是同类设计技术中最快的。所以选用JSP对游戏拍卖行系统进行设计与实现。

3.2 研究内容

(1)用户信息管理模块：用户通过注册，可拥有自己的帐号，登录后可对个人信息进行修改；管理员可以对用户的信息进行查看和编辑。

(2)商品信息管理模块：管理员登录后可发布新的商品信息、编辑已发布的商品信息。

(3)拍卖管理模块：包括拍卖计时、下架、成功、失败，结果查询、统计、报表。

(4)管理交易信息模块：管理员可及时的查询已交易的商品信息；同时管理员对交易信息要进行统计管理，做成报表，方便管理。

3.3 研究方法和研究手段

(1)确定游戏拍卖行系统开发目标，对游戏拍卖行系统的整个过程进行详细分析，画出流程图。

(2)需求分析：对系统进行可行性分析，确定系统软硬件开发环境；收集系统需求内容，画出系统数据流图，抽象出系统的数据字典、IPO图，建立系统的功能模型；确定系统中的实体、属性、关系，画出E/R图，建立系统的数据模型，进行数据库概念模型设计。

(3)总体设计：完成由E/R图到关系模式转换，建立数据库逻辑模型并进行规范化和优化设计；进行软件结构设计，得到软件层次化的模块结构图；进行接口设计，描述系统内、系统外、系统与用户之间如何通讯；进行过程设计，得出系统各个处理功能的过程化描述。

(4)详细设计：采用结构化程序设计方法进行算法设计，画出程序流程图；进行数据结构设计、数据库物理设计、信息编码设计、测试用例设计、人机界面设计。

(5)软件测试：进行单元、集成测试，采用白盒和黑盒测试方法。