红楼梦文本分析

红楼梦文本分析承诺书我们仔细阅读了中国大学生数学建模竞赛的竞赛规则.我们完全明白，在竞赛开始后参赛队员不能以任何方式（包括电话、电子邮件、网上咨询等）与队外的任何人（包括指导教师）研究、讨论与赛题有关的问题。

我们知道，抄袭别人的成果是违反竞赛规则的, 如果引用别人的成果或其他公开的资料（包括网上查到的资料），必须按照规定的参考文献的表述方式在正文引用处和参考文献中明确列出。

我们郑重承诺，严格遵守竞赛规则，以保证竞赛的公正、公平性。

如有违反竞赛规则的行为，我们将受到严肃处理。

我们参赛选择的题号是（从A/B/C/D中选择一项填写）：我们的参赛报名号为（如果赛区设置报名号的话）：所属学校（请填写完整的全名）：参赛队员(打印并签名) ：1.2.3.指导教师或指导教师组负责人(打印并签名)：日期：年月日赛区评阅编号（由赛区组委会评阅前进行编号）：队员信息表（必须如实填写）编号专用页赛区评阅编号（由赛区组委会评阅前进行编号）：全国统一编号（由赛区组委会送交全国前编号）：全国评阅编号（由全国组委会评阅前进行编号）：对《红楼梦》文本的计算机识别方法的研究与设计摘要本文通过对文本人物关系、文本结构分层、作者行文风格的分析来分析中文文本。

针对问题一，我们运用聚类分析和层次分析建立模型从物理结构与逻辑结构两方面来分析文本，我们提取文本中和文本标题中的人名作为特征项，用matlab编程分别统计每个人名在各个段落中的频数。

通过运用主成分分析法对文本进行的分析我们得出自变量与常数项几乎不相关，因此不需要采取主成分回归分析。

通过系统聚类分析，我们得到了聚类图，从中得出了主演人物之间的关系。

通过层次划分，我们将样本一划分为两层，样本二划分为两层，样本三划分为两层。

最后通过matlab编程统计样本中虚词的频数，并且分别对样本中虚词总体和各个虚词进行统计，运用计算风格学理论，我们得出前八十回与后四十回作者的行文风格存在差异。

针对问题二，我们对聚类分析、层次划分、行文风格进行了检验。

对于聚类分析的结果，我们与从对文本概述的文学概括分析得到的人物关系进行比较检验，验证了聚类分析结果是可靠性。

对于层次分析，我们通过用Excel对数据做出折线图，对图形进行分析，得出与用层次分析算法得出的相同的人物关系结论。

针对问题三，我们计算了各个样本中主要人物的比重，做出了折线图，从图中我们得出了文本结构一致性的结论，体现了三个样本的相同性。

通过计算同一个人物在不同样本中的频数（以黛玉为例），我们得出各个样本由于主题思想的不同主要人物也有差异。

最后说明模型的优缺点及需要改进的地方。

关键字:系统聚类计算风格学文本层次分析一、问题重述文本（text），与讯息（message）的意义大致相同,是有一定的符号或符码组成的信息结构体，这种结构体可采用不同的表现形态，如语言的、文字的、影像的等等。

文本是由特定的人制作的，文本的语义不可避免地会反映人的特定立场、观点、价值和利益。

因此，由文本内容分析，可以推断文本提供者的表述方式，意图和目的。

文本分析是指对文本的表示及其特征项的选取；文本分析是文本挖掘、信息检索的一个基本问题，它把从文本中抽取出的特征词进行量化来表示文本信息。

将它们从一个无结构的原始文本转化为结构化的计算机可以识别处理的信息，即对文本进行科学的抽象，建立它的数学模型，用以描述和代替文本。

使计算机能够通过对这种模型的计算和操作来实现对文本的识别。

由于文本是非结构化的数据,要想从大量的文本中挖掘有用的信息就必须首先将文本转化为可处理的结构化形式。

在分析问题是我们了解到目前有关文本表示的研究主要集中于文本表示模型的选择和特征词选择算法的选取上。

用于表示文本的基本单位通常称为文本的特征或特征项。

特征项必须具备一定的特性：（1）特征项要能够确实标识文本内容；（2）特征项具有将目标文本与其他文本相区分的能力；（3）特征项的个数不能太多；（4）特征项分离要比较容易实现。

在中文文本中可以采用字、词或短语作为表示文本的特征项。

相比较而言，词比字具有更强的表达能力，而词和短语相比，词的切分难度比短语的切分难度小得多。

因此，目前大多数中文文本分类系统都采用词作为特征项，称作特征词。

因此，在处理问题时角度和特征项的选择是关键。

我们要解决的问题是：(1)从第一回--第四十回，第四十一回--第八十回，第八十一回--第一百二十回分别选取3段文字（每段不少于2000字,指出开始,结束的页码和行数）作为3个样本，对这3个样本提出文本分析的角度,特征项的选取及数量表征，并建立数学模型。

(2)分别估计3个模型的参数，并对模型进行检验。

(3)基于你们的模型，对3个文本进行比较分析（包括相同点和它们之间的差异性分析）。

将上述研究结果写成综合性的研究报告。

二、问题分析本问题主要是通过不同的文本分析角度，建立数学模型，实现对文本的识别，来推断文本提供者的表述方式，意图和目的。

对于问题一，根据物理结构和逻辑结构两个角度确立我们文本分析角度，物理结构方面，通过计算文本虚词使用频率确定作者的行文风格；逻辑结构方面，以红楼梦主要人物名字为特征值对人物关系进行分析，和以标题词汇为特征值的文本层次分析。

使用聚类和层次分析法建模。

对于问题二，运用所建立的模型对选择样本进行运算，得到文本总字数，虚词的使用情况，人物关系情况由聚类法得到，再将文本由标题词汇判定段落分层。

在模型检验方面，我们由人为读出的结论与模型得到的人物关系进行大致方向上的比较，由分段后主要人物在各层次所占比重判断层次分析的精确性，作者行文风格通过所得结论与专家推断比较检验。

对于问题三，分别选取三个样本中的虚词频率和人物分析进行比较。

通过虚词频率的比较我们可以大致分析出各四十回中作者的行文风格从而判断红楼梦作者是否为一人；而对人物分析方面，对人物与人物之间关联度的比较，能大致确立出在整篇文章中的主要人物和与其关联密切的人物的关系进展，通过关联度相同性与差异性的比较，确立主要人物的日常交际圈和主要人物之间的关系变化。

三、模型假设[1]每个样本拥有独立性（不受其他样本影响也不影响其他样本）；[2]样本选取是随机的，具有普遍性；[3]虚词的使用频率的异同可以充分区分作者的行文风格；[4]标题中词汇在整个文本中具有代表性（标题是整个文本中心思想的概括）；[5]3个样本在整个文本各四十回中的人物关系具有代表性。

[6]可忽略同名不同义的词对研究结果的影响[7]样本中出现频率很低的人物名可忽略，对结果无影响。

四、符号系统x——人物i在第j段中的频数T——特征值组成的向量ijij t——表示人物i的第j个特征值的频数i p——第i自然段五、建立文本识别模型1）人物关系：由主要人物每段出现频数向量确定人物相关性；2）文本结构分析：由标题词汇每段出现频数比较分层，使层内差异达到最小值；3）行文风格：统计虚词使用情况。

5.1人物关系模型研究与确立目前人们通常采用向量空间模型来描述文本向量,但是如果直接用分词算法和词频统计方法得到的特征项来表示文本向量中的各个维,那么这个向量的维度将是非常的大。

这种未经处理的文本矢量不仅给后续工作带来巨大的计算开销,使整个处理过程的效率非常低下,而且会损害分类、聚类算法的精确性,从而使所得到的结果很难令人满意。

因此,必须对文本向量做进一步净化处理,在保证原文含义的基础上,找出对文本特征类别最具代表性的文本特征。

为了解决这个问题,最有效的办法就是通过特征选择来降维。

红楼梦通篇是文言文，在进行文本分析时，由于虚词在文本内容角度的无用性我们将虚词统计次数后用批处理技术删除，同时去除的还有停用词（常用词如‘了’等和生僻词）。

从人物关系的分析角度看，由于文本中形容词的多样化与词义分析方面的复杂性，不从该角度分析。

为使操作简单化，我们根据研究的角度，将红楼梦中主要人物名字设置为特征值，),,,(21n t t t T =T 表示由人名组成的向量，i t 表示第i 个人名特征值，n 表示人名特征值的个数为n可将选择的文本表示为N P P P P I ++++= 321 I 表示所选文本，i p 表示文本I 中的第i 自然段，N 表示文本i 中共有N 个自然段。

将人物在文本每一自然段中出现的次数组合成向量，经过对不同人物之间的相关性度量，组合成相关系数矩阵，再对其聚类分析得出人物关联度。

⎪⎪⎪⎪⎪⎪⎭⎫ ⎝⎛=nN n n N N x x x x x x x x x A212222111211A 表示各特征词在各段的频数矩阵，ij x 表示第i 个特征词在第j 自然段中的频数,A 矩阵的行与行向量之间对应数据关系即可反映在该文本中两人物之间的联系。

，这里我们使用在对变量聚类分析时利用最多的相关系数矩阵()()()()2/111221⎥⎦⎤⎢⎣⎡--∑--∑∑====n i ni k ik j ij k ik j ij jkx x x x x x x x r ni||jk r 越接近1，j x 与k x 越相关或越相近；||jk r 越接近0，j x 与k x 的相关性越弱。

jx 与k x 分别表示j t 与k t 两个特征值的频数特征向量。

由于红楼梦中主要人物过多，我们要对特征值进行降维处理，再考虑人物关系。

人物关系体系建立：利用多元统计分析的主成分分析法、系统聚类分析法将所选主要人物特征值进行简化归类。

在多元统计分析中，主成分分析（英语：Principal components analysis ，PCA ）是一种分析、简化数据集的技术。

主成分分析经常用于减少数据集的维数，同时保持数据集中的对方差贡献最大的特征。

这是通过保留低阶主成分，忽略高阶主成分做到的。

这样低阶成分往往能够保留住数据的最重要方面。

但是，这也不是一定的，要视具体应用而定。

由于主成分分析依赖所给数据，所以数据的准确性对分析结果影响很大。

[1]人为主要人物往往带有主观性，必须对所选文件的特征值用数理统计方法，由上所得的相关系数矩阵经过正交化处理，将文本所确立的人名特征值转化为少数几个综合人名后的新指标（即主成分），其中每个主成分都是原始变量的线性组合，各主成分之间相互正交，从而这些主成分能够反映始变量的绝大部分信息，且所含的信息互不重叠，把复杂问题简单化。

主成分分析法的基本步骤第一步：设估计样本数为n ，选取的文本人名特征值总数为p ，则由估计样本的原始数据可得矩阵()a ijA =，其中αij表示第i 个特征值在第j 段中的频数。

第二步：为了消除各项理化指标之间在量纲化和数量级上的差别，用极差标准化法对指标数据进行规范化，将其化为0～1间的标准数据得到规范化矩阵。

第三步：根据规范化数据矩阵建立协方差矩阵R ，是反映标准化后的数据之间相关关系密切程度的统计指标，值越大，说明有必要对数据进行主成分分析。