数学建模中常用的数据处理方法 (1)

三、异常数据的挖掘和处理 在预测与决策时，经常需要对所要研究的对象进行分析和收集数据，从大量 的统计数据中找规律，而这些数据真实与否直接影响分析结论的科学性。在多数 情况下会发现，统计来的数据是按照某一规律且起伏并不是很大，但其中都可能 混有“异常数据”，这些异常数据是由异常因素(例异常时间、干扰或误差等) 造成的与大多数观察值不一致。有些异常值可能是在统计时度量或执行错误所得 到的， 在分析过程中应剔除的， 但有些数据非任何统计错误所致不能简单地剔除， 否则可能导致重要的隐藏信息丢失，特别有些异常数据非常有价值，若剔除则可 能影响到结论的科学性。因此，对于异常数据的挖掘及处理(利用)是值得研究的 问题。 3.1 异常数据的挖掘方法 所谓数据挖掘就是按照既定的目标, 对大量的统计数据进行探索, 揭示隐 藏其中的规律并进一步将之模型化的一种先进有效的方法。对异常数据的挖掘我 们认为实际上就是识别统计数据是否为异常值，挖掘过程实际上是识别过程，可 以用以下几种方法进行挖掘: 3.1.1 3 检测法
ij ij j
(i 1, 2,L, n; j 1, 2,L, m) ，变换后的数据
值为 0，而协方差不变； x x ②标准化变换： x* ij s
ij j j
(i 1, 2,L, n; j 1, 2,L, m) ，其中 s j 是标准差；
变换后的数据，每个变量的样本均值为 0，标准差为 1，而且标准化变换后的数
一般统计数据若没有明显的上升或下降趋势(若是时间序列一般为平稳的时 间序 列)，都分布在其均值周围，标准差 能反映其离散程度。统计数据可以是 来自某一 总体的样本。如果是一般总体，可以由概率统计中的切贝谢夫不等式知 道，对于任意 的 0 ，有：

P{ X E( X ) }
2

调查结果如表 2：
从计算结果可以看出，该产品的顾客满意度得分是 23.3，属于“较满意” 的产品。但是，由于顾客对每个属性的要求程度不同，因此，应根据顾客对评价 指标的重要程度进行分值加权，则更能科学地反映出顾客的满意程度。同例，该 企业对质量、功能、价格、服务、包装、品位，根据其对顾客满意的影响程度确 定的加权值分别为 0.3、0.1、0.35、0.15、0.05； 则其满意度= xiki ，见表 3：
显然两种方法计算的结果是不同的，加权法为 40，处于满意水平，而简单 分值法仅为 23.3，处于较满意水平。而实质上，顾客对产品的总体感受应是满 意水平。所以利用加权法更能准确的反映顾客的满意状态。加权法的加权值，企 业可以根据经验、专家评定或调查等方法进行确定。
2.6 顾客满意信息的收集与分析 IS09004:2000 的 8.2.1.2 条中对如何收集顾客满意信息的方式、内容及渠 道都作了较具体提示。 收集顾客满意信息的方式是多种多样，包括口头的和书面的。企业应根据信 息收集的目的、信息的性质和资金等来确定收集信息的最佳方法。收集顾客满意 信息的渠道有７个方面： 1．顾客投诉 2．与顾客的直接沟通 3．问卷和调查 4．密切关注的团体 5．消费者组织的报告 6．各种媒体的报告 7．行业研究的结果 标准要求，企业应对顾客满意信息的收集进行策， 确定责任部门，对收集方式、频次、分析、对策及跟踪验证等作出规定。 收集顾客满意信息的目的是针对顾客不满意的因素寻找改进措施，进一步提 高产品和服务质量。因此，对收集到的顾客满意度信息进行分析整理，找出不满 意的主要因素，确定纠正措施并付之实施，以达到预期的改进目标。 在收集和分析顾客满意信息时，必须注意两点： 1．顾客有时是根据自己在消费商品或服务之后所产生的主观感觉来评
4 ．价格需求：包括价位、价质比、价格弹性等。 组织在提供产品或服务 时均应考虑顾客的这 4 种基本需求。但是，由于不同国家地区、不同的消费 人群对这些需求有不同的需求强度。在消费后又存在一 个满意水平的高低。 当顾客需求强度高时，稍有不足，他们就会有不满或强烈不 满，当需求强度 要求低时，只需低水平的满足即可。 例如，购买彩色电视机，由于人们收入水平和消费心理的不同，对电视机的 功能、款式、价格有不同的需求强度。收入丰厚的人们，喜欢高档名牌，因此对 品质和功能需求的强度要求就高，而对价格需求不强烈。也就是说，当品质和功 能不满足他们的要求时，就会产生不满或强烈不满。对低收入工薪族，他们消费 心理追求价廉物美，以实惠为原则，因此对价格和服务的需求强度要求高，价格 高、服务差，是他们产生不满的主要因素。而对功能需求强度则不强烈。 因此，企业应该根据不同的顾客需求，确定主要的需求结构，以满足不同层 次顾客的要求，使顾客满意。 2.3 顾客满意指标 满意，是对需求是否满足的一种界定尺度。当顾客需求被满足时，顾客便体 验到一种积极的情绪反映，这称为满意，否则即体验到一种消极的情绪反映，这 称为不满意。 顾客满意，是指顾客对某一事项已满足其需求和期望的程度的意见，也是顾 客在消费后感受到满足的一种心理体验。 顾客满意指标，是指用以测量顾客满意程度的一组项目因素。 要评价顾客 满意的程度，必须建立一组与产品或服务有关的、能反映顾客对产品或服务满意 程度的产品满意项目。由于顾客对产品或服务需求结构的强度要 求不同，而产 品或服务又由许多部分组成，每个组成部分又有许多属性；如果产 品或服务的 某个部分或属性不符合顾客要求时，他们都会作出否定的评价，产生不满意感。 2.4 顾客满意级度 顾客满意级度指顾客在消费相应的产品或服务之后，所产生的满足状态等 次。 前面所述，顾客满意度是一种心理状态，是一种自我体验。对这种心理状态 也要进行界定，否则就无法对顾客满意度进行评价。心理学家认为情感体验可以 按梯级理论进行划分若干层次，相应可以把顾客满意程度分成七个级度或五个级 度。 七个级度为：很不满意、不满意、不太满意、一般、较满意、满意和很满意。
一、市场占有率问题（红色为常用信息） 一个企业的销售量（或销售额）在市场同类产品中所占的比重。直接反映企 业所提供的商品和劳务对消费者和用户的满足程度，表明企业的商品在市场上所 处的地位。市场份额越高，表明企业经营、竞争能力越强。市场份额根据不同市 场范围有 4 种测算方法： 1.总体市场份额。指一个企业的销售量（额）在整个行业中所占的比重。 2.目标市场份额。指一个企业的销售量（额）在其目标市场，即它所服务的 市场中所占的比重。一个企业的目标市场的范围小于或等于整个行业的服务市 场，因而它的目标市场份额总是大于它在总体市场中的份额 。 3.相对于 3 个最大竞争者的市场份额。指一个企业的销售量和市场上最大的 3 个竞争者的销售总量之比。如：一个企业的市场份额是 30％，而它的 3 个最大 竞争者的市场份额分别为 20％，10％，10％，则该企业的相对市场份额就是 30％ ÷40％＝75％，如 4 个企业各占 25％，则该企业的相对市场份额为 33％。一般 地，一个企业拥有 33％以上的相对市场份额，就表明它在这一市场中有一定实 力。 4.相对于最大竞争者的市场份额。指一个企业的销售量与市场上最大竞争者 的销售量之比。若高于 100％，表明该企业是这一市场的领袖。
据的挖掘。 例如：下面列出了 86 个伊特拉斯坎（Etruscan）人男子的头颅的最大宽 度(单 位：mm)，检验此次调查的数据是否存在异常：
141 148 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1 1
132
138
154
172
150
142
115
1 1 1 1 1 1 1 1 1 1 1 1 1 1 46 55 58 50 40 47 48 44 50 1 1 1 1 1 1 1 49 45 49 58 43 41 44 44 26 1 1 1 1 1 1 1 40 44 42 41 40 45 35 47 46 1 1 1 1 1 1 1 41 36 40 46 42 37 48 54 37 1 1 1 1 1 1 1 39 43 40 31 43 41 49 48 35 1 1 1 1 1 1 1 48 52 43 44 41 43 47 46 50 1 1 1 1 1 1 1 32 42 42 43 53 49 46 49 38 1 1 1 42 49 42 37 34 44 46 47 40 42 40 37 52 45 用 MATLAB 可以求得：测量数据的均值 X 143.77 ， 7.34 。运用 3 准则， 所有测量数据均应在[ X 3，X 3 ] 范围内，即 x [121.74 ,165.80] 。我们发现 数据中的 172 和 115 不在上述范围内，这可能是由于测量时的某些客观条件的影响 所致，因此可视为异常数据。 3.1.2 聚类分析法 聚类分析又称群分析，是研究分类问题的一种多元统计分析方法。在聚类分 析的过程中，将样品或变量按相互之间距离的大小或由相似系数反映出的相近性 聚成若干类，常用的距离有欧氏距离、马氏距离、兰氏距离等，马氏距离可以排 除指标之间相关性的干扰且不受量纲的影响，最为实用。根据聚类的结果，距离 较小或相似系数大的可以聚为一类，但最终聚成几类，并没有严格的限制。如果 存在几个样品，聚合成哪一类都不合适，或与其它样品的距离都比较远，那么就 可断定这些样品数据为异常数据。 1、数据在聚类分析之前要进行数据变换，常用的方法有： ①中心化变换： x* x x 均
二、顾客满意度问题（红色为常用信息） 2.1 顾客满意度概述 确定顾客满意程度的指标和顾客满意级度是对顾客满意度进行测量控制的 关键问题。顾客满意度是评价企业质量管理体系业绩的重要手段。为此，要科学 确定顾客满意度的指标和满意度的级度并对顾客满意度进行测量监控和分析，才 能进一步改进质量管理体系。 2.2 顾客的需求结构 要建立一组科学的顾客满意程度的评价指标，首先要研究顾客的需求结构。 经对顾客作大量调查分析，顾客需求的基本结构大致有以下几个方面： 1 ．品质需求：包括性能、适用性、使用寿命、可靠性、安全性、经济性 和美学(外观)等； 2．功能需求：包括主导功能、辅助功能和兼容功能等； 3．外延需求：包括服务需求和心理及文化需求等；
2
21