非正态的数据
非正态数据转换及过程能力分析V0课件
Q-Q图法
将数据绘制在分位数-分位数坐 标系上，与正态分布曲线进行 比较，判断数据的正态性。
P-P图法
将数据绘制在概率-概率坐标系 上，与正态分布曲线进行比较， 判断数据的正态性。
偏度和峰度检验
通过计算数据的偏度和峰度， 并与标准正态分布的偏度和峰 度进行比较，判断数据的正态性。
非正态数据的过程能计算过程能力 指数，包括CPK、PPK等，以评估生 产过程的稳定性和性能。
数据转换方法
采用Box-Cox变换方法对数据进行转 换，使其接近正态分布。通过选择适 当的λ值，实现了数据的正态化。
结论
通过数据转换和过程能力分析，该制 造企业识别了生产过程中的瓶颈和改 进机会，提高了产品质量和生产效率。
平方根转换
总结词
平方根转换适用于数据分布为幂律分布的情况，可以改善数据分布的偏度。
详细描述
平方根转换是将数据取平方根。平方根转换可以降低数据分布的偏度，使其更接 近正态分布。平方根转换在统计分析中常用于处理一些具有幂律分布特征的数据。
倒数转换
总结词
倒数转换适用于数据分布为倒指数分布的情况，可以改善数 据分布的偏度。
偏态分布
数据分布形态不对称，偏向某一方向。
离群值分布
多峰分布
数据分布有多个峰值，不遵循单一分 布形态。
数据中出现较多远离均值的异常值。
非正态数据的特点与影响
偏态分布可能导致平均值和众数不一 致，影响对数据的整体理解。
多峰分布可能掩盖数据之间的差异， 难以进行比较和分析。
离群值可能导致数据方差增大，影响 统计分析的准确性。
收集数据
收集足够的过程数据，以评估 过程的稳定性和一致性。
计算过程能力指数
非正态数据的聚类算法研究
非正态数据的聚类算法研究近年来，随着数据科学技术的不断发展，数据分析和数据挖掘已经成为了解决实际问题的重要手段，其中聚类分析是数据挖掘中的一个重要内容。
聚类分析是指将一组数据对象分成若干个类别，并使得每个类别中对象之间的相似性尽可能地高，而类别之间的差异尽可能地大。
然而，在实际应用中，由于数据本身的特性，可能存在着一定程度的非正态性，这时候如何进行聚类分析就成为了一个难题。
非正态数据的聚类算法是针对非正态数据进行聚类分析的一种方法。
非正态数据指的是不符合正态分布的数据，例如偏态分布、长尾分布等。
由于这类数据本身的特点，常规的聚类算法往往不太适用。
而非正态数据的聚类算法则对这类数据进行了一定的处理，使得可以更好地进行聚类分析。
首先，非正态数据的聚类算法主要分为两类，一类是参数聚类算法，另一类是非参数聚类算法。
参数聚类算法是通过假设数据符合某种分布的参数模型，然后利用该模型进行聚类分析。
而非参数聚类算法则不对数据分布进行任何假设，直接从数据中发现聚类结构。
目前非正态数据的聚类算法有很多，例如K-means算法、凝聚层次聚类算法、分裂聚类算法、DBSCAN算法等。
其中，K-means算法是一种基于距离的聚类算法，通过计算数据之间的相似度，然后按照相似度将数据分成若干个类别。
这种算法主要适用于正态分布或近似正态分布的数据，对于非正态数据的表现并不是很好。
而凝聚层次聚类算法和分裂聚类算法，则是通过构建数据之间的相似度矩阵，然后通过聚合或分裂操作不断调整聚类结果，以达到最终聚类效果。
DBSCAN算法是一种基于密度的聚类算法，它是一种非参数聚类算法。
该算法从数据集中随机选取一个点作为核心点，然后找出以该点为中心的某个范围内的所有点，这些点被视为一类，然后将剩余的点重复该过程，直到所有点都被聚类。
该算法适用于密度分布比较均匀的数据集，对于一些长尾分布或偏态分布的数据效果不佳。
在实际应用中，非正态数据的聚类算法与正态数据的聚类算法相比，更能反映实际情况。
如何统计分析非正态分布的数据
如何统计分析非正态分布的数据导言：在数据分析领域，统计方法是一种重要的工具。
然而，大多数统计方法都基于正态分布假设，即数据呈现正态分布。
但是，在现实世界中，很多数据并不满足正态分布的要求。
因此，对非正态分布数据进行统计分析是一项具有挑战性的任务。
本文将探讨如何统计分析非正态分布的数据。
一、了解非正态分布的特征在开始统计分析非正态分布的数据之前，我们首先需要了解非正态分布的特征。
非正态分布的数据通常具有以下特点：1.偏度（Skewness）：正态分布的偏度为0，非正态分布的偏度不为0，可能呈现左偏或右偏。
2.峰度（Kurtosis）：正态分布的峰度为3，非正态分布的峰度可能大于3（尖峰型分布）或小于3（平坦型分布）。
二、选择适当的统计方法在统计分析非正态分布的数据时，我们需要选择适当的统计方法，以确保结果的准确性和可靠性。
以下是一些常用的统计方法：1.非参数统计方法：非参数统计方法不依赖于任何分布假设，适用于任何类型的数据分布。
常见的非参数统计方法包括Wilcoxon 秩和检验、Kruskal-Wallis检验等。
2.转换方法：有时候，通过对非正态分布的数据进行转换（如对数转换、平方根转换等），可以将其近似为正态分布，然后使用正态分布的统计方法进行分析。
但需要注意，转换后的数据的解释可能不直观。
3.引入其他分布：根据非正态分布的具体特征，有时候可以引入特定的分布进行数据建模和分析。
例如，对于右偏分布的数据可以考虑使用伽马分布进行拟合。
三、选择适当的描述统计量对于非正态分布的数据，我们需要选择适当的描述统计量来描述数据的中心趋势和离散程度。
常用的描述统计量有：。
非正态数据转化成正态数据
正态转化四步骤
第一步：计算数据的分布状况及两个参数：偏度（Skewness）和峰度（Kurtosis）。
第二步：根据变量的分布形状和参数，决定是否做转换。
1、对称判断
看Skewness（偏差度）的取值。如果偏度为0，则是完全对称（但罕见）；如果偏度为 正值，则说明该变量的分布为正偏态；如果偏度为负值，则说明该变量的分布为负偏态。 然而，偏度值还不能完全判断偏态的分布是否与正态分布有显著差别，所以还需要做显著 性检验。如果检验结果显著，我们可能（注意是“可能”）可以通过转换来达到或接近对 称。
2、峰度检验
Kurtosis（峰度）是判断曲线陡峭和平缓的指标。如果峰度为0，说明该变量分布合适（但罕 见）；如果峰度为正值，说明该变量的分布陡峭；反之，如果峰度为负值，说明变量的分布 平缓。峰度也需要通过显著检验来判断与正态分布是否有显著差别。我们可能可以通过转换 来达到或接近正态分布。
第三步：如果需要做正态转换，根据变量的分布形状，确定相应的转换公式。下面简单介绍3种 常见的正态转换方法。 1、如果是中度偏态 如果偏度为其标准误差的2-3倍，可以考虑取根号值来转换。 2、如果高度偏态 如果偏度为其标准误差的3倍以上，则可以取对数，其中又可分为自然对数和以10为基数的对数。 3、对于双峰或多峰数据 秩分的正态得分的转化方法，SPSS软件中常用，请关注SPSS视频教程。
第四步：再次检验转换后变量的分布形状。如果没有解决问题，或者甚至恶化，需要再从第二 或第三步重新做起，然后再回到第一步的检验。直至达到比较令人满意的结果。
数据正态化注意点：
1、偏度和峰度的标准误差与样本量直接有关。具体说来，偏度的标准误差约等于6除以n 后的开方，而峰度的标准误差约等于24除以n后的开方，n为样本量。由此可见，样本量越 大，标准误差越小。
如何统计分析非正态分布的数据
如何统计分析非正态分布的数据引言：在统计学中，正态分布（也称为高斯分布）是一种最为常见的概率分布，它具有许多方便的数学特性，并且适用于很多自然现象的建模。
然而，在实际的数据分析中，我们经常会遇到不符合正态分布假设的数据，例如偏态分布、多峰分布等。
本文将介绍如何统计分析非正态分布的数据，以帮助读者更好地理解和处理实际场景中的数据。
1. 确认数据的分布类型：首先，我们需要确认数据的分布类型，以便选择适当的统计方法。
常见的非正态分布类型包括偏态分布、指数分布、伽马分布等。
通过绘制直方图、概率密度图或者使用统计软件的函数拟合功能，可以直观地观察数据的分布形态，从而判断数据是否符合正态分布。
2. 数据变换：如果数据不符合正态分布，我们可以采取一些数据变换的方式来使其满足正态分布的假设。
常见的数据变换方式包括对数变换、平方根变换、倒数变换等。
这些变换方式可以将数据的分布形态进行调整，使其更接近正态分布。
3. 非参数统计方法：在传统的统计分析中，我们通常基于正态分布假设来进行参数统计方法的应用，例如t检验、方差分析等。
然而，当数据不符合正态分布时，这些参数统计方法的结果可能会产生偏差。
因此，我们可以采用非参数统计方法来分析非正态分布的数据。
非参数统计方法主要基于数据的秩次进行分析，例如Wilcoxon秩和检验、Kruskal-Wallis秩和检验等。
4. 拟合分布：除了数据变换和非参数统计方法之外，我们还可以采用拟合分布的方法来分析非正态分布的数据。
拟合分布指的是将数据拟合到一个理论分布模型中，例如指数分布、伽马分布等。
通过对数据进行最大似然估计，我们可以得到最适合数据的分布模型，并进一步进行参数估计和假设检验等。
5. 非线性回归分析：在实际的数据分析中，我们经常会遇到非线性关系的数据，例如指数关系、对数关系等。
针对这类数据，我们可以采用非线性回归分析的方法来分析。
非线性回归分析可以通过拟合非线性函数到数据中，来描述变量之间的关系。
非正态数据分布下的参数估计与推断方法研究
非正态数据分布下的参数估计与推断方法研究随着数据科学和统计学的发展，越来越多的研究者开始对非正态分布数据的参数估计和推断进行研究。
在传统的统计方法中，我们通常假设数据服从正态分布，这是因为正态分布具有许多方便的性质，能够简化统计模型的推导和计算。
然而，在实际应用中，许多数据并不服从正态分布，因此需要开发新的方法来处理非正态数据。
针对非正态数据的参数估计与推断方法有很多种，下面将介绍其中几种常用的方法。
一、最大似然估计法最大似然估计法是一种常用的参数估计方法，它通过寻找使观测数据出现的概率最大的参数值来估计未知参数。
对于非正态分布数据，我们可以根据具体的分布形式构建似然函数，并通过最大化似然函数来估计参数。
最大似然估计法具有良好的理论性质，但在非正态分布下可能会面临计算复杂的挑战。
二、贝叶斯估计法贝叶斯估计法是一种基于贝叶斯定理的参数估计方法，它将参数视为随机变量，并利用先验信息和观测数据来更新参数的后验分布。
与最大似然估计法相比，贝叶斯估计法能够更好地处理非正态分布数据，因为它不需要对数据的分布作出假设。
贝叶斯估计法的主要挑战在于选择合适的先验分布和计算参数的后验分布。
三、鲁棒统计方法鲁棒统计方法是一类通过降低对数据分布的假设，从而提高统计方法的稳健性的方法。
对于非正态分布数据，鲁棒统计方法通过使用具有较小偏差和较小散布的估计量来减少异常值的影响。
常用的鲁棒统计方法包括最小二乘估计法、M估计法和S估计法等。
鲁棒统计方法在处理非正态分布数据时能够提供可靠的估计结果，但在某些情况下可能牺牲了估计的效率。
四、非参数方法非参数方法是一类不对数据分布作出任何假设的统计方法。
对于非正态数据，非参数方法通过直接对数据进行排序、排名或计算秩次来进行参数估计和推断。
常用的非参数方法包括秩和检验、核密度估计和基于排列的推断等。
非参数方法的优点是灵活性强，可以适应多种数据分布，但在估计精度和计算效率上可能不如参数方法。
(仅供参考)如何统计分析非正态分布的数据
如何统计分析非正态分布的数据小飞看了9月23日医咖会微信推送的“降糖药物利拉鲁肽，还能治疗心衰吗？”的研究（FIGHT 研究）后[1]，不明白研究方法II中的Wilcoxon秩和检验到底是什么，于是来找小咖讨论。
小飞：Wilcoxon秩和检验到底是个什么鬼？小咖：这是一种非参数检验方法。
小飞：非参数检验又是个什么鬼啊？小咖：平时我们常用的t检验、卡方检验、方差分析等方法都要求样本服从特定的分布（比如t检验要求样本服从正态分布），这些方法被称为参数检验方法。
但有些数据并不符合参数检验的要求，最常见的情况是数据不符合正态分布，这时可以使用非参数检验的方法。
非参数检验有很多种，Wilcoxon秩和检验就是其中一种。
小飞：不明觉厉...你还是来个栗子呗。
小咖：好吧。
某医生为了评价A药对绝经后妇女的骨质疏松症是否有效，将30名绝经后妇女随机分为两组，干预组研究对象15例，给予A药+乳酸钙治疗；对照组15例，仅给予乳酸钙治疗。
24周之后观察两组L2-4骨密度的改善率。
数据如下图：两组骨密度改善率（%）干预组对照组ID 改善率ID 改善率1 -0.20 1 -0.832 0.21 2 0.263 1.86 3 0.484 1.97 4 1.035 2.31 5 1.066 2.80 6 1.197 3.30 7 1.278 3.60 8 1.719 4.31 9 1.7510 4.40 10 2.3311 5.29 11 2.6612 5.87 12 2.8013 6.06 13 3.2214 6.08 14 3.3415 7.00 15 3.34小飞：嗯，我明白了。
对于这种两组平行设计、结局是不符合正态分布的连续变量，就应当使用Wilcoxon秩和检验对吧？小咖：很聪明，给你满分。
接下来给你演示一下用SPSS 22.0怎么操作。
（1）数据录入SPSS（2）分析→非参数检验→旧对话框→2个独立样本（3）选项设置①将骨密度测量值BMD送入检测变量列表(T)→②将Group送入分组变量(G)→③定义组(D): 组1、组2中分别输入Group变量的赋值→④检验类型选择Mann-Whitney U→继续→确定（4）结果解读SPSS首先给出了两组的编秩情况列表。
如何统计分析非正态分布的数据
如何统计分析非正态分布的数据小飞看了9月23日医咖会微信推送的“降糖药物利拉鲁肽，还能治疗心衰吗？”的研究（FIGHT 研究）后[1]，不明白研究方法II中的Wilcoxon秩和检验到底是什么，于是来找小咖讨论。
小飞：Wilcoxon秩和检验到底是个什么鬼？小咖：这是一种非参数检验方法。
小飞：非参数检验又是个什么鬼啊？小咖：平时我们常用的t检验、卡方检验、方差分析等方法都要求样本服从特定的分布（比如t检验要求样本服从正态分布），这些方法被称为参数检验方法。
但有些数据并不符合参数检验的要求，最常见的情况是数据不符合正态分布，这时可以使用非参数检验的方法。
非参数检验有很多种，Wilcoxon秩和检验就是其中一种。
小飞：不明觉厉...你还是来个栗子呗。
小咖：好吧。
某医生为了评价A药对绝经后妇女的骨质疏松症是否有效，将30名绝经后妇女随机分为两组，干预组研究对象15例，给予A药+乳酸钙治疗；对照组15例，仅给予乳酸钙治疗。
24周之后观察两组L2-4骨密度的改善率。
数据如下图：两组骨密度改善率（%）干预组对照组ID 改善率ID 改善率1 -0.20 1 -0.832 0.21 2 0.263 1.86 3 0.484 1.97 4 1.035 2.31 5 1.066 2.80 6 1.197 3.30 7 1.278 3.60 8 1.719 4.31 9 1.7510 4.40 10 2.3311 5.29 11 2.6612 5.87 12 2.8013 6.06 13 3.2214 6.08 14 3.3415 7.00 15 3.34小飞：嗯，我明白了。
对于这种两组平行设计、结局是不符合正态分布的连续变量，就应当使用Wilcoxon秩和检验对吧？小咖：很聪明，给你满分。
接下来给你演示一下用SPSS 22.0怎么操作。
（1）数据录入SPSS（2）分析→非参数检验→旧对话框→2个独立样本（3）选项设置①将骨密度测量值BMD送入检测变量列表(T)→②将Group送入分组变量(G)→③定义组(D): 组1、组2中分别输入Group变量的赋值→④检验类型选择Mann-Whitney U→继续→确定（4）结果解读SPSS首先给出了两组的编秩情况列表。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
规格上限 Z 值 0.91
Ppk
0.30
Cpm
*
1.0 1.5 2.0 2.5 3.0 3.5 4.0
实测性能
% < LSL
*
% > USL 18.00
% 合计 18.00
预期组内性能
% < LSL*
*
% > USL* 17.93
% 合计 17.93
预期整体性能
% < LSL*
*
% > USL* 18.21
变换后
LSL* 目标* USL* 样本均值* 标准差（组内）* 标准差（整体）*
* * 2.89037 2.26918 0.676702 0.684493
Time 的过程能力
使用 Box-Cox 变换，Lambda = 0
USL*
已变换数据
组内 整体
潜在（组内）能力
基准Z值
0.92
规格下限 Z 值 *
正态性检验
统计>基础统计量>正态性检验
正态性检验
百分比
99.9
99
95 90
80 70 60 50 40 30 20 10
5
1
0.1
-20 -10
0
Time 的概率图
正态
均值 标准差 N AD P值
12.31 9.656
100 5.738 <0.005
P值小于 .05 表示 数据不是正态分布
。
10
20
30
40
50
60
Time
检查分层数据
图形>点图
检查分层数据
Time 的点图
Decision Zone
Approved East
North
South
West Rejected East
North South
West
8
16
24
32
40
48
56
Time
两种因子分层都没有明显的证据。
案例：时间序列图
Decision.mtw
1. 绘制决定时间的直方图 2. 构建决定时间的正态图 3. 决定时间是正态分布的吗？ 4. 检查时间图和分层的点图，判定是否：
– 有偏移发生在特殊的时间， – 另一个因子导致偏态。
直方图
直方图
40 30 20 10
0 0
频率
Time 的直方图
10
20
30
40
50
Time
-0.19
CL 下限 -0.50 CL 上限 0.08
取整值
0.00
限 2
验证转换后的数据是否正态
统计>基础统计量>正态性检验
转换后的正态检验
百分比
99.9
99
95 90 80 70 60 50 40 30 20 10
5
1
0.1
0
Transformed 的概率图
正态
均值 标准差 N AD P值
2.269 0.6845
% 合计 18.21
相同结果
Box-Cox 转换
Box-Cox 幂转换把Y 升高到l次幂
幂转换包括以下方面：
l (幂)
Yl
-2
1
Y2
-1
1 Y
-0.5
1 Y
0
ln(Y)
普通名称 倒数的平方
倒数 倒数平方根 自然对数1
0.5
Y
平方根
1 无转换
---
2
Y2
平方
1. 当 Lambda = 0 ，使用 自然对数转换。
* * 2.89037 2.26918 0.676702 0.684493
Time 的过程能力
使用 Box-Cox 变换，Lambda = 0
USL*
已变换数据
组内 整体
潜在（组内）能力
基准Z值
0.92
规格下限 Z 值 *
规格上限 Z 值 0.92
Cpk
0.31
整体能力
基准Z值
0.91
规格下限 Z 值 *
线性转换的例子 乘以或增加一个常数会影响数据的形状 (分布) ；它将只是改变刻度。 改变指数或 使用三角函数会影响数据的形状。
形状改变转换
任何不是线性转换的转换都会改变数据的“形状”。
例如：
平方根转换
Frequency Frequency
YT
20
Y
YT 表述转换后的 Y
Histogram of Y
• 多个整体叠加 • 过程异常 • 抽样误差 • 造假数据
我们将学到 1. 为什么我们需要正态数据
2. 如何检验正态数据 – 所有的数据 – 分层的数据
3. 我们如何对连续数据实施转换使其正态 – 转换的类型 – 转换选择 – Box-Cox 方法
4. 非正态数据的流程能力分析
不是所有的数据都是正态
测量尺度 1000 100 10 1 0.1 0.01 0.001
Log 尺度 3 2 1 0 -1 -2 -3
Wait Time (Sec) Log10 (Wait Time)
1
0.00
2
0.30
5
0.70
7
0.85
等待时间 以 因
10
1.00
子-10 变化导致
20
1.30
Log 时间中一个
50
1.70
规格上限 Z 值 0.92
Cpk
0.31
整体能力
基准Z值
0.91
规格下限 Z 值 *
规格上限 Z 值 0.91
Ppk
0.30
Cpm
*
1.0 1.5 2.0 2.5 3.0 3.5 4.0
实测性能
% < LSL
*
% > USL 18.00
% 合计 18.00
预期组内性能
% < LSL*
*
% > USL* 17.93
这里失效的百分 率是多少？
如果数据是非正态的，那么估计的缺 陷区域将会不正确， 使用这种方法将 会得到错误的流程西格玛值。
USL
这里的百分率不同于 正态曲线。
受非正态数据影响的方法
方法 流程西格玛计算
单值控制图
假设检验
非正态数据的结果 不正确的流程西格玛值
错误探测某些异常原因，错过 其他的信号
关于组群间差异不正确的结论
图形> 时间序列图
图形变量： 序列：Time
Time
Time 的时间序列图
60
50
40
30
20
10
0
1
1020Leabharlann 304050
60
70
80
90 100
指数
结论
既不是因子 (决定或区域) 也不是时间移动了数据。因此，假设决定时间 是非正态的是可靠的。
数据能被转换
如果数据不符合一个已知的分布，那么转换可能是适当的。
案例：检查时间 (时间/批)
20
Inspection Time ($000)
150
Frequency
100 10
50
0 0
50
100
150
Inspection Time ($000)
(N = 90)
0
Date/Time 8/1
8/15
9/1
9/15
10/1 10/15
这是一个有规律的周期，每个月从上半个月最高值到 下半个月最低值。 使用“半个月”作为分层因子。
回归分析 实验设计
错误识别重要因子，糟糕的预 测能力
关于重要因子不正确的结论， 糟糕的预测能力
小心！
有些时候异常原因导致正态数据出现偏态。
寻找使数据偏态的因子
─ 始终绘制数据的时间序列图
寻找流程平均数或可变性的偏移 可能导致偏态
─ 始终根据其他因子对数据分层
某个特殊组可能导致偏态
偏态的数据
100 0.432 0.299
P值 > 0.05，因此没有 足够的证据拒绝数据是
正态的假设。
1
2
3
4
5
Transformed
使用 Lambda
来自 Box-Cox 转换
流程能力
流程能力
过程数据
LSL
*
目标
*
USL
18
样本均值
12.31
样本 N
100
标准差（组内） 8.44437
标准差（整体） 9.65642
非正态数据
非正态数据
使用为正态分布数据设计的工具主要依赖于数据确 实接近正态分布且稳定(没有异常原因)。
这个模块主要研究对非参数数据起作用的方法。
数据为什么不是状态的？
• 不是所有的数据都是正态的，有的数据就不符合正态分布
• 平面度 • 垂直度 • 可靠性
• 数据不完整
• 抽样只覆盖部分数据：合格或不合格的数据 • “挑选”数据
什么是转换？ 转换是数据的重新表达。 简单例子：
美元转换成英镑： – $1 = £0.60
分钟转换成秒 – 1 min = 60 secs
摄氏温度转换成华氏温度 – 9/5°C + 32 = °F
什么是转换？
“线性” 转换 线性转换有以下形式： Y = aX + b; 你能：
数据乘以一个常数 给数据增加一个常数 或两者都做
数据不再偏态向右 边
Histogram of SQRT(Y)