近红外光谱校正
近红外光谱数据预处理
近红外光谱数据预处理
近红外光谱数据预处理是将原始光谱数据进行清洗、校正和转换，以提高数据质量并使其适合后续数据分析和建模。
下面是一些常见的近红外光谱数据预处理步骤：
1. 背景处理：处理光谱中的背景噪声。
可以通过采集背景光谱并从样本光谱中减去背景光谱来实现。
2. 光谱对齐：将不同样本的光谱对齐，以确保它们从同样的起点和终点开始。
这可以通过插值或者使用标准光谱进行校准来实现。
3. 波长选择：选择感兴趣的波长范围。
有时，只有特定的波长信息是有用的，可以通过删除不必要的波长来减小数据集的维度。
4. 数据平滑：使用平滑算法（如Savitzky-Golay算法）来降低数据中的噪声，并提高光谱的光滑性。
5. 数据标准化：对光谱数据进行标准化，使得不同样本的数值范围一致。
常用的标准化方法包括最大最小值标准化、均值方差标准化等。
6. 数据去噪：对光谱数据进行去噪处理，例如使用小波变换或者降噪算法（如小波阈值降噪）。
7. 数据降维：对光谱数据进行降维处理，以减少数据的维度和特征数量。
常见的降维方法包括主成分分析（PCA）和偏最小二乘回归（PLS）等。
8. 数据插补：对存在缺失值或异常值的数据进行插补或处理，以填补数据空缺或修复异常值。
以上是一般常见的近红外光谱数据预处理步骤，具体的预处理方法可以根据数据的特点和需求进行选择和调整。
小波变换-分段直接校正法用于近红外光谱模型传递研究
928
分析化学
第 34 卷
的
Dif
2 s，un 转换为与源机上测得的光谱一致的光谱数据
Dif
2
（ p
s，un
理论上），即：
Dif
2P s，un
=
Dif
2 s，un F
转换矩阵 F 的计算公式为：
红外光谱仪。其中 3 台为总后油料研究所研制的便携式油料质量分析仪，编号为 Zh3-1、Zh3-2 和 Zh33；2 台为北京英贤仪器有限公司生产的 NIR3000 型近红外光谱仪，编号为 Nir8 和 Nir33。其中 Zh3-3 为 源机，其余 4 台为目标机。上述 5 台仪器均为 CCD2048 象元检测器，分辨率优于 1. 5 nm，光谱采集范围 700 ～ 1100 nm，数据间隔 0. 2 nm。 3. 2 光谱测量和基础数据测定方法
第7 期 927 ～ 932
小波变换-分段直接校正法用于近红外光谱模型传递研究
田高友#1 褚小立2 袁洪福2 陆婉珍2
（1 解放军总后勤部油料研究所，北京 102300） （2 石油化工科学研究院，北京 100083）
摘 要 提出了一种新的传递算法（ WT-PDS）———小波变换-分段直接校正法，并详细讨论了模型传递参数和 传递结果。首先利用小波变换对光谱进行压缩处理，采用 PDS 算法消除不同仪器之间压缩数据的差异，最后 利用经校正的压缩数据进行分析，实现模型传递。本方法能够扣除不同仪器之间的大部分差异，大幅度改善 分析精度。传递后模型分析精度与源机模型稳健性紧密相关。如果源机模型稳健性强，则能够实现不同仪器 之间的共享。本方法能够实现源机的 0# 轻柴十六烷值、凝点、馏出温度；-10# 轻柴十六烷值、凝点以及-10# 军 柴凝点和馏出温度共 10 个模型在 5 台仪器之间共享，简化了建模的成本。与传统的 PDS 相比，WT-PDS 方法 具有传递和建模变量少、速度快、光谱校正性能高等优点，而其模型分析精度与传统 PDS 基本一致。
红外与近红外光谱常用数据处理算法
一、数据预处理（1）中心化变换（2）归一化处理（3）正规化处理（4）标准正态变量校正（标准化处理）（Standard Normal Variate,SNV）（5）数字平滑与滤波（Smooth）（6）导数处理（Derivative）（7）多元散射校正（Multiplicative Scatter Correction,MSC）（8）正交信号校正（OSC）二、特征的提取与压缩（1）主成分分析（PCA）（2）马氏距离三、模式识别（定性分类）（1）基于fisher意义下的线性判别分析（LDA）（2）K-最邻近法（KNN）（3）模型分类方法（SIMCA）（4）支持向量机（SVM）（5）自适应boosting方法（Adaboost）四、回归分析（定量分析）（1）主成分回归（PCR）（2）偏最小二乘法回归（PLS）（3）支持向量机回归（SVR）一、数据预处理 （1） 中心化变换中心化变换的目的是在于改变数据相对于坐标轴的位置。
一般都是希望数据集的均值与坐标轴的原点重合。
若x ik 表示第i 个样本的第k 个测量数据，很明显这个数据处在数据矩阵中的第i 行第k 列。
中心化变换就是从数据矩阵中的每一个元素中减去该元素所在元素所在列的均值的运算：u ik k x x x =- ，其中k x 是n 个样本的均值。
(2) 归一化处理归一化处理的目的是是数据集中各数据向量具有相同的长度，一般为单位长度。
其公式为：'ik x =归一化处理能有效去除由于测量值大小不同所导致的数据集的方差，但是也可能会丢失重要的方差。
（3）正规化处理正规化处理是数据点布满数据空间，常用的正规化处理为区间正规化处理。
其处理方法是以原始数据集中的各元素减去所在列的最小值，再除以该列的极差。
min()'max()min()ik ik k k x xk x x x -=-该方法可以将量纲不同，范围不同的各种变量表达为值均在0~1范围内的数据。
近红外光谱数据预处理
近红外光谱数据预处理
近红外光谱数据预处理是指对采集到的近红外光谱数据进行一系列处理步骤，以提高数据质量和可用性的过程。
常见的近红外光谱数据预处理方法包括：
1. 线性基线校正：校正光谱中的基线漂移，消除光谱测量仪器的非线性响应或实验环境的干扰。
2. 报告点切割：将光谱数据切割为固定的报告点，加快后续处理的速度。
一般会选择在谱段中平均分配报告点，或者根据特定的光谱信息选择报告点。
3. 扣除散射信号：由于样品中的散射现象会引起近红外光谱的背景干扰，可以通过采用光谱散射校正方法，如标准正交校正(SOC)、多元散射校正 (MSC)、小波变换等，来减少散射信号对近红外光谱的影响。
4. 多元校正方法：包括正交偏最小二乘法 (OPLS)、主成分分析 (PCA)、典型相关分析 (CCA)等，在光谱数据中提取主要变化信息和样品之间的相关性。
5. 去噪处理：对光谱数据进行平滑或降噪处理，以减少随机噪声对数据的影响，常见方法包括移动平均、中值滤波、小波去噪等。
6. 数据标准化：通过线性或非线性变换，将光谱数据转化为均值为0、标准差为1的标准正态分布数据，有助于消除不同样
品之间测量尺度的差异。
7. 去除异常值：通过统计分析方法，检测并移除光谱数据中的异常值，能够减少异常值对后续分析的干扰。
这些预处理方法可以根据具体的实验目的和数据特点进行选择和组合使用，以提取出光谱数据中的有用信息，减少噪声和干扰，进而进行进一步的数据分析和建模。
_近红外光谱解析实用指南_
_近红外光谱解析实用指南_近红外光谱解析是一种非常常用的分析技术，可用于定性和定量分析。
本指南旨在向读者介绍近红外光谱解析的基本原理、仪器设备、样品制备和数据分析方法。
一、基本原理近红外光谱是指在800至2500纳米波长范围内的光谱。
近红外光谱的原理是利用样品中分子振动和拉伸产生的光谱吸收特征来推测样品的成分和属性。
这些光谱特征是由于化学键振动、倾角、水合作用等引起的。
二、仪器设备近红外光谱仪是近红外光谱解析的关键设备。
现在市场上常见的仪器一般采用光栅技术，具有高分辨率和高精度。
仪器的重要参数包括光源、光路、检测器和光谱仪。
选择合适的仪器要考虑样品类型、分析要求和预算。
三、样品制备样品制备对于近红外光谱解析至关重要。
样品制备的目的是使样品以均匀、透明、薄膜形式呈现在仪器上。
常用的样品制备方法包括将样品粉碎后与固体粉末混合，或将液体样品稀释后滴在红外透明基底上。
四、数据分析方法近红外光谱解析的数据处理过程包括光谱校正、预处理、模型建立和模型验证等步骤。
首先，需进行光谱校正，如仪器平滑、波长校准和零点校准等。
接下来，进行样品的预处理，包括去噪、光谱标准化和特征选择等。
然后，构建合适的模型，可以采用主成分分析、偏最小二乘法或支持向量机等方法。
最后，进行模型验证和检验，评估模型的准确度和鲁棒性。
近红外光谱解析的应用非常广泛，涉及农业、食品、化学、药品、生物医学等领域。
它可以用于农产品质量检测、食品成分分析、药品质量控制等。
近红外光谱解析具有快速、非破坏性、准确度高等优点，因此备受研究者和工程师的青睐。
总结起来，近红外光谱解析是一种有效的分析技术，具有广泛的应用前景。
通过正确选择仪器设备，合理制备样品，以及采用科学的数据处理方法，可以实现准确、快速和可靠的分析结果。
希望本指南能够为读者提供有关近红外光谱解析的基本知识和实用指导。
近红外光谱分析技术的数据处理方法
近红外光谱分析技术的数据处理方法数据处理方法主要包括光谱预处理、特征提取和模型建立三个步骤。
光谱预处理是指在进行特征提取和模型建立之前对光谱数据进行预处理，主要目的是去除噪声、修正谱线偏移、提高曲线分辨率等。
常见的光谱预处理方法有：1. Baseline Correction（基线校正）：光谱图中常常存在基线漂移现象，可以通过多种方法进行校正，如直线基线校正、多项式基线校正、小波基线校正等。
2. Smoothing（平滑）：常用的平滑方法有移动平均、中值平滑、高斯平滑等，可以去除谱图中的高频噪声。
3. Normalization（归一化）：归一化可以将不同光谱样本之间的强度差异消除，常用的归一化方法有最小-最大归一化、标准差归一化等。
特征提取是指通过对预处理后的光谱数据进行降维或选择重要信息，提取出有效的特征用于模型建立。
常见的特征提取方法有：2. Partial Least Squares (PLS, 偏最小二乘法)：通过将多个预测变量与原始的输出变量进行线性组合，找到最佳的方向，实现数据降维并提取有效特征。
3. Variable Selection（变量选择）：通过对预处理后的光谱数据进行相关性分析、F检验、t检验等方法，筛选出与目标变量相关性较高的变量。
模型建立是指根据预处理后的光谱数据和与之对应的标准参照值，通过建立适当的数学模型，实现定量或定性的分析与检测。
常见的模型建立方法有：1. Partial Least Squares Regression（PLSR, 偏最小二乘回归）：通过与已知样本值的相关数据分析，建立起预测模型。
2. Support Vector Machine (SVM, 支持向量机)：通过寻找最佳的分割超平面，将样本划分到不同的类别中。
3. Artificial Neural Networks (ANN, 人工神经网络)：通过多层神经网络对光谱数据进行训练和拟合，实现预测与分析。
DS算法在近红外光谱多元校正模型传递中的应用
Ｄ Ｓ算 法在 近 红外 光 谱 多 元校 正 模 型传 递 中的应 பைடு நூலகம்
李庆波 张广 军¨ ， ， 徐可欣 汪 噍 ，
●
１ ．北京航 空航天 大学仪器科学 与光 电工程学 院，北京
１ ０ ８ ００３
２ ．天津 大学精密测试技术及仪器 国家重点实验室 ， 天津
３ ０ ７ ００２
摘
要 模 型传递问题是近红外光谱分析技术 中一个关 键 的共性 基础技术 问题 。模 型传递通 过在 同一型号
中图分类号 ：０ ５ ． ６７３
引 言
光谱仪器与化学计量学理论相结合形成 的近红外光谱分 析技术 具有快速 、 高效 、非破坏 、 品无 需预处理 、 污染 、 样 无 无 浪费等优 点 。 近年来 ，该 技术 已广 泛应用 于食 品工业 、农 业、 石油化工 、医药 、生命 科学 等许多 领域Ｌ ，实 现样 品多 １ ］ 种 品质参数 的同时测量 。 近红外光谱分析方 法多采用 多元校 正方法 ， 通过对样品光谱和其浓度 等品质参 数进 行关联 ，建 立校正模 型 ， 然后通过校正模型和未知样 品的光谱信 息来 预 测样 品的品质参数 。 在近红外光谱分析实 际应用 中经 常遇到这样 的情况 ，在 某一仪器或者某一种测量条件下建立 的多元校正模 型 ， 另 在
的两台仪器 之间寻求 一种变换关系 ， 使得在一 台仪 器上建立起 的模 型能够应用 于另外一 台仪 器样 品光谱 响 应 的预 测。文章将 直接校正 （ｉ ｃ ｓａ ｄｒ ｉ ｔ ｎ Ｄ ） ｄｒ ｔ ｔｎ ａｄ ａｉ ， Ｓ 算法应用 于化 学计量学多元校正 中的模型传递 ， ｅ ｚ ｏ 并研 究 了模 型转换集样 品的选 择方 法。在两 台 ＡＯＴ Ｆ近红外光谱仪上进行 了模型传递 实验 ，首先采用 Ｋｅｎ ｒ／ ｎ ａｄ Ｓｏ ｅ ｔｎ 算法选择转换集样品 ， 然后采用 Ｄ Ｓ方法进行模 型传递 。实验结果表明采用 Ｄ Ｓ算法取得 了较好 的模型 传递效果 。Ｄ Ｓ算法不仅可 以应用于不 同仪器之 间的光谱 分析模型传递 ，而且该方 法对于 同一仪器 的长时 间 漂移或者 由于部件 的更换 、测量环境 的改变等引入 的光谱差 异校正也是适用 的。 关键词 Ｄ Ｓ算法 ；模型传递 ；多元 校正 ； 化学计量学 ；光谱分析 文献标识码 ： Ａ 文章编 号 ： ０ ００ ９ （０ ７ ０—８ ３０ １ ０ —５３ ２ ０ ）５０ ７—４ 模型传递 。该方 法是 一种数学解决 方法 ， 具有 实际应用 价 更
用近红外光谱技术快速测定聚氯乙稀K值的新方法——正交信号校正法
摘 要： 文基于 正交投 影 的正交校 正算 法 （ Ｓ ），建 立 了聚氯 乙稀近 红外光谱 与 其 本 ＯＣ Ｋ值 之 间关 系 的数 学模 型，提 出 了用 近红外 漫反射 光谱技 术快 速检测 聚氯 乙稀 Ｋ值 的 新 方法。研 究结果表 明，原 始光谱 经 正交信 号校 正处理 后，聚 氯 乙稀 Ｋ值化 学测定值 与近红外预 测值 的相 关系数和标 准差 为 Ｒ：０ ８５ Ｒ ＥＰ＝０ ９３ ． ２ 、 ＭＳ ９ ． ３ ，预测 结果 的相 ５
Ｏｒ ｈｏ ｏ ｌＳｉ ｎａ ｔ ｇ ｎａ ｇ ｌＣｏｒ ｅ ｔ ｏ 。－－ ｒ ｃ ｉ ｎ ＿－－ ｅ ห้องสมุดไป่ตู้ｏ ｏｒ Ｎ Ｉ ｏ Ｆａ ｔ ＿－— 。－ —Ａ Ｍ ｔ ｄ ｆ Ｒ ｔ ｓ －－
ＤｅｅｍｉｅＫ Ｖａｕ ｆ ｏｙ（ ｎ ｌ ｌｒ ｅ ｔｒ ｎ ｌｅｏ ｌ Ｖｉｙ ｏ ｉ ） Ｐ Ｃｈ ｄ
ａｔ ｒｔ ｅｏ ｔ ｏ ｏ ａ ｉｎａ ｏ ｒｃ ｉｎ．Ｔｈ ｅａ ｉｅｅ ｒ ｒｏ ｈ ｒｄｉｔ ｄ ｒ ｓ ｌｓＷａ ｓ ｈａ ．％ ．Ｔｈｅ ｆｅ ｈ ｒｈ ｇ ｎ ｌ ｇ ｌｃ ｒｅ ｔｏ ｓ ｅｒｌｔｖ ｒｏ ｆ ｅｐ ｅ ｃ ｅ ｅ ｕ ｔ ｓ ｌ ｓｔ ｎ ０５ ｔ ｅ
ｃ ｅ ｃ ｎ ｙ ｉ ｖ ｌ ｅ ａ ｄ ｔ ｅ ＮＩ ｐ ｅ ｃ ｔ ｄ ｖ ｌ ｅｏ ｈ ｖ ｌ ｅｏ ｈ ａ ｐ ｅ ｗｅ ｅ ０ ９ ２ ｎ ．９ ３ ｈ ｍｉ ａ ａ ａ ｓｓ ａ ｕ ｎ ｈ Ｒ ｒ ｄｉａ ｅ ａ ｕ ｆ ｅ Ｋ ａ ｕ ｆ ｅ ｓ ｍ ｌ ｒ ．８ ５ ａ ｄ ０ ５ ３ ｌ ｌ ｔ ｔ
Ａ ｂｓ ｒ ｃ ： Ａ ｅ ｍｅ ｈ ｄ ｆ ｒ ｆ ｓ ｅ ｅ ｍ ｉ ｉ ｈ ｖ ｌ ｅ ｏ ｐ ｌ ｖｎｌ ｈｏｉ ） ｙｍ ａｓ ｆ ｅｒ ｔ ａ ｔ ｎ ｗ ｔ ｏ ｏ ａ ｔ ｄ ｔ ｒ ｎ ｎｇ ｔ ｅ Ｋ ａ ｕ ｆｏ ｙ（ｉ ｌ ｄ ｂ ｅ２ ａ ｙｃ ｒｅ ２ｏｎ
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
主因子取在PRESS拐点处 拐点处 主因子取在 相关系数仅作为参考
定量模型的确认原则
异常样品的处理
存在两类异常样品
样品化学值比较极端，影响模型预测的准确性。 样品化学值比较极端，影响模型预测的准确性。 但一般能提高模型的适应性 可用马氏距离（杠杆值进行判定） 可用马氏距离（杠杆值进行判定）
操作
先采集参比光谱 后采集样品光谱 重复装样采集2次
光谱采集注意要点
-充分确认仪器性能后进行光谱 采集； -光谱采集的仪器参数设置一致 颗粒样品位置正确、表面压 平；粉末样品刮平表面；液 态样品清除气泡 每一类样品状态基本一致
光谱采集 注意要点
每一个样品，每一次光谱采集 的编号唯一，便于识别 样品采集完光谱后马上进行化 验检测，可保证光谱与化验值 具有更好的对应性 -操作手法轻灵，轻拿轻放； -注意清洁，防护仪器
定量模型的验证原则
验证样品具有一定数量，可进行统计分析 重复性至少选择5个样品进行检验 准确性至少选择10个样品进行检验，该样品化验性质需进行平 行测试 准确性检验可能存在系统偏差Bias值，准确性检验时需扣减该 Bias值
经过验证的模型可用于日常分析， 经过验证的模型可用于日常分析，分析时样品状态保持与建模样品一致
交互检验方法：8-fold交互检验（减少计算时间） 交互检验方法： fold交互检验（减少计算时间） 交互检验 光谱波长选择：吸收在0.1—1.5 光谱波长选择：吸收在0.1 1.5之间的波段 0.1 1.5之间的波段
定量模型的确认原则
根据性质值的化学分析方法稳定性确定模型参数 一般规则：模型 一般规则：模型SEC <= SECV *1.2 SECV值与化学方法稳定性标准偏差相当 值与化学方法稳定性标准偏差相当 在上述基础上分析模型的主因子越小越好
近红外光谱分析定量校正 过程操作规范
内容纲要
近红外分析影响因素回顾 近红外建模和分析操作规范
影响NIR分析准确性的因素 分析准确性的因素 影响
样品
参与建模的样品量不足 建模样品不具代表性 近红外方法不适合分析该性质 非线性因素对模型的影响 性质值不稳定， 性质值不稳定，模型不理想 样品光谱和化验性质数据不匹配 仪器未正常工作 样品未经过清理 温度 湿度 震动 其他干扰
模型维护方法
NIR是一种二次方法， NIR是一种二次方法，需要长期进行检验 是一种二次方法 NIR分析 NIR分析 检验发现不合格，需要对分析模型进行维护， 检验发现不合格，需要对分析模型进行维护， 结果确认 保证分析结果的准确性
模型 维护方法
通常情况下进行Bias校正 通常情况下进行Bias校正 Bias Bias校正失效进行模型扩充维护 Bias校正失效进行模型扩充维护
模型维护操作
日常使用NIR仪器发现出现红色报警样品 日常使用NIR仪器发现出现红色报警样品 NIR 收集该红色报警样品， 收集该红色报警样品，并进行化验分析保证分析结果的准确性 收集10个该报警样品 收集10个该报警样品 10 将样品的化验平均值与NIR检测平均值进行对比， 将样品的化验平均值与NIR检测平均值进行对比，计算出平均误差和 NIR检测平均值进行对比 方差
影响 因素
操作
环境
分析结果准确性
1 影响NIR分析结果准确性的因素多种多样， 不能就一个方面轻易下结论 2 一般需要对建立好的标准曲线或模型进行验证， 满足要求后才能使用 3 建模分析过程需要一套规范保证
内容纲要
近红外分析影响因素剖析回顾 近红外建模和分析操作规范
近红外定量模型校正过程
1. 2. 3. 4. 5. 6. 7.
同一性质不同方法检测值， 同一性质不同方法检测值，不能合并到一起
化学 基础 数据 注意 点
同一性质不同校正基础的数据不能合并，如干基蛋白 同一性质不同校正基础的数据不能合并，
化学值与对应的光谱一致， 化学值与对应的光谱一致，错位将导致模型错误
同一集团不同厂的基础数据需进行核对确认
基础数据的信息记录完整， 基础数据的信息记录完整，符合标准要求
定量模型的建立
建立定量分析模型包含如下几个步骤
构建建模样品集
确定建模方法
优化评价模型
定量模型建立 和优化
选择建模参数
对异常样品进 行处理
定量模型的建立使用参数
建立定量模型的方法： PLS方法 建立定量模型的方法：K-fold PLS方法 光谱预处理方法选择： 光谱预处理方法选择：
SNV---消除光程差异 SNV---消除光程差异 --DT-----消除基线漂移 DT---消除基线漂移 SG平滑---降低噪声水平 平滑--SG平滑---降低噪声水平 SG一阶导数---提升有用信号水平 一阶导数--SG一阶导数---提升有用信号水平 均值中心化
模型维护操作—Bias校正 校正 模型维护操作
第二次进行模型Bias校正时，需要在第一次Bias校正基础上进行 第二次进行模型Bias校正时，需要在第一次Bias校正基础上进行 Bias校正时 Bias 一般不进行斜率校正
模型维护操作—模型扩充 模型维护操作 模型扩充
可以使用模型扩充工具进行模型扩充自动处理（没有建模经验） 可以使用模型扩充工具进行模型扩充自动处理（没有建模经验） 将新的建模样品与原模型的建模样品合并，重新建立分析模型（有建模经验） 将新的建模样品与原模型的建模样品合并，重新建立分析模型（有建模经验） 推荐使用第二种方法 模型扩充时可只针对某一个性质进行， 模型扩充时可只针对某一个性质进行，而不影响其他性质参数
异常样品处理的原则
定量模型的验证
• 同一样品的多张光谱
重复性
• 重复性优于性质值化验检测方法重复性
• 一组样品已知化验性质的样品
准确性
• 准确性与原模型分析结果一致： 准确性与原模型分析结果一致： • SEP与SEC结果相当或略有变大 与 结果相当或略有变大
68%
95% 99% 3.8 3.9 4.0 4.1 4.2
根据生产经验挑选建模样品， 根据生产经验挑选建模样品，即多挑选生产异常时样 品，生产正常时样品可少挑选 最开始收集的100个样品全部用于建模 最开始收集的100个样品全部用于建模 100 采集的同一个样品的重复光谱在光谱数量小于400时 采集的同一个样品的重复光谱在光谱数量小于400时， 400 可作为不同样品建模 当收集的样品个数大于200，光谱个数大于400以后， 当收集的样品个数大于200，光谱个数大于400以后， 200 400以后 可将建模样品中的重复光谱删除， 可将建模样品中的重复光谱删除，节约内存开销加快计 算速度 全局距离和最近邻距离可剔除部分信息重复的样品， 全局距离和最近邻距离可剔除部分信息重复的样品， 一般情况下仅使用最近邻距离剔除样品
选择建模校正样品原则
建模样品数量需要达到一定水平；成熟模型 建模样品数量需要达到一定水平；成熟模型200个以上 个以上 建模样品每一个性质的分布情况呈均匀分布 可基于收集样品的光谱和性质分布情况挑选建模样品 性质值过于集中的样品对模型开发无益
通常情建模校正样品实际操作
该样品的参考测量值有误， （1）该样品的参考测量值有误，其误差范 围超出了标准的规定范围； 围超出了标准的规定范围； （2）模型不能用于该样品的测定 可用学生残差进行判定
异常样品处理的原则
马氏距离（杠杆值）判定的异常样品一般不剔除。 马氏距离（杠杆值）判定的异常样品一般不剔除。 前提1： 前提 ：其化验性质值确实准确无误 前提2：该样品对模型的准确度影响不太大， 前提 ：该样品对模型的准确度影响不太大， 可保证SECV值与该性质的稳定性标准差相当 可保证 值与该性质的稳定性标准差相当 学生残差判定的异常样品一般进行剔除 建模过程中一般最多剔除3轮异常样品而形成最终分析模型 建模过程中一般最多剔除 轮异常样品而形成最终分析模型
注意
所收集的样品有一定的量，固体 液体100ml 所收集的样品有一定的量，固体200g液体 液体
要点
所收集的样品标签明确，保存 个月不变质 所收集的样品标签明确，保存3个月不变质
所收集的样品充分混合均匀
光谱采集原则
光谱采集原则
仪器
仪器充分预热 性能测试过关
样品
样品放置到室温 或预热充分 充分混合均匀 样品状态一致
如果Bias值小于可接受平均误差， SD与模型SECV相当，则可不维护； 如果Bias值小于可接受平均误差，且SD与模型SECV相当，则可不维护； Bias值小于可接受平均误差 与模型SECV相当 如果Bias值大于可接受平均误差， SD与SECV相当 则进行Bias校正； Bias值大于可接受平均误差 相当， Bias校正 如果Bias值大于可接受平均误差，且SD与SECV相当，则进行Bias校正； Bias过大 过大， SD值过大 值过大， 当Bias过大，且SD值过大，则需要对分析模型进行扩充维护
样本的收集 光谱的采集 校正样本的选择 化学基础数据的测定 定量模型的建立 定量模型的验证 模型维护
7个方面建立规范
样本收集原则
建模样品应包含以后未知样 品所包含的所有化学组分 建模样品的浓度变化范围大 于未知样品的变化范围
建模样品收集
组分浓度在整个变化范围内 是均匀分布的 收集足够的样品数以能统 计确定光谱变量与浓度（ 计确定光谱变量与浓度（ 或性质） 或性质）之间的数学关系
样本收集具体操作
没有基础模型收集100个以上样品， 没有基础模型收集100个以上样品，如有则减半 100个以上样品
• 收集开车时样品 • 收集工艺参数调整期样品
工业品
• 收集原料发生改变前后样品 • 收集稳定生产的部分样品 • 收集的样品信息记录完全如时间、批号、工艺 收集的样品信息记录完全如时间、批号、 条件、样品状态等， 条件、样品状态等，并良好保存