基于改进剪辑的高光谱遥感图像半监督分类_王俊淑

收稿日期：2014-08-19 修回日期：2014-09-19 *国家自然科学基金资助项目（41171269）、江苏省高校自然科学研究面上项目(14KJB170010)、环保公益性行业科研专项项目（201309037）、 江 苏高校优势学科建设工程资助项目(164320H101)、地球系统科学数据共享平台项目（2005DKA32300)和江苏省普通高校研究生科研创新计划项目。
L(0)，利用改进的 Self-training 算法获得新增标记 样本 L’。然后根据最近邻域规则（以 8 邻域为例） 提供的局部信息，对集合 L’中的样本进行数据剪 辑。最后，将剪辑后的标记样本集 L’’更新至训 练集 L 中，得到扩大的标记样本集 L∪L’’，并重 新训练分类器，对剩余的未标记样本 U- L’’进行 预测，直至分类结束。算法详细描述如下：
样本集 L(t+1)=L(t)∪L’’，Ut+1=Ut- L’’。最后，使用 更新后的标记样本集 Lt+1 重新训练分类器 Mt+1， 若迭代次数达到最大次数 r 或未标记样本集 Ut+1=Ф，则迭代过程结束。否则继续对 Ut+1 集合 中未标记样本分类预测。
中剔除。当 L’中的误标记样本被确定并剔除后， 将剩余的置信样本集 L’’(L’’= L’-{x|x∈Lmis})更 新至训练集 L 中，Lmis 是误标记样本集合。然后， 用更新后的训练集 L∪L’’重新训练分类器，迭代 此过程直至分类结束。
1.4 基于 DE-self-training 的半监督分类算法 DE-self-training 算法根据初始标记样本集
8-邻域为例），统计样本 x(x∈U)8 个邻域样本的 类别标记数量，将类别最多的那个标记作为主标
记 ym，遵循少数服从多数的原则，样本 x 属于类 别 ym 的可能性较大。若 x 的预测标记不是 ym， 即取样本 x 的类别标记 yx 与 8 邻域样本中个数最 多的类别标记 argmaxnum(yneigh(x))不一致，则认为 x 是误标记样本，将 x 从集合 L’中剔除。否则将 x 保留，得到置信样本集合 L’’= L’-{x|x∈Lmis}， Lmis 是误标记样本集。更新标记样本集和未标记
能，可以避免分类器过拟合于训练样本而造成泛 化性能下降的情况。另外，由于半监督学习借鉴 了大量无标记样本参与训练，训练过程中噪声或 误标记样本对模型的增强会不可避免地引起退 化现象。如何尽量避免退化现象的发生，并不断 强化正确标记样本对模型的正面作用是半监督 分类的关键。
针对上述问题，本文提出了一种半监督分类 算法 DE-self-training。在标记样本数量有限的情 况下，充分利用大量未标记样本的有用信息协助 分类。同时，由于初始标记样本数量较少， Self-training[3]在迭代扩大训练集的过程中会引 入大量误标记样本，其携带的错误信息会逐渐积 累而使分类精度不断下降。为了避免误标记样本 对分类模型的负面影响，运用基于最近邻规则的 数据剪辑策略(Data editing)[13-16]对迭代分类过程 中置信度较低的标记样本（视为噪声）进行过滤。 优选置信度较高的样本加入训练集中，提高训练 集的质量，不断优化分类器的性能，提升高光谱 遥感图像分类效果。
网络出版时间：2014-12-09 14:50 网络出版地址：/kcms/detail/11.1964.S.20141209.1450.019.html
农业机械学报
基于改进 Self-training 和数据剪辑的高光谱遥感图 像半监督分类*
王俊淑 1,2 江 南 1,2 张国明 3 胡 斌 1,2 李 杨 , 1,2 吕 恒 1,2
半监督分类[6-12]可以解决上述问题。首先， 对于高光谱遥感图像而言，采集标记样本十分耗 时耗力，分类时若仅使用少量“昂贵的”有标记 样本而不利用大量“廉价的”未标记样本[4, 5]， 无疑是一种信息损失。半监督分类可以在标记样 本较少的情况下，充分利用大量未标记样本来改 进传统的监督学习任务。其次，半监督分类综合 利用有标记样本和无标记样本改善分类器的性
数据剪辑通过确定并剔除标记过程中产生 的错误训练样本来提高训练集质量。典型的数据 剪辑方法见文献[13-16]。本算法采用基于最近邻 规则的数据剪辑过滤噪声样本。具体操作如下： 首先，从未标记样本集 U 的预测结果中随机选择 k 个样本加入集合 L’中。在与训练集 L 合并之前， 对 L’进行数据剪辑操作。最近邻规则可以表达 L’ 集合中样本间的局部空间关系（以 8 领域为例）。 根据聚类假设，一个样本 x 邻域范围内的其他样 本应和 x 具有相同的类别标记。若 x 的类别标记 与其邻域范围内大多数样本标记一致，则将 x 作 为置信样本保留，否则将 x 作为误标记样本从 L’
Self-training 算法由 David Yarowsky1995 年 提出[17]，主要用于自然语言和文本处理，是半监 督学习的主要范型之一。给定一个样本集 X 和对 应的类别标记集合 Y，其中样本集 X 是 p 维特征 向量（包含所有标记样本 L 和未标记样本 U）， X 的初始状态包括少量标记样本和大量未标记 样本(即 L 中样本数量远小于 U 中样本数量)。初 始标记样本集用 L(0)表示，对应的标记集为 Y(0)。 用初始标记样本集及其类别标记(L(0),Y(0))训练一 个初始分类器 M(0)，对未标记样本 x∈U 预测类 别标记，从预测结果中选取预测概率 πx(t+1)(y^) 最大的样本 x 及其标记 y^分别并入标记样本集 L 和标记集 Y 中，L(t)={x∈X| Y(t)≠⊥,t>=1}，预测 的类别标记规则如下：
Yx(t+1) =
Yx(0) (x∈L(0)) y^ (πx(t+1)(y^)>ζ)
(1)
⊥ (其他)

其中，ζ 为预测概率的阈值。再用扩大的标记样 本集训练新的分类器 Mt，对未标记样本进行分 类预测。如此迭代进行分类器训练、预测过程， 直至达到最大迭代次数 r。 1.2 随机选取策略增加信息量
标准 Self-training 算法在扩大训练集时，预 测样本按概率选取并加入训练集，参与分类器的 迭代训练过程。以高概率作为样本选取规则对于 文本分类、网页分类比较有效，但对于高光谱图 像效果甚微。因为初始训练集规模较小，对于高 光谱数据而言，“同物异谱”、“异物同谱”现象 以及混合像元的存在，使得少量的初始训练集并 不具有很好的代表性，即信息量通常较为集中，
首先，根据初始标记样本集合 L(t)和对应的 初始标记集合 Y(t)训练初始分类器 Mt，初始 t=0,t ∈{0,1,…,r}，其中 r 为最大迭代次数。其次，用 分类器 Mt 对未标记样本集 Ut={xk|k=1，2，…， un}中的每一个样本进行分类预测，其中 un 为未 标记样本的数量。然后，再从 Ut 的预测结果中 挑选 10%的样本加入到新标记样本集 L’中，同 时将 Ut 集合中相应样本剔除；并对 L’集合中的 样本执行数据剪辑操作，根据最近邻规则（以
（1.南京师范大学虚拟地理环境教育部重点实验室，南京 210023；2.江苏省地理信息资源开发与利用协同创新中心，南京 210023；3.江苏省卫生统计信息中心，南京 210008）
摘要：提出了一种高光谱遥感图像半监督分类算法 DE-self-training。利用少量标记样本作为初始训练集，基于改进的 self-training 算法构建初始分类器，对未标记样本进行预测；然后从分类结果中按一定比例随机选取部分样本，连同其类 别标记一起加入训练集中，再用扩大的训练集重新训练分类器，并对剩余的未标记样本进行预测。如此迭代地进行训练预测-挑选样本扩大训练集过程。同时，在迭代训练过程中，运用基于最近邻域规则的数据剪辑策略对扩大训练集时产生 的误标记样本进行过滤，以保证训练集的质量，不断迭代地训练出更精确的分类器，最终使所有未标记样本都获得类别 标记。以 AVIRIS Indian Pines 和 Hyperion EO-1 Botswana 作为实验数据对 DE-self-training 算法进行测试，并与基于支持向 量机的分类结果作比对。实验表明，DE-self-training 算法可以在标记样本数量有限条件下，充分挖掘未标记样本的有用信 息，使总体分类精度和 kappa 系数都有不同程度的提高。 关键词：高光谱遥感图像；半监督分类；数据剪辑
分类器难以获得知识增益，分类效果提高有限。 同时，初始训练集训练得到的分类器通常性能较 差，分类结果中的高概率样本也可能是误标记样 本。若误标记样本参与分类器的迭代训练过程将 会引入更多的噪声，造成分类性能下降。
本文算法对 Self-training 做出如下改进：○1 在扩大训练集时，摒弃按概率从未标记样本集中 选取样本的策略，改为随机选取。增加含有丰富 信息量的样本被选中的机会，尽可能为模型增加 更多的知识。○2 对扩大训练集时引入的样本进行 数据剪辑以降低噪声。首先，根据每次训练得到 的分类器对集合 U 中所有未标记样本进行分类 预测，并迭代地从预测结果中随机选取 10%加入 集合 L’中(初始 L’为空)，然后对 L’进行数据剪 辑，剔除噪声样本后得到集合 L’’，并入训练集 中 L 中，用更新后的训练集 L∪L’’重新训练分类 器，对剩余的未标记样本集 U- L’’进行预测。迭 代执行此过程，直至达到指定的迭代次数或未标 记样本集合 U 为空，即所有样本都获得类别标记 时迭代分类过程结束。 1.3 数据剪辑策略过滤噪声
作者简介：王俊淑，博士生，江苏省地理信息资源开发与利用协同创新中心助理研究员，主要从事高光谱遥感影像智能信息提取及应用
研究，E-mail：jlsdwjs@ 通讯作者：江 南，教授，博士生导师，主要从事 GIS 与遥感技术及应用研究，E-mail：njiang@
1 基于改进的 Self-training 和数据剪辑的 高光谱遥感图像半监督分类算法
中图分类号：TP751.1 文献标识码：A 文章编号：20140819003