流行学习方法的若干问题

稀疏样本的处理
流形学习算法——样本稠密 曹顺茂、叶世伟——LLE的样本稀疏问题
（1）监督式局部线性嵌入算法 （2）使用核方法将高维空间的坐标投影到特征空间，然 后构造出在低维空间的全局坐标
督与半监督
现有的非线性维数约简方法多数是无监督的， 如何将其推广到半监督以及有监督的情况， 是一个有价值的研究课题。 Ridder——针对LLE提出了监督局部线形嵌入 方法——用来处理含有交叉流形的数据。 Geng等人也提出了监督流形学习方法。（） Belkin等人也成功地将LE应用于半监督的 Riemannian流形学习和流形规则化。（）
放大因子
放大因子
延伸方向
算法的泛化
杨剑、王珏——VQ PCA+LTSA=PLTSA——解决了LTSA 中大规模矩阵的特征值分解问题，在存储少量数据的条件下 能对新样本进行处理，但是对新样本的处理不具有可推广性。 Bengio——现有的基于特征分解的非监督算法，不管是对 已知训练集的嵌套还是聚类，在无需重计算特征向量而直接 推广至未知样本上都存在一定的困难——基于对LLE等五种 不同的流形学习算法进行了分析，提出了对这些算法的outof-sample学习能力扩展，使用一个训练好的模型用于outof-sample数据的学习，而无需重新计算特征向量——统一 框架：关系矩阵被看作一个独立于数据的核，这里的核与训 练数据相关，根据这个核学习其特征函数，不必重新计算特 征向量, 直接通过Nystrom公式得到新样本的低维嵌入。
需要研究的问题
理论完善与算法改进 邻域的选择 本征维数的确定 噪声处理 稀疏样本的处理 监督与半监督 算法的评价 算法的泛化 ??交叉流形??互逆问题
理论完善与算法改进
收敛问题 张长水等人在LLE基础上提出了一种从低维 嵌入空间向高维空间映射的方法，并在多姿 态人脸图像的重构实验中得到有效的验证； Saul等人在LLE方法的基础上，结合流形的 微分几何特征，发展出基于半正定规划的流 形方法，适用于不同类型的流形； 谭璐等人结合LLE和LE，提出了局部不变投 影方法 ，在维数约简时也能够保持数据集的 几何结构和拓扑结构不变。
邻域的选择
Kouropteva等，2002，为LLE自动选择领域因子 Samko等，2004，为Isomap自动选择领域因子 王靖等提出了一种邻域的收缩与扩张算法，用于在每 个样本点上自适应地选择邻域参数k。(可视化意义下 取得了很好的效果，但是增加了计算复杂性) 北京交通大学--邵超,黄厚宽,赵连伟采用一些方法去 解决ISOMAP算法中的“短路/空洞”问题: (1)通过二 阶最小生成树 (2)根据”短路”边会途径相对的低密 度区(3)采用MDS算法的一个变种来减弱长测地距离和 “短路”边对距离保持的影响. 在小邻域上的学习得到一个全局的坐标非常困难，如 何将全局与局部数据的学习结合起来是一个非常有意 义的研究课题。
流形学习方法的若干问题
两类算法的比较
1。两种方法都要确定两个参数：一个是邻域大小，另
一个是本征维数d。 2。都是将问题简单地转化为特征值的求解问题，不需 要迭代，避免了局部极值问题。 ISOMAP 忠实地表达数据的全局 结构，不仅保证将流形上 邻近的点映射到低维空间 中的邻近点，而且保证将 流形上距离远的点映射到 低维空间中远距离的点。 LLE 侧重于保证局部邻域结 构，仅仅保证将流形上邻 近的点映射到低维空间中 的邻近点，但并不保证将 流形上距离远的点映射到 低维空间中远距离的点。
邻域的选择--- K选取原则
近邻点K的值要大于流形的维数d；K>>d会提高算法 的鲁棒性； K不能过大，对于高曲率的流形，K过大会导致不能 正确表示其局部几何关系。 K过小会导致流形不连续。 k = argmin(1− ρ 2DxDy ) 文献*估计K的方法是： k Dx是输入空间X的欧氏距离矩阵，Dy是得到嵌入的低 维流形Y的欧氏距离矩阵，ρ 是他们之间的相关系数。 (实验得到的K值并不理想！！) * ‘Olga Kouropteva,Oleg Okun and Matti Pietikainen. Selection of the optimal parameter value for the locally linear embedding algorithm’
两类算法的比较
对应的低维空间的子集 为凸，仅适用于内部平坦 的流形，而不适用于内在 曲率较大的流形 较好地处理具有单一流 形结构的数据 不要求低维空间的子集 为凸,应用范围较广
降维时产生“elbow”现 象，可判断出流形的本征 维数。但ISOMAP的本征 维数通常要经过多次实验 绘制残差曲线才能得到
本征维数的确定
PCA方法基于方差比来确定约简维数 ISOMAP利用方差损失形成的拐点估计维数 其他
最近邻域 分形维 Packing Numbers 测地线最小生成树 最大似然估计
本征维数的确定
赵连伟等人区分了嵌入空间维数、高维数据 的本征维数与流形维数这些容易混淆的概念， 完善了流形学习的研究理论，并且证明如果 高维数据空间存在环状流形，流形维数则要 小于嵌入空间维数，还给出一种有效的环状 流形发现算法，以得到正确的低维参数空间。
算法的评价
张军平——局部放大因子和延伸方向——判 别流形学习算法准确性的一种定量评估准则 放大因子，就是观测空间的数据点变化趋势 与在嵌入空间的变化趋势的比值，这个比值 在连续模型中相当于在降维的映射下，一个 高维空间映射到低维空间后的“体积”比的 比例——微分几何中的”微观”放大因子— —Bishop的生成式拓扑映射 延伸方向，就是指嵌入空间的局部数据变化 的主要方向
噪声处理
詹德川、周志华针对ISOMAP算法，通过引入集成 学习技术，扩大可以产生有效可视化结果的输入参 数范围，以此降低该算法对噪音的敏感。 张振跃等人也提出一种局部线形平滑的思想来解决 噪声问题，先采用加权PCA来构建局部小块，然后 用迭代方法优化权值。这种方法可以用作其它非线 性降维方法的预处理，平滑噪声，得到对原始数据 较好的重构。但是这种改进方法也同样存在一些问 题，如迭代算法容易陷入局部极小值，鲁棒性不够 高。
Ham——要将流形学习统一到对核函数的研究，并且把不同关系 矩阵看作不同的核矩阵，然后用核方法对这些学习算法进行解释
由于LLE 低维嵌入保持 的不是一个距离关系，对 于等距流形，不一定能很 好的恢复出同它等距的低 维嵌入
两类算法的比较
噪声干扰的影响要大于 对于有噪音、样本稀疏 局部方法，在噪声干扰下， 或者相互关联较弱的数据 ISOMAP用于可视化会有 集，在维数约简时很可能 不稳定现象，取较大的邻 会将远距离点映射到邻近 域会产生“短路”现象， 点的位置。 而选取较小的邻域，虽然 能够保证整体结构的稳定， 但低维投影结果会产生大 量“空洞”，使得最短路 径算法重构的图不连通。