几种多示例学习算法研究分析

Ｉ数字技术　＿＿十ｆ丽　算法分析　

几种多示例学习算法研究分析　杨雪洁赵凯　（合肥师范学院公共计算机教学部安徽合肥２３０６０１）　

摘要：多示例学习与传统机器学习有很大不同，多示例学习中一个样本包中有多个示例，样本包有类别，而示例没有类别标记，属于一对多的学习框　架。本文介绍了多示例学习提出背景及基本特点，从包层次和示例层次两方面分析比较了几种具有代表性的多示例学习算法，最后展望了多示例学习　算法的进一步研究方向。　关键词：多示例学习机器学习ＢＰ算法ＫＮＮ算法　中图分类号：ＴＰ３９１　４１　文献标识￣ｉＬ＇ｑ：Ａ　文章编号：１００７—９４１６（２０１６）０８—０１５１－０１　

１引言　Ｔ．Ｇ．Ｄｉｅｔｔｅｒｉｃｈ等人在研究药物活性预测时提出了多示例学习　的概念［】］。该问题是通过机器学习方法对样本分子（已标记适合制药　及不适合制药　行学习，从而尽可能正确预测某些新分子是否适合　制药。研究人员因技术原因只知道哪些分子适合制药，而对于该分　子中哪一种具体形状适合制药并不清楚，因为一个药物分子可能有　多种可能的形状（同分异构体），要有一个形状起作用，则这个分子就　适于制药，若该分子所有示例都不适合制药，该分子才不适合制药，　该问题提出了样本和示例一对多的学习框架，在该框架中若按监督　学习直接以分子为对象进行学习，将所有适合制药的分子作为正例　学习，会出现由于正例中噪声太高而难以学习，因为正例中也会有　大量不适合制药的形状，所以该问题提出了一种新的学习方式一多　示例学习。　

２多示例学习　多示例学习中的训练示例没有被标记类别，监督学习中所有训　练样本都有具体类别；多示例学习中训练分子（包）是有具体类别，非　监督学习的训练样本都没有类别标记。在监督、非监督学习中，一个　样本就是一个示例，不可以再次分割，一个样本只能属于一个具体　的类别，即样本和示例是一一对应关系，而多示例学习，一个样本（即　包）中有多个示例，训练集由若干个有类别的包组成，其中每个包包　含一些没有类别的示例。若一个包中至少存在一个正示例，则该包　被标记为正包；一个包中不含有任何正例，则该包为反包。学习系统　通过对已经标定类别的包进行学习来建立模型，希望尽可能正确地　预测训练集以外的包的类别标记［２］。机器学习算法目标是要找出　ｕｎｋｏｗｎ　ｐｒｏｃｅｓｓ的最佳逼近方法，传统监督、非监督学习描述见　

Ｂａｇ　ｕｎｋｏｗｎ　ｐｒｏｃｅｓｓ　Ｒｅｓｕｌｌ　

图１传统学习描述　

Ｂａｇ　

图１，多示例学习问题描述见图２。　多示例学习的提出拓宽了机器学习解决问题的领域，该问题在　现实生活中可以找到很多原型，例如基于内容的图像检索、文本分　类、视频内容检测、计算机安全预测等。国内外研究人员提出了多种　多示例学习算法，大致可以分为两类，从具体示例角度的示例层次　算法和从包层次分析的包层次算法。　

３示例层次算法　示例层次算法早期具有代表性的是Ｔ．Ｇ．Ｄｉｅｔｔｅｒｉｃｈ等人提出的　三个轴一平行矩形（ＡＰＲ）算法。他们将一个分子看成一个包，该分子　的不同形状作为包中的不同示例，为表示这些示例，将该分子固定　在坐标原点，从原点放射出多条射线，射线与分子的交点到坐标原　点的距离作为一个属性，再加上分子中氧原子位置属性，包中的每　个示例可以用上述属性值来描述。ＡＰＲ算法基本思想是找出覆盖所　有正包示例的轴平行矩形，再通过贪心算法逐步排除反包中的反示　例以缩小矩形，最终找到一个最小矩形确定多示例数据集中上限和　下限，从而将所有不在矩形内的样本排除，最终落在矩形中的样本　即为正例。三种ＡＰＲ算法中预测效果较好的是Ｉｔｅｒａｔｅｄ－ｄｉｓｃｒｉｍ　ＡＰＲ算法，由于ＡＰＲ算法都是基于矩形的，对于解决麝香分子问题　效果较好，难以直接用于解决实际的多示例学习问题，不具有较好　的通用性。　另一种有代表性的方法是基于概率的多样性密度（简称ＤＤ）算　法。ＤＤ算法中每个包的示例是一个ｍ维空间的向量，对应空间中的　一个点，空间中存在某个区域，满足每个正包中至少有一个示例在　该区域内或者距离足够近，所有来自反包的示例到该区域的距离足　够远。为找到该区域，Ｍａｒｏｎ￣Ｊ多样性密度来衡量空间中的每个点。　一个点周围的正包数越多，反包示例越远，则该点多样性密度越大，　空间中多样性密度最大的点被认为是目标区域。算法采用ｎｏｉｓｙ－ｏｒ　模型和梯度下降法来寻找多样性密度最大的点，将全部正包中的示　例都作为候选的目标，进行一次全局搜索以避免局部最优解。该算　

１１３Ｓｔａｎｃｅ　＼　／’　／　’　ｕｎｋ。ｗｎ　ｐｒ。ｃｅ　ｓｌ　＼　

ｉｎｓｔａｎｃｅ　ｌ　＼　／　

ｌｒｌｓｔａｎｃｅ　图２多示例学习描述　・・；…下转第１５４页　

收稿日期：２０１６—０５—１３　基金项目：合肥师范学院校级科研项目，编号：２０１２ｋｊ０５；－－￣ｒ．省高校优秀青年人才基金重点项目，编号：２０１３ＳＱＲＬ０６３ＺＤ。　作者简介：杨雪洁（１９８２－－），女，安徽巢湖人，硕士，讲师，研究方向：智能计算与机器学习。　算法分析　ｉ　＃　。Ｉ与应用　５实验及结果分析　５．１实验环境　为了验证ＡＱＰＳＯ－Ｍ算法在虚拟机映射时资源调度的有效性，　本文采用的实验仿真平台是ＣＩｏｕｄｓｉｍ，对其进行了扩展，修改了　ＶｉｒｔｕａｌＭａｃｈｉｎｅ类，ＶＭＡｌｌｏｃａｔｉｏｎＰｏｌｉｃｙ类和ＤａｔａＣｅｎｔｅｒＢｒｏｋｅｒ　类中相关方法和属性，并与ＬＦＦ（Ｌｅａｓｔ　Ｆｕｌｌ　Ｆｉｔ）算法、ＰＳＯ算法、　ＱＰＳＯ算法进行对比。实验的参数设置如下：　仿真的硬件环境：Ｉｎｔｅｒ　ＣｏｒｅＴＭ　ｉ５－２４５０Ｍ＠２．５０ＧＨｚ，，８ＧＢ　内存，５００Ｇ硬盘。软件环境；ｗｉｎｄｏｗｓ　７操作系统，Ｅｃｌｉｐｓｅ８．６和　ｊａｖａ１．７．０语言开发工具。　在相同实验条件下，ＰＳＯ算法中ｃ１和ｃ２设为２，ＰＳＯ、ＱＰＳＯ和　ＡＱＰＳＯ三种算法的种群规模设置为１０，迭代次数设置为３００次。　模拟的物理主机节点的参数配置如表１所示。　当物理主机节点的ＣＰＵ利用率为１０ｏ％时耗电量记为２５０Ｗ｝当　物理主机节点的ＣＰＵ￣Ｉ］用率为ｏ％时，损耗的电量是ｌ７５ｗ。　模拟的虚拟机的参数配置如表２Ｎ示。　５．２实验结果与分析　

５．２．１任务完成时间的比较　通过对图１任务完成时间的分析，可以看出：ＬＦＦ算法在放置虚　拟机时花费的时间自始至终都最多，ＰＳＯ、ＱＰＳＯ和ＡＱＰＳＯ算法在虚　拟机请求数量较少时，三种算法完成虚拟机放置的时间没有太大差　别；随着虚拟机请求数量的增加，三种算法得到最优放置方案的时　间差距逐步增大。　５．２．２负载和能耗的对比　如图２所示：ＡＱＰＳＯ－Ｍ算法比其他三种算法选出的放置方案　中物理主机的ＣＰＵ利用率和耗电率都较优，这是因为算法关键参数　的自适应的优化调整及目标函数中对能耗的考虑，从而在一定程度　上提高了搜索效率，并降低了电源损耗。　

６结语　本章主要针对云计算虚拟机放置过程中资源调度的问题，引入　…●●●●●●＿●●●●●●●●●●●●●＿●●●●●●●●●●●●●●●●●●●●●●●●●　……上接第ｌ５０页　

量子粒子群算法，根据粒子当前的位置和全局最优位置的关系，采　用自适应调整收缩一扩张因子和粒子权值的方法，对量子粒子群算　法的关键参数指标进行了改进，提出一种改进量子粒子群的映射算　法ＡＱＰＳＯ—Ｍ，算法以优化数据中心能耗为目标。通过仿真实验和分　析，验证了ＡＱＰＳＯ—Ｍ算法在搜索效率和节能方面的优势。　参考文献　［１］唐红，徐光侠．云计算研究与发展综述［Ｊ］．数字通信，２０１０，（６）：２３—２８．　［２］孙香花．云计算研究现状与发展趋势［Ｊ］．计算机测量与控制，　２０１　１．１　９（５）：９９８—１　００１．　［３］Ａｒｍｂｒｕｓｔ　Ｍ。Ｆｏｘ　Ａ。Ｇｒｉｆｆｉｔｈ　Ｒ’ｅｔ　ａ１．Ａ　ｖｉｅｗ　ｏｆ　ｃｌｏｕｄ　ｃｏｍｐｕｔ—　

ｉｎｇ［Ｊ］．Ｃ０ｍｍｕｎ１ｃａｔ１０ｎｓ　ｏｆ　ｔｈｅ　ＡＣＭ，２０１　０，５３（４）：５０—５８．　［４］刘鹏．云计算［Ｈ］．北京：电子工业出版社，２０１　５．　［５］任崇广．面向海量数据处理领域的云计算及其关键技术研究［Ｄ］．　南京：南京理工大学计算机科学与工程学院，２０１　３．　［６］Ｖａｎ　Ｈ　Ｎ。Ｔｒａｎ　Ｆ　Ｄ，Ｍｅｎａｕｄ　Ｊ　Ｍ．Ａｕｔｏｎｏｍｉｃ　ｖｉｒｔｕａ］ｒｅｓｏｕｒｃｅ　ｍａｎａｇｅｍｅｎｔ　ｆｏｒ　ｓｅｒｖｉｃｅ　ｈｏｓｔｉｎｇ　Ｄ１ａｔｆ０ｒｍｓ［Ｃ］／ＩＣＳＥ　Ｗｏｒｋｓｈｏｐ　ｏｎ　Ｓｏｆｔｗａｒｅ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｃｈａｌｌｅｎｇｅｓ　ｏｆ　Ｃｌｏｕｄ．２００９：１—８．　［７］Ｈｕ　Ｊ，Ｇｕ　Ｊ，Ｓｕｎ　Ｇ，ｅｔａ］．Ａ　ｓｃｈｅｄｕ１１ｎｇ　ｓｔｒａｔｅｇｙ　ｏｎ　ｌｏａｄ　ｂａｌａｎｃｉｎｇ　ｏｆ　ｖｉｒｔｕａｌ　ｍａｃｈｉｎｅ　ｒｅｓｏｕｒｃｅｓ　ｉｎ　ｃｌｏｕｄ　ｃｏｍｐｕｔｉｎｇ　ｅｎ－　ｖｉｒｏｎｍｅｎｔ［Ｃ］．Ｐａｒａｌｌｅｌ　Ａｒｃｈｉｔｅｃｔｕｒｅｓ。Ａｌｇｏｒｉｔｈｍｓ　ａｎｄ　Ｐｒｏｇｒａｍ—　ｍ１ｎｑ（ＰＡＡＰ），２０ｌ　０　Ｔｈｉｒｄ　Ｉｎｔｅｒｎａｔｉｏｎａ］Ｓｙｍｐｏｓｉｕｍ　ｏｎ．ＩＥＥＥ。　２Ｏｌ　０：８９－９６．　［８］Ｃｈｅｎ　Ｙ，Ｄａｓ　Ａ，Ｑｉｎ　Ｗ，ｅｔａ１．Ｍａｎａｇ１ｎｇ　ｓｅｒｖｅｒ　ｅｎｅｒｇｙ　ａｎｄ　ｏｐｅｒａｔｉｏｎａ］ｃｏｓｔｓ　ｉｎ　ｈｏｓｔｉｎｇ　ｃｅｎｔｅｒｓ［Ｃ］．ＡＣＭ　ＳＩＧＭＥＴＲＩＣＳ　Ｐｅｒ－　ｆｏｒｍａｎｃｅ　Ｅｖａｌｕａｔｉｏｎ　Ｒｅｖｉｅｗ．ＡＣＭ，２００５。３３（１）：３０３－３ｌ　４．　［９］Ｋｕｓｉｃ　Ｄ，Ｋｅｐｈａｒｔ　Ｊ　０，Ｈａｎｓｏｎ　Ｊ　Ｅ，ｅｔａ］．Ｐｏｗｅｒ　ａｎｄ　ｐｅｒｆｏｒ—　ｍａｎｃｅ　ｍａｎａｇｅｍｅｎｔ　ｏｆ　ｖｉｒｔｕａｌｉｚｅｄ　ｃｏｍｐｕｔｉｎｇ　ｅｎｖｉｒｏｎｍｅｎｔｓ　ｖｉａ　ｌｏｏｋａｈｅａｄ　ｃｏｎｔｒｏｌ［Ｊ］．Ｃｌｕｓｔｅｒ　ｃｏｍｐｕｔｉｎｇ，２００９，１２（１）：１—１　５．　［１Ｏ］孙俊，方伟，吴小俊等．量子行为粒子群优化：原理及其应用［Ｈ］．北　京：清华大学出版社，２０１　１：３１—４２．　

通过改造传统ＢＰ误差函数，得到多示例下的学习算法，该误差函数　法在麝香分子上测试效果虽然不￣［ＩＩｔｅｒａｔｅｄ－ｄｉｓｃｒｉｍ　ＡＰＲ算法，但　可以应用于其他方面，如股票选择、基于内容的图像检索等。　由于需要多次使用梯度下降搜索目标示例，ＤＤ算法训练时间　花费较大，研究人员又提出了ＥＭ—ＤＤ算法，该算法在ＥＭ算法的Ｅ　步从训练集的每个示例包中选出决定各包类别的训练示例，再在Ｍ　步选出的示例中使用多样性密度算法以最大化多样性密度，反复进　行Ｅ步和Ｍ步直至算法收敛，该算法在麝香分子数据集预测精度一　度是最高的，与ＤＤ算法相比缩短了不少时间，但由于该方法是不断　迭代的过程，比较容易陷入局部最优。