基于数据挖掘算法的网格日志分析
第３１卷第２期 ２０１ １年４月 辽宁工业大学学报（自然科学版）
Ｊｏｕｒｎａｌ ｏｆ Ｌｉａｏｎｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ（Ｎａｔｕｒａｌ Ｓｃｉｅｎｃｅ Ｅｄｉｔｉｏｎ） Ｖｏ１．３１，Ｎｏ．２ Ａｐｒ．２０１１
基于数据挖掘算法的网格日志分析
杨际林 ，戴勃 ，一，唐姿伟 ，王礼景
（辽宁工业大学电子与信息工程学院，辽宁锦州 １２１００１；２．东北大学信息科学与工程学院，辽宁沈阳 １１０００４）
摘要：为提高网格资源的安全性，将数据挖掘算法应用到对网格日志的分析上，通过对网格日志的分析挖
掘，从中发现用户的非法行为，实现对用户的限制性访问控制。用一个例子对这种方法进行了描述。该方法的提
出增强了网格的安全性。
关键词：网格：网格日志：数据挖掘：ＦＰ—ｇｒｏｗｔｈ算法
中图分类号：ＴＰ３７３ 文献标识码：Ａ 文章编号：１６７４—３２６１（２０１１）０２—０１１１－０２
Ｇｒｉｄ Ｌｏｇ Ａｎａｌｙｓｉｓ Ｂａｓｅｄ ｏｎ Ｄａｔａ Ｍｉｎｉｎｇ Ａｌｇｏｒｉｔｈｍ
ＹＡＮＧ Ｊｉ—ｌｉｎ ，ＤＡＩ Ｂｏ ，＿，ＴＡＮＧ Ｚｉ—ｗｅｉ ，ＷＡＮＧ Ｌｉ－ｊｉｎｇ
（１．Ｅｌｅｃｔｒｏｎｉｃｓ＆Ｉｎｆｏｒｍａｔｉｏｎ Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｌｌｅｇｅ．Ｌｉａｏｎｉｎｇ Ｕｎｉｖｅｒｓｉｔｙ ｏｆＴｅｃｈｎｏｌｏｇｙ，Ｊｉｎｚｈｏｕ １２１００１，Ｃｈｉｎａ；
２．Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｉｅｎｃｅ＆Ｅｎｇｉｎｅｅｒｉｎｇ Ｃｏｌｌｅｇｅ，Ｎｏｒｔｈｅａｓｔｅｒｎ Ｕｎｉｖｅｒｓｉｔｙ，Ｓｈｅｎｙａｎｇ １１０００４，Ｃｈｉｎａ）
Ｋｅｙ ｗｏｒｄｓ：ｇｒｉｄ；ｇｒｉｄ ｌｏｇ；ｄａｔａ ｍｉｎｉｎｇ；ＦＰ—ｇｒｏｗｔｈ ａｌｇｏｒｉｔｈｍ
Ａｂｓｔｒａｃｔ：Ｉｎ ｏｒｄｅｒ ｔｏ ｉｍｐｒｏｖｅ ｔｈｅ ｓｅｃｕｒｉｔｙ ｏｆ ｇｒｉｄ ｒｅｓｏｕｒｃｅｓ，ｄａｔａ ｍｉｎｉｎｇ ａｌｇｏｒｉｔｈｍ ｗａｓ ｕｓｅｄ ｔｏ
ａｎａｌｙｓｅ ｔｈｅ ｌｏｇ ｏｆ ｔｈｅ ｇｒｉｄ，ｔｈｒｏｕｇｈ ａｎａｌｙｓｉｓ ａｎｄ ｍｉｎｉｎｇ ｔｈｅ ｇｒｉｄ ｌｏｇ，ｉｌｌｅｇａｌ ｂｅｈａｖｉｏｒ ｏｆ ｕｓｅｒｓ ｗａｓ ｆｏｕｎｄ
ａｎｄ ｒｅｓｔｒｉｃｔｉｖｅ ａｃｃｅｓｓ ｃｏｎｔｒｏｌ ｏｆ ｕｓｅｒｓ ｗａｓ ｒｅａｌｉｚｅｄ．Ｔｈｅ ｅｘａｍｐｌｅ ｗａｓ ｓｅｔ ｔｏ ｈａｖｅ ｄｅｓｃｒｉｂｅｄ ｔｈｉｓ
ａｐｐｒｏａｃｈ．Ｔｈｅ ｐｒｏｐｏｓｅｄ ｍｅｔｈｏｄ ｅｎｈａｎｃｅｓ ｔｈｅ ｓｅｃｕｒｉｔｙ ｏｆ ｔｈｅ ｇｒｉｄ．
网格被称为继传统因特网、万维网之后的第三
代因特网，是一种新型的分布式计算技术，简单地
说，网格就是把整个互联网整合成一个虚拟的超级
计算机，实现了大规模的资源共享。
随着网格技术的飞速发展，网格应用的领域越
来越广，网格安全问题的解决更是迫在眉睫。针对
网格的特点及其带来的安全问题，目前以ＧＳＩ、ＣＡＳ
等为代表主要研究网格环境中的安全认证、网格授
权、单点登录以及通信加密等。在这些研究中，尽
管网格计算系统的用户需要通过认证后才能使用
网格计算资源，但是仅仅有用户认证和信任评估体
系是不够的。如果一个经过伪装的用户通过了信任
评估后并获得了认证，认证后向网格系统提交的任
务是恶意任务，这时必须通过应用跟踪才能发现他 的非法行为。网格日志记录了用户访问网格资源的
行为轨迹，可以利用数据挖掘技术，从网格日志中
收稿日期：２０１０—１２—２０ 作者简介：杨际林（１９８４一），男，山东临沂人，硕士生。 戴勃（１９５６一），男，辽宁锦州人，副敦授。 发现和抽取信息，达到对网格用户行为跟踪的目
的，根据跟踪结果调整用户的信任度，实现了对用
户的限制性访问控制，增强了网格资源的安全性。
１ 数据挖掘
数据挖掘就是数据库中的知识发现，是从大量
的、不完全的、有噪声的、模糊的、随机的存放在
数据库、数据仓库或其他信息库中的数据中获取有
效的、潜在有用的、新颖的、最终可理解的模式的
过程。
关联规则挖掘是数据挖掘研究的主要模式之
～，同时也是数据挖掘中最活跃的研究方法之一。
关联规则挖掘用来发现大量数据中项集之间相关
的关联或有趣联系，找出数据库中隐藏的关联网。
比较经典的关联规则挖掘算法有Ａｐｄｏｒｉ算法和
ＦＰ—ｇｒｏｗｔ
ｈ算法，事实证明后者的效率明显高于前 １１２ 辽宁工业大学学报（自然科学版） 第３ｌ卷
者，本文主要介绍利用ＦＰ—ｇｒｏｗｔｈ算法法从网格日
志中找出频繁的用户访问路径或访问模式，以达到
对用户行为跟踪的目的。
２ ＦＰ—ｇｒｏｗｔｈ算法
ＦＰ—ｇｒｏｗｔｈ算法主要是基于分治策略的思想，
即在第一次完成数据库的扫描以后，将所产生的频
繁集的数据压缩到…棵频繁模式树中，称之为
ＦＰ－ｔｒｅｅ，用ＦＰ－ｔｒｅｅ保留项集的关联信息，然后将压 缩后的数据库分成一组条件数据库（…种特殊类型
的投影数据库，也称为条件模式基），每个关联… 个频繁项，并分别挖掘每个数据库。避免了大量候
选项集的产生和测试过程，直接产生频繁模式。
ＦＰ．ｇｒｏｗｔｈ算法的描述过程如下：
Ｐｒｏｃｅｄｕｒｅ ＦＰ－ｇｒｏｗｔｈ（ＦＰ—ｔｒｅｅ．ａ）／／ＦＰ－ｔｒｅｅ为０【的
条件模式树， 为后缀项（集）
｛ ＩＦ ＦＰ ｔｒｅｅ只含有一条路径Ｐ ＴＨＥＮ
ＦＯＲ对路径Ｐ中节点的每一‘个组合（用６表示）
产生频繁项集Ｂｕａ并且令它的支持度ｓｕｐｐｏｒｔ＝
１３．ｍｉｎ＿ｓｕｐｐｏｒｔ（￣１．Ｉ Ｂ中结点的最小支持度）；
ＥＬＳＥ对ＦＰ—Ｔｒｅｅ的头部从表头到表尾的每一
项（用ｍ表示）ｆ
产生频繁项集０【ｉ Ｕ ａ并使ｓｕｐｐｏｒｔ＝ａｉ．Ｓｕｐｐｏｇ；
建立Ｄ的条件模式库，然后构造ｐ的条件模式
树ＦＰ－ｔｒｅｅ￣；
ＩＦＦＰ—ｔｒｅｅｌ３：￣ＯＴＨＥＮ
调用ＦＰ－ｇｒｏｗｔｈ（ＦＰ—ｔｒｅｅ１］，Ｄ）：
Ｊ
】
３ ＦＰ—ｇｒｏｗｔｈ算法的应用
下面通过一个实例看一下这个算法的应用，设
有如下经数据预处理后的日志数据库表。
表１行为数据库
假设最小支持度为３，首先生成频繁１项集， 并得到它们的支持度计数，然后按支持度递减的顺
序排列，把结果存入表Ｌ中，此时
Ｌ：（（ｂ：８），（ｇ：６），（ａ：６），（ｃ：５），（ｄ：３），（ｉ：３））
其中集合中每个元素的第二个分量代表第～个分
量所代表项的支持度。
图１ ＦＰ－ｔｒｅｅ实例
按照上面介绍的ＦＰ—ｇｒｏｗｔｈ算法，可以得到数
据库Ｄ的频繁项目集如下：
ｆ｛ｂ｝：８，｛ｇ｝：６，｛ａ｝：６，｛Ｃｌ：５，｛ｄ｝：３，（ｉ｝：３，｛ａ，ｂ Ｊ：６，｛ａ，
ｊ：４，｛ａ，ｄ｝：１，｛ａ，ｇ｝：４，｛ａ，ｉ）：２，｛ｂ，ｃ｝：４，｛ｂ，ｄ｝：３，ｆｂ，ｇ）：４，ｆｂ，
ｉ｝：３，｛ｃ，ｇ）：４，｛ｃ，ｉ】：３，｛ｇ，ｉ）：２，｛ａ，ｂ，ＣＪ：４，｛ａ，ｂ，ｄ）：１，｛ａ，ｂ，ｇ）：
４，｛ａ，ｂ，ｉ｝：３，｛ｂ，Ｃ，ｇ｝：３Ｉ｛ｂ，ｃ，ｉ Ｊ：３，｛ａ，ｂ，Ｃ，ｇ）：３，｛ａ，ｂ，Ｃ，ｉ｝：３）。
根据上面得到的频繁项集所产生的关联规则，
按照下面的规则进行判断：
（Ｊ）设Ａ和Ｂ为集合Ｆ中的任意两个元素，做
如下判断：
如果ＡｎＢ不为空并且ＡｕＢ也是一个频繁项
集（即（ＡｕＢ）∈Ｆ）
则计算ｃｏｕｎｔ（Ａ ｕ Ｂ）／ｃｏｕｎｔ（Ａ）的值。
（２）如果ｃｏｕｎｔ（Ａ ｕ Ｂ）／ｃｏｕｎｔ（Ａ）的值大于或等 于ｒａｉｎ—ｃｏｎｆｉｄｅｎｃｅ（即最小可信度）
则产生关联规则Ａ—Ｂ，然后进行存储。
（３）如果Ｆ中所有的元素都被依次遍历
则输出所有的关联规则并存储
否则回到（１）中继续执行。
这里设最小可信度ｍｉｎ＿ｃｏｎｆｉｄｅｎｃｅ为８０％，从
上面的数据可以得到如下的关联规则：
（１）ａ—ｂ；（２）ｃ—ｇ；（３）（ａ，ｄ）一ｂ；（４）（ａ，ｇ）一ｂ；（５）（ａ，ｃ） 一ｂ；（６）（ｂ，ｇ）一ａ；（７）（ｂ，ｉ）一ｃ；（８）（ｂ，Ｃ，ｇ）（下转第１１５页）
第２期 虞燕花等：企业信息系统集成数据存储模式研究 １１５
通过报表工具的 报表设计工具设计平台展现报表 牡 样式，报表工具根据报表设计模版提供报表服务。 Ｊ 二口
平台调用时根据登录用户权限调用报表服务。
综合信息服务、Ｆ台 （综合查询、挖ｊ＝ＩＩｆ、决策支持） 信息服务意
～ Ｉ＜二一—
～ 综合数钳 —一 数据 合层 数 拙取ｆ＝ｉ＝兰ｌ业务 制信息业务操作应
业务应用系统探作、 台 （髯种业务应用系统）
／ ｆ ＼＼
数 …
图３集成平台数据架构
４．３实现
在不改变原有系统的情况下完成了ＥＲＰ和
ＥＭＳ系统的升级，新增加了子系统文件管理系统， 与平台数据库相连。以分析ＥＲＰ中的合同管理部分
和ＨＲ系统为依据，动态提供供应向供货差额百分
比对比、公司应付账款详细以及人员异动等，为公
司提供更好的决策支持。 本文提出的基于数据存储方式的集中式数据
集成模式，让企业在不同的业务系统、不同的异构
数据源都存在的情况下，能够有效地利用综合信
息，实现异构数据源的动态更新、动态互访，企业
的原有信息化建设投资得到了保护，企业的应用系
统实现从旧到新的平稳过渡，达到了企业对信息化
建设成本低、阶段性、可扩展性的需求。
参考文献：
…１王三明．信息系统中的异构数据源的整合与集成模式［Ｊ］
ＣＡＤ／ＣＡＭ与制造业信息化，２００３（５）：ｌ０—１１．
［２】陈跃国，王京春．数据集成综述ＩＪ】．计算机科学，２００４，
３ｌｆ５１：４８—５１．
【３】贾文姣．中石化油库信息化建设中信息系统集成研究
［Ｄ］．北京邮电大学，２００８．
［４】Ｈａｌｅｖｙ Ａ Ｙ Ｔｈｅｏｒｙ ｏｆ ａｎｓｗｅｒｉｎｇ ｑｕｅｒｉｅｓ ｕｓｉｎｇ ｖｉｅｗｓ［Ｊ］．
ＳＩＧＭＯＤ Ｒｅｃｏｒｄ，２０００，２９（４）：４０～４７．
【５】龚尚福，席曼，李雅玲．信息系统集成与数据集成策略
【ＪＪ．西安科技大学学报，２００８，２８（２）：１７一ｌ８．
责任编校：孙林
（上接第ｌ １２页）一ａ；（９）（ａ，ｂ，ｉ）一ｃ；（１０）（ｂ，Ｃ，ｉ）一ａ．
从关联规则中可以分析出用户各个行为之间
的关联程度，了解用户在访问网格资源时的轨迹，
网格资源管理者可以据此降低对有可能进行网格
资源破坏的用户的信任度，实现了对网格资源的限
制访问，保证了网格资源的安全性。 行跟踪是一个比较繁锁复杂的事情。本文采用
ＦＰ—ｇｒｏｗｔｈ算法对网格曰志进行挖掘分析，了解用
户访问网格资源的行为关联程度及轨迹，这对于网
格资源的安全性有很大的帮助。ＦＰ—ｇｒｏｗｔｈ算法是
数据挖掘学科中算法的一种，把它应用于网格安全
领域是一种新的尝试。
４对网格日志分析的优势 参考文献：
ＦＰ—ｇｒｏｗｔｈ算法对网格日志数据库只需进行两
次扫描，它采用压缩的数据结构，用较少的空间存
储了后面频繁集挖掘过程中所需要的全部信息，减
少了挖掘过程所需的Ｉ／Ｏ代价，不产生候选集，减
少了内存临时空问的占用。并且采用分而治之的思
想，以频繁模式逐渐增长的方式挖掘频繁模式。试
验表明，该算法比Ａｐｒｏｉｒｉ算法大约快一个数量级，
基于校园网流量日志的学生上网行为分析
基于校园网流量日志的学生上网行为分析
作者：朱晓飞 冯江宁
来源：《电脑知识与技术》2023年第26期
摘要：隨着互联网与教育行业的深度融合，教育大数据应运而生。如何分析利用这些海量数据一直是教育行业研究的重要课题，其中利用校园网流量日志数据对学生行为甚至是心理健康问题进行分析是学校教育管理者关心的问题。文章主要是基于校园网流量日志，以学生的上网日志为研究对象，通过分析学生上网行为的相关属性，如“在线用户数量”“上网终端类别”“网络服务类别”“访问网站类别”“用户流量统计”等分析学生在校园中的学习生活等习惯。通过数据挖掘和流量识别，发现沉迷于网络游戏、互联网赌博，色情信息或网络贷款的学生，辅助学校教育管理者及时发现有问题的学生，防患于未然。
关键词：互联网；校园网流量日志；学生上网行为分析；数据挖掘
中图分类号：TP311 文献标识码：A
文章编号：1009-3044（2023）26-0076-03
开放科学（资源服务）标识码（OSID）
0 引言
随着智慧校园建设的推进，校园网成为学校教学、科研、管理等工作必不可少的工具和载体。为了建立与新冠疫情等突发状况相适应的教育教学机制，全国学校纷纷将传统的线下授课模式转变成线上线下融合的混合教育模式，这对学校信息化和智能化提出了挑战。线上授课的弊端是学生缺乏代入感，教师缺乏对学生有效且及时的监督，师生互动性差等，由此造成学生学习效率低下的问题；另一方面，学生长时间处在封闭或者半封闭的环境，加之现实生活中社交娱乐的方式变少，更容易滋生负面情绪，沉迷于网络。通过网络流量分析学生上网行为有助于辅助学校教育管理者做决策。
学生上网行为分析主要通过校园网流量数据采集[1]、流量数据识别[2]、流量检测分析[3]等技术，着重分析可以为学校教育管理决策提供依据的流量数据，如分析校园网资源利用情况，即各类网络应用流量占用校园网总流量的比例，可以辅助学校信息管理部门判断校园网流量资源利用是否合理，甚至可以拦截管控异常流量等。如分析学生经常访问的网站，尤其是不健康的网站，结合上网时长和上网时段等特性，能够预判这些学生存在的问题，对他们进行预警。
基于日志挖掘的打印管理系统的分析与设计
基于日志挖掘的打印管理系统的
分析与设计
唐维燕
（中国电子科技集团公司第四十五研究所北京１００１７６）
摘 要：为了实现对基于网络共享模式打印的自动化管理，在对ＷＭＩ技术及数据挖掘技术进行
深入研究的基础上。针对打印任务查询、打印成本分摊、设备使用率等打印管理问题，采用ＷＭＩ 脚本技术．对打印服务器系统日志资源进行数据提取，并通过数据挖掘技术分析整理打印相关日
志。将其归类统计并以报表形式呈现给用户，实现了打印的自动化管理，从而大大减少了系统管
理员的日常维护工作。 关键词：打印管理系统；ＷＭＩ技术；数据挖掘技术 中图分类号：ＴＰ３３４．８ 文献标识码：Ｂ 文章编号：１００４－４５０７（２０１２）０５—００５３—０６
Ａｎａｌｙｓｉｓ ａｎｄ Ｄｅｓｉｇｎ ｏｆ Ｐｒｉｎｔ Ｍａｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ
Ｂａｓｅｄ ｏｎ Ｄａｔａ Ｍｉｎｉｎｇ
ＴＡＮＧＷｅｉｙａｎ
（Ｔｈｅ ４５ Ｒｅｓｅａｒｃｈ Ｉｎｓｔｉｔｕｔｅ ｏｆ ＣＥＴＣ，Ｂｅｉｊｉｎｇ，１００１７６，Ｃｈｉｎａ）
Ａｂｓｔｒａｃｔ：Ｔｏ ｒｅａｌｉｚｅ ｔｈｅ ａｕｔｏｍａｔｉｏｎ ｍａｎａｇｅｍｅｎｔ ｏｆ ｐｒｉｎｔ ｂａｓｅｄ ｏｎ ｎｅｔｗｏｒｋ ｓｈａｒｉｎｇ ｍｏｄｅ，ｔｈｅ ＷＭＩ
ａｎｄ Ｄａｔａ Ｍｉｎｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｗａｓ ｒｅｓｅａｒｃｈｅｄ ｔｈｏｒｏｕｇｈｌｙ．Ｉｎ ｏｒｄｅｒ ｔｏ ｓｏｌｖｅ ｔｈｅ ｍａｎａｇｅｍｅｎｔ ｐｒｏｂｌｅｍ，
ｓｕｃｈ ａｓ ｐｒｉｎｔ ｔａｓｋ ｉｎｑｕｉｒｙ，ｐｒｉｎｔ ｃｏｓｔ ａｌｌｏｃａｔｉｏｎ ａｎｄ ｅｑｕｉｐｍｅｎｔ ｕｔｉｌｉｚａｔｉｏｎ，ｔｈｅ ｒｅｓｏｕｒｃｅ ｏｆ ｔｈｅ Ｐｒｉｎｔ Ｓｅｒｖｅｒ ｓｙｓｔｅｍ ｌｏｇ ｗａｓ ｅｘｔｒａｃｔｅｄ ｂｙ ＷＭＩ ｓｃｒｉｐｔ ｔｅｃｈｎｏｌｏｇｙ．Ｔｈｅ ｒｅｌａｔｅｄ ｐｒｉｎｔ ｌｏｇ ｗａｓ ａｎａｌｙｚｅｄ，
一种基于MDL的日志序列模式挖掘算法
第47卷第2期Vol.
47No.2计算机工程ComputerEngineering2021年2月
February2021
一种基于MDL的日志序列模式挖掘算法
杜诗晴1，王鹏2，汪卫2
（1.复旦大学软件学院，上海201203；2.复旦大学计算机科学技术学院，上海201203）
摘要：日志数据是互联网系统产生的过程性事件记录数据，从日志数据中挖掘出高质量序列模式可帮助工程师高效开展系统运维工作。针对传统模式挖掘算法结果冗余的问题，提出一种从时序日志序列中挖掘序列模式（DTS）的算法。DTS采用启发式思路挖掘能充分代表原序列中事件关系和时序规律的模式集合，并将最小描述长度准则应用于模式挖掘，设计一种考虑事件关系和时序关系的编码方案，以解决模式规模爆炸问题。在真实日志数据集上的实验结果表明，与SQS、CSC与ISM等序列模式挖掘算法相比，该算法能高效挖掘出含义丰富且冗余度低的序列模式。关键词：数据挖掘；日志分析；事件关系；最小描述长度准则；序列模式
开放科学（资源服务）标志码（OSID）：
中文引用格式：杜诗晴，王鹏，汪卫.一种基于MDL的日志序列模式挖掘算法［J］.计算机工程，2021，47（2）：118-125.英文引用格式：DUShiqing，WANGPeng，WANGWei.AMDL-basedpatternminingalgorithmforlogsequences［J］.ComputerEngineering，2021，47（2）：118-125.
AMDL-basedPatternMiningAlgorithmforLogSequences
DUShiqing1，WANGPeng2，WANGWei2
（1.SoftwareSchool，FudanUniversity，Shanghai201203，China；2.SchoolofComputerScience，FudanUniversity，Shanghai201203，China）
基于Apriori改进算法的Web日志挖掘支撑工具的实现_陈炼
收稿日期:2006-12-08项目项目:江西省教育厅科技计划资助项目(200544)作者简介:陈炼(1963-),男,教授. 文章编号:1006-0456(2007)02-0190-04
基于Apriori改进算法的Web
日志挖掘支撑工具的实现
陈炼,孙金华,饶泓,廖远,林渝
(南昌大学计算中心,江西南昌330031)
摘要:Web日志挖掘就是运用数据挖掘的思想来对服务器日志进行分析处理,以发现相似客户群体、相关Web页面和频繁访问路径等,其目的在于从用户访问Web系统的行为中发现用户的访问模式.在对Web日志挖掘的原理和技术进行讨论的基础上,重点探讨了如何将Apriori改进算法应用于对Web日志的挖掘,提出了一种基于该算法的Web日志挖掘实现方法,实验结果表明了算法的有效性.关键词:Web日志挖掘;关联规则;Apriori算法中图分类号:TP301.6 文献标识码:A
ResearchontheFrameworkToolsBasedontheImproved
AprioriAlgorithminWebLogMining
CHENLian,SUNJin-hua,RAOHong,LIAOYuan,LINYu
(ComputerCenter,NanchangUniversity,Nanchang330031,China)
Abstract:Weblogminingisbasedondataminingtechniquestoanalyzeandmanagethelogsonserverfor
findingoutthesimilarcustomersgroup,relevantWebpagesandthefrequentvisitingpathsetc.Itspurposeisto
workoutthevisitingmodeofthecustomersthroughtheactionswhentheyaccesstheWebsystem.Basedonthethe-oryandtechnologyofWeblogmining,itmainlyfocusedonhowtoputtheimprovedapriorialgorithmintotheappli-
基于Web日志挖掘数据预处理技术的研究
２００７年第６期 福建电脑 １９ 基于Ｗｅｂ日志挖掘数据预处理技术的研究 陈荣旺１２ （１．武夷学院（筹）现代教育技术中心福建武夷山３５４３００ ．郭红 ２．福州大学数学与计算机科学学院福建福州３５０００２） 【摘要】：数据预处理是Ｗｅｂ日志挖掘中的关键和重要一步，文章分析了Ｗｅｂ日志挖掘的数据预处理过程，并给出基 于日志参引页的用户ｉｅ，￣ｌ、路径补全算法和基于一种时问窗口模型的会话划分算法。 【关键词】：Ｗｅｂ日志挖掘数据预处理算法 互联网技术和应用的迅速发展使得可以从因特网获取的信 息量日益剧增．为此迫切需要一种新的技术从这些信息中快速、 及时地发现有用的知识，提高信息的利用率。Ｗｅｂ日志挖掘属于 Ｗｅｂ使用挖掘的范畴，作为数据挖掘技术研究的一个重要领域， 是指采用数据挖掘的技术，通过对Ｗｅｂ服务器日志中大量的用 户访问记录深入分析．发现用户的访问模式和兴趣爱好等有趣、 新颖、潜在有用以及可理解的未知信息和知识，用于分析站点的 使用情况．从而辅助管理和支持决策。 １．Ｗｅｂ日志挖掘的过程 Ｗｅｂ日志挖掘的过程一般分为数据预处理阶段、挖掘算法 实施阶段（模式识别）、模式分析阶段。图１给出了日志挖掘的过 ／ ＼ ・＝二＝苎苎 兰＝＝ 亟 巨 亟ｉ 土 ． ． 图１：Ｗｅｂ日志挖掘过程 ２．ＷＥＢ服务器日志记录 一般Ｗｅｂ服务器日志文件中记录的是每个访问用户的信 息．由于服务器或参数设置不同，得到的Ｗｅｂ １３志文件中记录 的信息也会有所不同，但其中都包含有访问用户的基本信息。如 日期、时间、用户ＩＰ、服务器ＩＰ、方法、所请求的ＵＲＬ资源、用户 代理、参引页面、服务器响应状态等许多信息。 ３．Ｗｅｂ日志挖掘的预处理过程 数据预处理的目的是将Ｗｅｂ使用日志转化成特定算法所 需要的数据结构．预处理工作的好坏直接影响到后续工作是否 得到理想的结果，同时也决定了最终挖掘出的知识可信度。因 此．数据预处理工作是很关键与重要的一步。 Ｗｅｂ日志挖掘的预处理过程通常包括数据净化（清洗）、用 户识别、会话识别和路径补全等。 ３．１数据净化 数据净化是指删除Ｗｅｂ日志中与挖掘算法无关的数据，多 数情况只有日志中ＨＴＭＬ或ＡＳＰ文件与用户会话相关．一般不 会显示地请求页面上的图形文件．它是根据页面的超文本链接 自动下载的 因为Ｗｅｂ日志挖掘的目的是获得用户的行为模 式，并不关心那些用户没有显示请求的文件，所以通过检查ＵＲＬ 的后缀删除认为不相关的数据。如将日志中文件的后缀名为 ｓｉｆ、ｊｐｅｇ、Ｊｏｇ、ｊｓ、ｓｗｆ和ｊｓ等请求项删除，具体到实际的系统可使 用一个缺省的后缀名列表帮助删除文件．列表可根据正在分析 的站点类型进行修改。如对一个主要包括图形文档的站点，日志 中的图形文件可能代表了用户的显示请求．此时就不能将图形 文件删除 ３．２用户识别 由于本地缓存、代理服务器和防火墙的存在，使用户的识别 变得复杂了。最佳的处理办法是依赖用户合作，但难以做到。一 基金嘎目：武夷学院（筹）青年学术研究支持计划（顷目踌号：ＸＱＬ０￣１７） 般常用的方法是结合１３志与站点结构，按以下启发式规则处理 日志中的每条记录： ３．２．１不同的ＩＰ地址代表着不同的用户： ３．２．２如果ＩＰ地址相同．但是代理１３志中表明用户的浏览 器或操作系统改变了。就应当认为每个不同的代理就表示不同 的用户： ３．２Ｉ３针对由上得到的每一个暂定用户．根据访问１３志、引 用１３志和站点拓扑结构．构造出他的浏览路径。如果当前请求的 页面的引用页不在已浏览的页面系列中，则认为存在另外具有 相同ＩＰ地址与代理的用户。 下面给出的是ｉＤ和ａｇｅｎｔ均相同的访问序列基于日志参引 页面的用户识别算法。 ／广设ｎ（１＜＝ｉ＜＝ｎ）为ｉｐ和ａｇｅｎｔ均相同且按时间升序排列的 某暂定用户访问序列，Ｌｉ．ｐｕｒｌ为Ｄ的参引页，Ｕｘ为识别后的用 户访问序列。 ｘ＝ｌ；Ｕｘ＝【Ｊ；ｉ＝ｌ：Ｕｘ＝Ｕｘ＋ＩＩｊｌ： ｆｏｒ ａ．２；ｋ－ｎ：ｉ¨） ｛ｆｏｒ Ｏ ．Ｊ＞＝ｌ；＇－．） ｉｆ（ｉｎ（Ｌｉ．ｐｕｄ，ｕｊ））／／判断“的参引页面是否在Ｕｊ中 Ｉ Ｕｊ＝Ｕｊ＋ＩＵ｝＇，／／￣Ｌｉ加入最近的Ｕｊ序列中 ｂｒｅａｋ；ｌ ｘ＋＋ 增加用户 Ｕｘ＝Ｕｘ＋｛Ｌｉ｝； ｌ 如有某暂定用户访问序列（在此以请求的ＷＥＢ页面和参引 页面对表示）为：Ｌ＝ｆ（Ａ，一），（Ｂ，Ａ），（Ｌ，一），（Ｆ，Ｂ），（Ｒ，Ｌ），（０， Ｆ），（Ｇ，Ｂ），（Ｄ，Ａ）ｌ，按上述算法有识别后用户访问序列Ｕ１＝ｆ（Ａ， 一），（Ｂ，Ａ），（Ｆ，Ｂ），（０， ，（Ｇ’Ｂ），（Ｄ，Ａ）ｌ，ｕ２＝ｆ 一）， ，Ｌ），ｌ。 ３＿３会话识别 一个会话（ｓｅｓｓｉｏｎ）是指用户从进入到离开站点的一系列浏 览请求．在跨越时间段较大的Ｗｅｂ服务器１３志中，用户可能多 次访问了该站点．会话识别的任务就是将属于同一用户的同一 次访问请求识别出来。 会话的划分有许多算法，有的依据时间。有的依据站点拓扑 结构．如一种常用的基于时间窗１３模型的会话划分规则为：给用 户在整个站点停留时间一个上界．若超过这个域值Ｘ则认为新 会话开始。设ｔ０为会话初始页时间戳，一个ＵＲＬ请求的时间戳 ｔ，若满足ｔ－ｔＯ＜＝ｘ，则被加入这个会话，第一个满足ｔＯ＋ｘ＜ｔ的页 面成为下一会话的初始页。ｘ一般取３０ｒａｉｎ。其算法描述如下： ，，令一个用户的站点访问序列表示为用户请求的ＷＥＢ页 面和时间对（ｕｒｌ，ｔｉｍｅ）的集合，即Ｕ＝＜（ｕｒｌｌ，ｔｉｍｅ１），．－．，（ｕｒｉｎ，ｔｉｍｅｎ）＞， 其中ｔｉｍｅｊ＞ｔｉｍｅｉ，当ｉ＞ｉ时 ／／－￣－Ｓｉ为一个用户在规定时间内请求的ＷＥＢ页面序列．即 基于时间窗口模型的会话 ｘ＝３Ｏｍｌｎ；ｔＯ＝ｔｉｍｅｌ；ｉ＝１；Ｓｉ＝＜（ｕｒｌｌ，ｔｉｍｅ１）＞； ｆ０ｒ ０【．２；ｋ＜＝ｎ；ｋ＋＋） Ｉｔ＝ｔｉｒ￣ｋ； ｉｆ（ｔ－ｔｏ＜－－－￣） 将（ｕｒｉｋ，ａｍｅｋ）￣Ａ Ｓｉ中； （下转第１６页）
辽宁工业大学学报(自然科学版)第31卷总目次
第６期 辽宁工业大学学报（自然科学版）第３ｌ卷总目次 ４１３
辽宁工业大学学报（自然科学版）
第３１卷总目次
基于区间二型模糊逻辑系统的非线性大系统模糊自适应分散控制…………………………武强，佟绍成（１）
全彩ＬＥＤ显示屏的灰度改进研究………………………………陈龙，鲁宝春，庄明照，唐文军，陈小鹃（９）
一种复合型高效单相光伏逆变器的研究…………………………………唐文军，鲁宝春，庄明照，陈龙（１３） 基于ＡＰＤＬ的全平衡双驱动三环减速器内啮合齿轮副参数化建模………………韩玉，黄恺，姜美荣（１６）
ＰＲＯ／Ｅ环境下的的点线啮合齿轮参数化建模………………………………………姜美荣，黄恺，韩玉（２２）
基于５６Ｆ８３００的液压缸运动速度的ＰＷＭ控制方法研究…………………………郑军，丁洁，王晓磊（２６） ＵＧ／ＰＯＳＴ在北京ＫＮＤ数控系统上的应用……………………………………………………张晓光，张德强（３０）
半挂汽车列车操纵稳定性的正交仿真分析…………………………………………张立军，张晓维，马斌（３３）
城市道路汽车碰撞事故分析系统开发………………………………………………唐阳山，王凤娇，方媛（３７） 热等静压处理对ＮｉＡ１一Ｍｏ（Ｎｂ）合金显微组织和力学行为的影响…………………………韩萍，郭建亭（４０）
基于截尾数据对女性寿命的估计……………………………………………………刘小锋，李树有，宓颖（４４）
模糊分级系统在试卷命题评价中的应用……………………………………………兰洁，卞扣成，王涛（４９） 图谱半径的一个改进上界……………………………………………………………王振邦，徐美进，支路（５５）
孤子方程的Ｎ波Ｄａｒｂｏｕｘ变换及其孤子解……………………………………………………………韩冰冰（５８）
基于劳动生产率的中国服务业产业集聚效应研究……………………………………………………宋洋（６４）
基于高增益观测器的ＳＩＳＯ非线性系统模糊自适应输出反馈控制…………………………任长娥，佟绍成（７１）
流程挖掘事件日志数据实例
流程挖掘事件日志数据实例
全文共四篇示例，供读者参考
第一篇示例：
流程挖掘是一种通过分析和挖掘事件日志数据来揭示系统或业务流程中的隐含知识和规律的技术手段。在许多企业和组织中，通过对日常操作和交易的记录进行挖掘，可以帮助管理者更好地了解业务流程的运作情况，发现潜在的问题和改进空间，从而提高效率和质量。
在实际操作中，流程挖掘需要使用事件日志数据作为基础。事件日志数据是由系统记录下来的每一个操作或交易的具体信息，包括时间、地点、操作者、操作类型等。通过对这些数据进行分析和挖掘，我们可以还原出业务流程的实际运作情况，并从中发现规律和知识。
为了更好地理解流程挖掘和事件日志数据的关系，下面我们将以一个实际的案例来说明，展示如何利用事件日志数据进行流程挖掘。
假设某家电商公司想要通过流程挖掘来提升订单处理的效率，他们首先收集了一段时间内的订单处理事件日志数据，包括订单创建、付款、发货、配送、签收等操作的具体信息。这些数据被存储在一个数据库中，我们可以通过分析数据库中的数据来还原出订单处理的流程，并发现其中的规律和问题。
我们需要对事件日志数据进行清洗和整理，以便能够更好地进行分析。我们可以通过编写脚本或使用专门的数据清洗工具来对数据进行清洗和处理，去除一些不必要的信息或者错误的数据，从而提高数据的质量。
接下来，我们可以利用流程挖掘工具对清洗后的数据进行分析和挖掘。通过对订单处理事件的时间顺序和操作者的关系进行分析，我们可以还原出订单处理的流程图，从而了解整个订单处理流程的运作情况。在流程图中，我们可以看到每一个操作的前后顺序和时间间隔，从而发现其中的瓶颈和问题。
在订单处理的流程图中，我们可能会发现付款和发货之间存在着较长的时间间隔，这可能是因为付款流程存在一些问题导致付款失败或者延迟。通过发现这种问题，我们可以针对性地对付款流程进行优化，加快订单处理的速度，提高用户体验。
网络安全 数据挖掘
网络安全 数据挖掘
网络安全数据挖掘是指通过对网络安全数据进行分析和挖掘，发现其中潜在的威胁和漏洞，从而制定相应的安全策略，保护网络系统的安全。网络安全数据挖掘是对大规模网络数据进行处理和分析的一种技术手段，其主要目标是在海量的网络数据中发现隐含的规律和模式，提供有效的安全决策支持。
网络安全数据挖掘的一般流程包括数据采集、数据清洗、特征选择、模型构建和模型评估。首先，需要采集网络的各类数据，如网络流量、日志记录、入侵检测系统等。然后，对采集到的数据进行清洗，去除异常数据和噪声。接下来，通过特征选择，选择与网络安全相关的特征变量，以提高挖掘模型的准确性和效率。然后，根据选定的特征，构建相应的数据挖掘模型，如聚类、分类、关联规则等。最后，对构建的模型进行评估，通过评估指标判断模型的效果和可靠性，并对模型进行优化。
网络安全数据挖掘可以应用于各个方面的网络安全问题，如入侵检测、威胁情报分析、恶意代码检测等。其中，入侵检测是网络安全数据挖掘的重要应用领域之一。传统的入侵检测系统通常基于已知的攻击模式进行检测，容易受到新型攻击的绕过。而通过数据挖掘技术，可以通过对网络流量和日志数据进行分析，发现网络中的异常活动和未知的攻击模式，从而提高入侵检测的准确性和及时性。
网络安全数据挖掘还可以用于威胁情报分析。威胁情报分析是指通过对网络中收集到的各类信息进行挖掘和分析，发现网络中的潜在威胁，提前做好应对措施。通过对常见的攻击行为、恶意软件等数据进行分析，可以提取出攻击者的行为规律和攻击之间的关联性，为网络安全团队提供有效的威胁情报，从而更好地应对威胁。
此外，网络安全数据挖掘还可以应用于恶意代码检测。恶意代码是指那些具有破坏性和危害性的代码，如病毒、蠕虫、木马等。通过对恶意代码及其传播方式的数据进行挖掘和分析，可以提取出恶意代码的特征、行为模式和传播途径，从而设计有效的恶意代码检测和防护方法。
总之，网络安全数据挖掘是通过对网络安全数据进行挖掘和分析，提取潜在的威胁和漏洞，从而制定相应的安全策略的一种技术手段。通过应用网络安全数据挖掘技术，可以提高网络安全的准确性和效率，及时发现和应对潜在威胁，保护网络系统的安全。
基于Web日志的数据挖掘的研究及应用
第１０卷第ｌｌ期２０１０年４月 １６７１－１８１５（２０１０）１１－２７６２－Ｏ５ 科学技术与工程 Ｓｃｉｅｎｃｅ Ｔｅｃｈｎｏｌｏｇｙ ａｎｄ Ｅｎｇｉｎｅｅｒｉｎｇ ＶｏＬ １０ Ｎｏ．１１ Ａｐｒ．２０１０ ＠２０１０ Ｓｃｉ． Ｉ ｌ１．
基于Ｗｅｂ日志的数据挖掘的研究及应用
周金枝刘 呖’ 于辰云
（辽宁石油化工大学计算机软件与理论，抚顺１１３００１）
摘要Ｗｅｂ日志挖掘是Ｗｅｂ数据挖掘中非常重要的一个研究领域和研究方向，首先介绍了ｗｅｂ日志挖掘的过程，然后介 绍了关联规则及关联规则算法——ＦＰ—ｇｒｏｗｔｈ算法，最后将关联规则中的ＦＰ．ｇｒｏｗｔｈ算法应用在网上书店系统中，实瑰对客户 数据的关联规则挖掘。 ‘．． 关键词ｗｅｂ日志挖掘 关联规则 ＦＰ—ｇｒｏｗｔｈ算法 网上书店 ： 中图法分类号ＴＰ３１１．５４；文献标志码Ａ
Ｗｅｂ挖掘是从Ｗｅｂ资源上发现、抽取、过滤信 息，Ｗｅｂ挖掘包括ｗｅｂ内容挖掘、Ｗｅｂ结构挖掘和 Ｗｅｂ日志挖掘。Ｗｅｂ日志挖掘是Ｗｅｂ数据挖掘的
一个主要分支¨ ，Ｗｅｂ １３志挖掘主要是从Ｗｅｂ服 务器的访问１３志文件中抽取用户感兴趣的访问模 式，发现用户的浏览行为，实现个性化推荐服务。 数据挖掘技术在网上购书系统中起着重要作用，使 用数据挖掘技术进行客户数据的挖掘，通过关联规 则挖掘得到不同书籍之间和不同种类书籍之间的
关联关系，在客户购书中可以为客户推荐相关书 籍，从而促进书籍的销售。作为Ｗｅｂ挖掘的技术手 段之一的关联规则挖掘，在Ｗｅｂ １３志挖掘中起着重 要作用。关联规则挖掘的过程主要分为三 阶段， 首先是将数据库转换为事务数据库的形式，然后是 采用合适的算法挖掘出所有的频繁模式，最后生成 关联规则。本文主要是把ＦＰ－ｇｒｏｗｔｈ算法应用在网 上书店中，从而对客户数据进行挖掘。
１ Ｗｅｂ日志挖掘过程
Ｗｅｂ日志是指在服务器上有关Ｗｅｂ访问的各 种日志文件，包括访问１３志、引用日志、代理日志、 错误日志等。Ｗｅｂ服务器访问１３志一般包括以下
基于数据挖掘的网络日志分析
ＩＳＳＮ １００９－３０４４ Ｃｏｍｐｕ￣ｒＫｎｏｗｌｅｄｇｅ ａｎｄ Ｔｅｃｈｎｏｌｏｇｙ电脑知识与技术
Ｖｏ１．７，Ｎｏ．２５，Ｓｅｐｔｅｍｂｅｒ ２０１ １．
基于数据挖掘的网络日志分析
李德新 Ｅ－ｍａｉｌ：ｊｓｈ＠ｃｃｃｃ．ｎｅｔ．ｃａ ｈｔｔｐ：／／ｗｗｗ．ｄｎｚｓ．ｎｅｔ．ｃａ
Ｔｅ１：＋８６—５５ １—５６９０９６３ ５６９０９６４
（江西理工大学信息工程学院，江西赣州３４１０００；赣南师范学院科技学院，江西赣州３４１０００）
摘要：在网络迅速普及的今天，人们开始更多的关注网络安全问题。与网络外部非法入侵行为相比较．内部用户的非法操作更大程
度的威胁着系统安全。对网络日志进行分析，并通过对模式比较、数据挖掘的技术应用，可及时发现内部用户的违规行为或异常操
作，进而可及时调整安全策略，保证系统的安全。
关键词：网络日志；数据挖掘；网络安全
中图分类号：ＴＰ３９３ 文献标识码：Ａ 文章编号：１００９—３０４４（２０１１）２５—６０７４—０２
１研究意义及背景
在军队信息化建设发展迅猛的今天，网上业务的投人使用开始增多，为保障军队军事训练及军队业务工作的正常进行，军队信
息网络随之成为重要资源，因军队信息网络具有重要的使命，所以要求其必须有极高的可控性、安全性和稳定性。
网络安全的传统防护措施中．单纯的重视来自外部的黑客攻击和入侵，完全没有意识到网络内部自身所存在的安全威胁。根据
最新的国际计算机网络安全会提供的一组数据显示，当前网络内部的入侵和破坏占到网络安全威胁的６５％以上。因网络内部人员
位于防火墙后端，又比较熟悉自己的网络，所以由内部人员违规操作造成的威胁往往更难察觉。所以，仅依靠防火墙等边界安全设
备已不能解决现阶段下复杂的网络安全问题，进而，人们也越来越关注对审计日志的分析应用，加大了对内部用户违规操作的监
管。
作为信息网络管理的重要组成部分，安全审计起到了对用户各种行为和访问过程的记录作用，并可以通过对系统日志的收集