基于文字密度提取网页正文
基于网页分块的正文信息提取方法
收稿日期:2008-07-27;修回日期:2008-09-15。
基金项目:重庆市自然科学基金资助项目(2007BB2454)。
作者简介:黄玲(1983-),女,江西赣州人,硕士研究生,主要研究方向:智能信息处理; 陈龙(1970-),男,重庆人,副教授,博士,主要研究方向:智能信息处理、信息安全。
文章编号:1001-9081(2008)S2-0326-03基于网页分块的正文信息提取方法黄 玲,陈 龙(重庆邮电大学计算机科学与技术研究所,重庆400065)(shanlu316@ )摘 要:网页主题信息通常湮没在大量的无关文字和HT ML 标记中,给应用程序迅速获取主题信息增加的难度。
提出了一种基于网页分块的正文信息抽取方法。
该方法首先识别和提取网页正文内容块,然后利用正则表达式和简单的判别规则内容块滤除内容块中的HT ML 标记和无关文字。
实验证明,该方法能够准确地提取网页正文信息,且通用性较强,易于实现。
关键词:W eb 信息抽取;主题内容块;网页正文信息中图分类号:TP391 文献标志码:AW eb i n forma ti on extracti on ba sed on v isua l block segm en ta ti onHUANG L ing,CHEN Long(Institute of Co m puter Science and Technology,Chongqing U niversity of Posts and Teleco mm unication,Chongqing 400065,China )Abstract:W eb pages al w ays contain large nu mbers of irrelevant words and HT ML tags excep t f or inf or mative inf or mati on .This enhances the difficulties of extracting inf or mative inf or mati on fr om W eb pages quickly .A method of extract inf or mative inf or mati on based on user πs interest is p r oposed .The experi m ental results p r ove that this method is gooduniversality and can obtain infor mative message accurately,s o our app r oach is easy t o realize .Key words:W eb infor mati on extracti on;inf or mative content bl ock;main text of W eb page0 引言I nternet 及其应用技术的迅猛发展,产生了海量的W eb数据[1]。
使用特征文本密度的网页正文提取
ｔｘ ｒ ｐ ｒｉｎ ａ ｄ ｄ ｎ ｉ ， ｕ ｄ ｎｉ ｅ ｈ ｏ ｔｎ ｎ ｏ ｍａｉｎ ａ ｃ ｒｔｌ．ｈ ｔｏ ａ ａｈ ｒ ｌｗ ｉ ｅ ａ ｄ ｓ ａ ｅ ｏ － ｅ ｔｐ ｏ ｏ ｔ ｎ ｅ ｓ ｔ ｓ ｉｅ ｔ ｓ ｔｅ ｃ ｎｅ ｔｉｆｒ ｔ ｃ ｕ ａｅｙＴ ｅ ｍｅｈ ｄ ｈ ｓ ｒｔｅ ｏ ｔ ｎ ｐ ｃ ｃ ｒ ｏ ｙ ｔ ｈ ｉ ｆ ｏ ｍ ｎ ｐｅ ｉ ． ｐ ｒ ｎｓ ｈ ｗ ｈ ｔ ｉ ｃｎ ｅ ｔａ ｔｃ ｎｅ ｔ ｉｆｒ ａｉｎ ｅ ｅ ｔ ｅｙ ｆｏ ｌｘｔ Ｅｘ ｅｉ ｔ ｙ ｍｅ ｓ ｏ ｔａ ｔ ａ ｘ ｃ ｏ ｔｎ ｎ ｏ ｒ ｍ ｔ ｆ ｃｉ ｌ ｒｍ ｃ ｍｐｅ ｄ ｍｕｔ ｔｐｃ ｗｅ ａ ｅ ｄ ｈ ｓ ｏ ｖ ｏ ｌｘ ａ ｌ—ｏ ｉ ｂ ｐ ｇ ｓ ａ ａ ｎ ｉ ｎ ａ ｗｉｅ ａ ｐ ｉａ ｉｔ． ｄ ｐ ｌ ｂｌ ｃ ｉ ｙ Ｋｅ ｒ ｓ ｔｘ ｅ ｓｔ ；ｅ ｔｆａｕｅ； ｆｒ ｔ ｎ ｅ ｔａ ｔ ｎ； ｂ ｐ ｇ ｙ ｗｏ ｄ ： ｅ ｔｄ ｎ ｉ ｔｘ ｅ ｔｒ ｉ ｏｍａｉ ｘｒｃｉ ｗｅ ａ ｅ ｙ ｎ ｏ ｏ
关键词 ： 文本 密度 ； 本特 征 ； 息抽 取 ； 文 信 网页 Ｄ ０ ７ ８ ． ｓ． ０ —３ １ ０ ０２ ．０ 文 章编 号 ：０２８ ３ （０ ０ ２ －０ １０ 文 献 标 识 码 ： Ｏｈ１． ７ ／ｉ ｎ１ ２８ ３ ． １．０ １ ３ ｊｓ ０ ２ ０ １０ —３ １２ １ ） ００ ０ —３ Ａ 中 图 分 类 号 ： Ｐ ９ Ｔ ３３
Ｃ ｍ ｕｅ ｎ ｉ ｅｉ ｎ Ａ ｐ ｉ ｔ ｎ ￣ 算机工程与应用 ｏ ｐ ｔ Ｅ ｇｎ ｒ ｇａ ｄ ｐ ｌ ａｉ ｓ ｆ ｒ ｅ ｎ ｃ ｏ
２ １ ，６ ２ ） ０ ０４ （ ０
我为开源做贡献，网页正文提取——Html2Article
我为开源做贡献，⽹页正⽂提取——Html2Article为什么要做正⽂提取⼀般做舆情分析，都会涉及到⽹页正⽂内容提取。
对于分析⽽⾔，有价值的信息是正⽂部分，⼤多数情况下，为了便于分析，需要将⽹页中和正⽂不相⼲的部分给剔除。
可以说正⽂提取的好坏，直接影响了分析结果的好坏。
对于特定的⽹站，我们可以分析其html结构，根据其结构来获取正⽂信息。
先看⼀下下⾯这张图：正⽂部分，不同的⽹站，正⽂所在的位置不同，并且Html的结构也不同，对于爬⾍⽽⾔，抓取的页⾯是各种各样的，不可能针对所有的页⾯去写抓取规则来提取正⽂内容，因此需要⼀种通⽤的算法将正⽂提取出来。
现有的⽹页正⽂提取算法基于标签⽤途的正⽂提取算法（⽐如title或h1,h2标签⼀般⽤作标题，p⼀般表⽰正⽂段落，根据标签的含义去提取正⽂）基于标签密度判定（这个简单，说⽩了就是字符统计，正⽂部分html标签的密度⽐较低，确定⼀个阈值，按照标签密度提取正⽂部分）基于数据挖掘思想的⽹页正⽂抽取⽅法（这⾥会涉及到统计学和概率论的⼀些知识，在⾼深点就成了机器学习了，没有深⼊研究）基于视觉⽹页块分析技术的正⽂抽取（CV这种⾼端⼤⽓上档次的东西，岂是我等这么容易就能研究明⽩的。
虽然实现上复杂，但就提取效果⽽⾔，这种⽅法提取的精度还是不错的）前2中⽅法还是⽐较容易实现的，主要是处理简单，先前我把标签密度的提取算法实现了，但实际⽤起来错误率还是蛮⾼的；后2种⽅法在实现上就略复杂了，从算法效率上讲应该也⾼不了哪去。
我们需要的是⼀种简单易实现的，既能保证处理速度，提取的准确率也不错的算法。
于是结合前两种算法，研究⽹页html页⾯结构，有了⼀种⽐较好的处理思路，权且叫做基于⽂本密度的正⽂提取算法吧。
后来从⽹上找了⼀下类似的算法，发现也有使⽤类似的处理⽅法来处理正⽂提取的，不过还是有些不同。
接下来跟⼤家分享⼀下这个算法的⼀些处理思想。
⽹页分析我任意取了百度，搜狐，⽹易的⼀篇新闻类⽹页，拿来作分析。
从html中提取正文的方法
从html中提取正文的方法从HTML中提取正文的方法随着互联网的发展，网页内容呈现多样化的趋势，其中HTML是最常见的网页编程语言之一。
但是在浏览网页的过程中，我们往往只关注页面的主要内容，即正文部分。
如何从HTML中提取出正文内容，成为了一个非常重要的问题。
本文将介绍几种常用的方法来实现这一目标。
一、基于标签的提取方法HTML文档通常由一系列的标签组成，不同的标签有不同的作用和语义。
在提取正文时，我们可以根据标签的特点来进行筛选。
常用的标签有p、div、span等，这些标签通常用来包裹正文内容。
我们可以通过解析HTML文档，找到这些标签，并提取出其中的文本内容。
同时，我们还可以根据标签的属性进行筛选，比如class属性、id 属性等。
通过这种方法，我们可以较为准确地提取出正文内容。
二、基于文本密度的提取方法正文通常具有较高的文本密度，即正文部分的文字数量较多。
而其他非正文的内容，比如导航栏、广告等，通常具有较低的文本密度。
基于这个特点，我们可以通过计算页面中每个标签的文本密度，来判断其是否属于正文内容。
具体的方法可以是统计标签内文本的字符数或词数，然后除以标签的总字符数或词数，得到文本密度的比值。
根据这个比值的大小，我们可以判断标签是否为正文内容。
通过这种方法，我们可以较为准确地提取出正文内容。
三、基于机器学习的提取方法除了基于标签和文本密度的方法，还可以利用机器学习的方法来提取正文内容。
通过训练模型，我们可以将HTML文档中的各个标签和属性作为特征，将其对应的正文内容作为标签，然后利用已有的正文和非正文数据进行训练。
训练完成后，我们可以使用这个模型来预测新的HTML文档中的正文内容。
这种方法的优势在于可以适应不同的网页结构和样式，提取效果较为准确。
从HTML中提取正文内容是一个比较复杂的问题，但是通过合理的方法和技术手段，我们可以实现较为准确地提取。
基于标签、文本密度和机器学习的方法都具有一定的优势和适用场景，可以根据实际需求选择合适的方法。
基于文本密度模型的Web正文抽取
基于文本密度模型的Web正文抽取朱泽德;李淼;张健;陈雷;曾新华【期刊名称】《模式识别与人工智能》【年(卷),期】2013(000)007【摘要】为从大量无关信息中获取有用内容，正文抽取成为Web数据应用不可或缺的组成部分。
文中提出一种基于文本密度模型的新闻网页正文抽取方法。
主要通过融合网页结构和语言特征的统计模型，将网页文档按文本行转化成正、负密度序列，再根据邻近行的内容连续性，利用高斯平滑技术修正文本密度序列，最后采用改进的最大子序列分割序列抽取正文内容。
该方法保持正文完整性并排除噪声干扰，且无需人工干预或反复训练。
实验结果表明基于文本密度抽取正文对不同数据源具有广泛的适应性，且准确率和召回率优于现有统计模型。
%In order to obtain useful content encompassed by a large number of irrelevant information, the content extraction becomes indispensable for web data application. An approach of web content extraction based on the text density model is proposed, which integrates page structure features with language features to convert text lines of page document into a positive or negative density sequence. Additionally, the Gaussian smoothing technique is used to revise the density sequence, which takes the content continuity of adjacent lines into consideration. Finally, the improved maximum sequence segmentation is adopted to split the sequence and extract web content. Without any human intervention or repeated trainings, this approach maintains the integrity of content and eliminatesnoise disturbance. The experimental results indicate that the web content extraction based on the text density model is widely adapted to different data sources, and both accuracy and recall rate of the proposed approach are better than those existing statistical models.【总页数】6页(P667-672)【作者】朱泽德;李淼;张健;陈雷;曾新华【作者单位】中国科学技术大学自动化系合肥230026; 中国科学院合肥智能机械研究所合肥230031;中国科学院合肥智能机械研究所合肥230031;中国科学院合肥智能机械研究所合肥230031;中国科学院合肥智能机械研究所合肥230031;中国科学院合肥智能机械研究所合肥230031【正文语种】中文【中图分类】TP391【相关文献】1.基于文本特征值的正文抽取方法 [J], 孟川;武小年2.基于文本块密度和标签路径覆盖率的网页正文抽取 [J], 刘鹏程;胡骏;吴共庆3.基于文本行特征的网页正文信息抽取方法研究 [J], 刘志杰;潘洋4.基于标签路径覆盖率和多文本特征的正文抽取算法 [J], 郑野; 宋旭东; 于林林; 陈鑫影5.基于文本标点密度连续和的网页正文抽取 [J], 汤佳杰; 曹永忠; 顾浩因版权原因，仅展示原文概要，查看原文内容请购买。
基于文本及符号密度的网页正文提取方法
电子设计工程Electronic Design Engineering第27卷Vol.27第8期No.82019年4月Apr.2019收稿日期：2018-07-20稿件编号：201807113作者简介：洪鸿辉（1992—），男，广东揭阳人，硕士研究生。
研究方向：大数据处理。
自互联网问世以来，经过多年的发展，互联网站点的数量在不断的增长，互联网上的信息也在不断的增加，然而，由于商业因素的问题，这些网站在为我们提供有价值的信息的同时，还会包含其他信息，例如广告或其他网站的链接。
链接可能是图片，文字。
这些相对于正文内容无用的信息会降低我们的阅读效率，而且这些无用的文字可能会被搜索引擎作为索引关键词，不仅降低了搜索的效率还影响了用户的体验。
很多互联网公司也发现了这一问题，所以现在越来越多的网页都会支持RSS 。
若一个网页支持RSS ，我们就可以很轻易的提取网页的正文内容，但大多数网页还是不支持RSS ，所以关于正文提取这一方面的研究工作一直没有停止。
网页的类型有很多种，比如新闻网站，博客网站，论坛等。
新闻类网站的正文提取一直是研究的主要方向，新闻类的文章通常要提取正文内容，标题，时间，作者等。
文章通常要提取正文内容，标题，时间，作者等。
一方面，网页正文提取结果的好坏会影响着文本聚类，去重，语义指纹等结果。
另一方面，网页正文提取在大数据时代也是一项不可或缺的环节。
1相关工作1.1VIPS2003年，微软公司亚洲研究所提出了一种网页进行视觉分块[1]算法—VIPS [2]算法。
该算法的思想是模仿人类看网页的动作，基于网页视觉内容结构信息结合Dom 树对网页进行处理。
简单的说就是把页面切割不同大小的块，在每一块中又根据块网页的内容和CSS 的样式渲染成的视觉特征把其分成小块，最后建立一棵树[3]。
但是，VIPS 必须完全渲染一个页面才能对其进基于文本及符号密度的网页正文提取方法洪鸿辉，丁世涛，黄傲，郭致远（武汉邮电科学研究院湖北武汉430000）摘要：大多数的网站的网页除了主要的内容，还包含导航栏，广告，版权等无关信息。
基于相似度的中文网页正文提取算法
Ｋｅ ｒ ｓ ｅ ｔｓ ｌｒ ；Ｔ ｇ ｓ ｌｒ ；Ｂ ｏ ｋｎ Ｔ ｘ ｎｎ ｙ ｗｏ ｄ ：Ｔ ｘ ｉ ａ ｔ ｍｉ ｉ ｙ ａ ｉ ａｉ ｍｉ ｔ ｙ ｌｃ ｉｇ； ｅ ｔＭｉｉｇ
随着互联网的发展， 网络资源及数据呈现海量特征 ， 网络信息的急剧增加带来 的一个问题就是网络拥 塞。为了有效地过滤无用信息 ， 节省网络带宽， 需要对信息的内容进行处理 ， 网页正文提取是这个处理过程
中比较 重要 的一 环 。
由于信息的复杂多样以及网页制作工具的差异 ， 使得 网页结构也 日趋复杂化。而且因为网页中的信息
含量杂 乱 ， 纯利 用 网页结构来 读取 有用 信息 已经变 得越 来 越 困难 。如 何 过 滤掉 这 些信 息 来提 取 网 页主题 单 已成为 ＷＥ Ｂ服务 中很重 要 的一个部 分 。 现 有 的提 取 网页主题 的方法 一般 过程 如下 ：１ 利 用 Ｈ ＭＬ标 签 对 网页进 行 区域 分 割—— 分 块 ；２ 根 （） Ｔ （） 据 不 同规 则 ， 取 网页主题 。 提 分块 方法 一般分 为两类 ： 于 Ｄ Ｍ（ ｏｕ ｎ ｂｅｔ ｏｅ） 基 Ｏ Ｄ ｃｍｅｔ ｊｃ Ｍ ｄ１的方法 Ｌ 和基 于视 觉 特征 （ ｉｏ Ｏ 】 Ｖｓ ｎ—ｂｓｄ ｉ ａｅ ）
ＸＩ ＯＮＧ — ｉ Ｚｉｑ ，ＺＨＡＮＧ ｉ Ｈｕ ，ＬＩ Ｍａ —ｏ ｇ Ｎ ｏ ｓ ｎ （ ｃｏｌｆＣｍ ｕ ｒＳｉ ｃ ｎ ｅｈｏｏｙ Ｓｕ ｗｓ Ｕ ｉｒｔ ｏ ｃｎｅａ ｅ ｎｌ ｙ Ｓｈｏ ｏ ｏ ｐ ｔ ｃｎｅａｄＴｃｎｌ ， ｏｔ ｅ ｎｖ ｓｙ ｆＳｉ ｎ Ｔｃｏ ｏ ， ｅ ｅ ｇ ｈ ｔ ｅ ｉ ｅ ｃ ｄ ｈ ｇ
第２ ５卷 第 １ 期 ２１ ０ ０年 ３月
西
南
基于文本块密度和标签路径覆盖率的网页正文抽取
些噪声对 Ｗｅｂ信息检索、Ｗｅｂ内容的管理和分析、Ｗｅｂ信息聚 合和推送等研究带来了巨大的挑战。因此，过滤网页中的噪声 信息，抽取网页的正文内容息 时 代 的 标 志，Ｗｅｂ逐 渐 成 为 很 多 应 用 的 重要信 息 来 源。《２０１６年 互 联 网 趋 势 报 告 》（２０１６Ｉｎｔｅｒｎｅｔ ｔｒｅｎｄｓ）［１］指出，全球互联网用户已达 ３０亿，比上年增长 ９％， 互联网 全 球 渗 透 率 达 到 ４２％。根 据 中 国 互 联 网 信 息 中 心 （ＣＮＮＩＣ）的调查 显 示 ［２］，互 联 网 用 户 的 主 要 行 为 之 一 就 是 阅 读网络新闻，同时中国互联网用户阅读互联网新闻的普及率为 ８１．６％，其中移动互联网用户比率达到 ７８．９％。移动互联网 的快 速 发 展，对 新 闻 媒 体 质 量 有 着 更 高 的 要 求，各 种 各 样 的 Ｗｅｂ新闻替代传统报纸，成为人们获取最新信息的重要载体。
第 ３５卷第 ６期 ２０１８年 ６月
计算机应用研究 ＡｐｐｌｉｃａｔｉｏｎＲｅｓｅａｒｃｈｏｆＣｏｍｐｕｔｅｒｓ
Ｖｏｌ３５Ｎｏ６ Ｊｕｎ．２０１８
基于文本块密度和标签路径 覆盖率的网页正文抽取
刘鹏程，胡 骏，吴共庆
（合肥工业大学 计算机与信息学院，合肥 ２３０００９）
摘 要：大多数网页除了正文信息外，还包括导航、广告和免责声明等噪声信息。为了提高网页正文抽取的准 确性，提出了一种基于文本块密度和标签路径覆盖率的抽取方法（ＣＥＴＤＴＰＣ）。结合网页文本块密度特征和标 签路径特征的优点，设计了融合两种特征的新特征，利用新特征抽取网页中的最佳文本块，最后，抽取该文本块 中的正文内容。该方法有效地解决了网页正文中噪声块信息过滤和短文本难以抽取的问题，且无须训练和人工 处理。在 ＣｌｅａｎＥｖａｌ数据集和从知名网站上随机选取的新闻网页数据集上的实验结果表明，ＣＥＴＤＴＰＣ方法在不 同数据源上均具有很好的适用性，抽取性能优于 ＣＥＴＲ、ＣＥＴＤ和 ＣＥＰＲ算法。 关键词：正文抽取；文本块密度；标签路径覆盖率；特征融合 中图分类号：ＴＰ３９１．１ 文献标志码：Ａ 文章编号：１００１３６９５（２０１８）０６１６４５０６ ｄｏｉ：１０．３９６９／ｊ．ｉｓｓｎ．１００１３６９５．２０１８．０６．０１０
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
有较 高的准确性 ， 网页正文提取 的准确度 高达 ９ ４ ％。
【 关键 词 】 网页正文提取 ； 文字密度 函数 ； 网页噪 声； 舆情分析
０． 引言
随着互联 网的快速 发展 ， 网页 的数量增长迅 速 ， 并且 网页 的内容和格式不再是像 以前那么单一 ， 这代表着科技 的进步但 同时也带来 了很 多的问题 。比如在做舆情分析ｌ １ ｌ 的时候 ， 需要尽 快地 从网页中找到有价值的信息 ， 网页 中的噪声和无关 的链 接
二 ＝ 土 二 ＝ 二 二 二 二
（ 正 文部 分 ： ５ ７ ２ — ６ ３ ０ ）
的密度 比较低 ， 而 众多广 告链接 的标签密度 很高 ， 可 以利用 标
签 密 度 的差 异 来 分 辨 正 文 。 缺 点： 正 文 提 取 的 精 确 性 十 分 依 赖 阂 值 的确 定 ， 虽 然 算 法 在 后 来 得 到 了改 进 ， 但 是 实 际 使 用 时 错 误 率 比较 高 。 １ － ３基 于数 据 挖 掘 或 机 器 学 习＿ ５ ｌ ：
程序 员在设计 网页 的时候 ， 通常会遵 守一些规 则 ， 通 过 这
些 规 则 可 以提 取 网页 的正 文 。
－
１ Ｏ ＯＯ
Ｏ
１
） １ ００ ０
Байду номын сангаас
．
２ ０ ０ ０
．
３ ０
１ ０ Ｏ ０
图 ２ 凤 凰 资讯
ｈ ｔ ｔ ｐ： ／ ／ ｎ ｅ ｗｓ ． ｉ ｆ ｅ ｎ ｇ ． ｃ ｏ ｎ／ ｒ ａ ／ ２ ０ １ ７ ０ ３ ２ ２ ／ ５ ０ ８ １ ２ ４ ７ ９ ０ ． ｓ ｈ ｔ ｍｌ
４ ０ ０
２ Ｏ Ｏ
Ｏ
，
缺 点： Ｄ ｏ ｍ树 的 建 立 对 网页 的完 整 度 要 求 比较 高 ，而 且 建
立和遍历 Ｄ ｏ ｍ树 的时间和空 间复杂度 比较高； 识别网页噪声需
要建立广告服务器列表 ， 并 且列 表 需 要 经 常 更 新 。 １ ． ２基 于 标签 密度 判 定 ：
将筛选 出来 的正文行 加入 到集合中， 这个 集合到最后就 是
正 文 部 分
缺 点： 仍 然 要依 靠 ＨＴ ＭＬ标签 做 判 断 ， 有 些 例 外 情 况 会被 错 误 的 归入 到 正 文 部 分 ， 比如 标题 很 长 的链 接 群和 较 长 的评 论 。
以上这些方法都存在一些错误率 比较高、实现起来十分复 杂、 效 率 低 下 的缺 陷 ， 而 网页 正 文 提 取 这 项 技 术 一 般 是 面 向海 量
一 … …～
Ｄ Ｏ Ｉ ： １ ０ ． １ ６ ７ ０ ７ ￣ ． ｅ ｎ ｋ ｉ ． ｆ ｊ ｐ ｃ ． ２ ０ １ ７ ． ０ ４ ． ０ ５ ６
一 子
嚣
基 于 文 字 密 度 提 取 网 页 正 文
石 锦涛
（ 四川大学计 算机 学院 四川 成都 ６ １ ０ ０ ６ ５ ）
＿
首 先 对 网 页源 代 码 做 预 处 理 ， 去 除＜ ｂ ｏ ｄ ｙ ＞ 之 前的文本 （ 网
【 摘 要】 本 文提 出了一种基 于文字密度的网页正文提取 算法。该 方法包括 了 ３ 个步骤 ： 首先对 网页进行预处理 ． 然
后基 于处理后的部分做 出该 网页的文字密度函数 ， 最后 引入 一种 分析机制将 正文部 分提取 出来。 本文提 出的算法不依 赖 ＤＯＭ 树的建立、 不依赖机 器学习和数据挖掘 ， 而是根据 网页正文的特性进行 正文提取 。 实验表 明本方法切 实可行并且具
ｃ ｎ／ ｂ ａ ｓ ｋ ｅ ｔ ｂ ａ ｌ ｌ ／ ｎ ｂ ａ ／ ２ ０１ ７ —０ ３— ２ ０／ ｄ ｏ ｃ —ｉ ｆ ｙｃ ｎ ｐ ｉ ｕ ９ １ ３ ３ ８ ５ ０． ｓ ｈ ｔ ｍｌ
将 网页源代 码进行线性化重构 ， 经过文本分类和聚类得 到 网页正文 的脉络段落， 最后通过吸收伪噪声段落生成网页正文 。 缺 点： 简单问题 复杂化 ， 时间和空问复杂度很 高。 １ ． ４基于逻辑行和最大接纳距离 的网页正文提取 ：
对 于网页正文的提取， 目前 比较 流 行 的 相 关 技 术 有 以 下 几 类：
１ ． １ 基于 Ｄ ｏ ｍ树 【 ：
为待提取 的网页建立 Ｄ ｏ ｍ树并遍历该树， 在遍历过程中识 别 并移 除各种网页噪声 ，当这些工作做完之后 ， Ｄ ｏ ｍ树 中剩下
的就 是 正 文 信 息 。
会 对 信 息提 取 造 成 很 大 的 阻 碍 ， 这 个 时 候 就 需 要 对 网页 进 行 正 文 提取 ， 可 以说正文提取 的结果 如何 ， 会 直 接 影 响 到 分 析 结 果
的好 坏 。 １ ． 相 关 工 作
３ ） 正文 代 码 的一 行 中 非 Ｈ Ｔ ＭＬ标 签 的 文 字 数 量 比 较 多 ４ ） 超链 接 长 度 占比 不 会 很 大
一
般的Ｈ ｔ ｍ ｌ 网页 中会 有 众 多 标 签 ，在 正 文 部 分 ｈ ｔ ｍｌ 标 签
２ ０ Ｏ
五 … … …～ ｓ ０ ０ ～一 ０ ｏ ｏ 一 … 一 １ ｓ ｏ ｏ … 一 ～ ２ ０ ０ ０
图 １ 新 浪 新 闻
ｈｔ ｔ ｐ ： ／ ／ ｓ ｐｏ ｒ ｔ ｓ ． ｓ ｉ ｎ ａ ． ｃ ｏ ｎ ｒ
来 的就 是文字部分 。假 定去除 Ｈ Ｔ ＭＬ标签之 后 的正文部分 为 Ｔ Ｅ Ｘ Ｔ ， 那么使用 Ｔ Ｅ Ｘ Ｔ的每一行 的行号作为 ｘ轴 ， 该行 的文 字 量 为 Ｙ轴 。 本 文 挑 选 了中 国互 联 网 比较 主 流 的 几个 媒 体 网站 的
新闻， 这些新闻的文字密度分布函数如下所示：