-
让品牌有温度、有情感
专注品牌策划15年
网页正文提取算法开源（网页内容提取器）
发布时间：2023-03-04 23:15:23
稿源：
创意岭 阅读：
35
问大家
大家好！今天让创意岭的小编来大家介绍下关于网页正文提取算法开源的问题，以下是小编对此问题的归纳整理，让我们一起来看看吧。
创意岭作为行业内优秀的企业，服务客户遍布全球各地，相关业务请拨打电话：175-8598-2043，或添加微信：1454722008
本文目录:
一、信息采集软件的一般功能有哪些？
一般信息采集系统可以将因特网上的网站信息采集保存到用户的本地数据库中。并具备以下功能：
1、规则定义 － 通过采集规则的定义，可以搜索所有网站采集几乎任何类型的信息。2、多任务，多线程 － 可以同时进行多个信息采集任务，每个任务可以使用多个线程。3、数据保存 － 数据边采集边自动保存到关系数据库中，并且数据结构能够自动适应，软件可以根据采集规则自动创建数据库，以及其中的表和字段。4、网站登录 － 支持网站登录。5、智能网页正文提取 － 可以将正文从网页代码中智能提取。6、结果替换 － 可以将采集的结果根据规则替换成你定义的内容。7、文件下载 － 可以将采集到的二进制文件（诸如：图片、音乐、软件、文档等等）下载到本地磁盘或者采集结果数据库中。8、采集结果分类 － 可以根据用户定义的分类信息进行采集结果的自动分类。9、数据发布 － 可以通过自定义接口，将已采集的结果数据发布到任意的内容管理系统和指定数据库中。10、条件过滤 － 可以根据某个条件来决定那些信息保存，那些信息过滤。11、过滤重复内容 － 软件可根据用户设置和实际情况对重复内容和重复网址自动删除重复内容等等。二、搜索引擎是如何判断你文章是否采集的
搜索引擎是如何判断你文章是否采集的？也就是要看搜索引擎是怎么查看原创的问题
在这个科技高度发达的时代，百度已经成为人们能获取消息的主要途径。但如今的百度，到处充斥着一些重复的内容，对用户的访问造成很大的困扰。因此，百度需要对网页重复进行判断，对重复的网页，只选取一些高质量的我那工业，共用户浏览。然而，现有技术中一般是通过比较两个页面的内容和借点，来确认两个页面的相似度。
这种方法能够计算的比较准确，可时间复杂度太高，计算很费时间。通过对一个页面中的某些重要信息进行签名，然后比较两个页面的签名，来计算相似度，这种方式比较简单高效，计算速度比较快，比较适合百度这种海量信息的应用场景。
1，网站重复内容的判断
A，获取多个网页;
B，分别提取网页的网页正文;
C，从网页正文中提取一个或多个句子，并根据一个或多个句子计算网页正文句子签名;
D，根据网页正文句子签名对多个网页进行聚类;
E，针对每一类下的网页，计算网页的附加签名;
F，根据附加签名判断每一类下的网页是否重复。
通过上述方式，网页重复的判断系统及其判断方法通过包括网页正文句子签名在内的多维度签名有效且快速地判断网页是否重复。
广告图
网站页面基本架构
提取正文
A，对网页进行分块;
B，对分块后的网页进行块过滤，以获取包含网页正文的内容快;
C，从内容块中提取网页正文。
正文分句
A，对网页正文进行分句;
在本步骤中，可利用分号，句号，感叹号等表示句子完结的标志符号来对网页正文进行分句。此外，还可以通过网页正文的视觉信息来对网页正文进行分句。
B，对分句后的网页正文进行过滤及转换;
在步骤中，首先过滤掉句子中的数字信息;版权信息以及其他对网页重复判断不起决定性作用的信息。随后，对句子进行转换，例如，进行全角/半角转换或者繁体/简体转换，以使得转换后的句子的格式统一。
C，从过滤及转换后的网页正文中提取最长的一个或多个句子;
在本步骤中，过滤及转换后的网页正文提取出最长的一个句子或者做场的预定数量连续句子的组合。例如，某个网页实例中，经过过滤及转换后的某段最长，远超其他句子，因此可选择该段为网页正文句子，或者选择最长的连续句子组合作为网页正文句子。
D，对一个或多个句子进行hash签名运算，以获取网页正文句子签名。
simhash算法就是比较各网页的附加签名是否相同或相似来判断网页是否重复。具体来说，在比较利用simhash签名运算获得的网页正文签名时，比较网页正文签名的不同位数，不同位越少，表示网页重复的可能性越高，在比较其他的附加签名时，若附加签名相等，表示网页在该纬度上重复。
总结：
1、两个网页的真实标题签名相同。
2、两个我那工业的网页内容签名相同。
3、两个网页的网页正文签名的不同位数小于6.。
4、两个网页的网页位置签名相同，并且url文件名签名相同。
5、评论块签名、资源签名、标签标题签名、摘要签名、url文件名签名中有三个签名相同。
附加信息整站判断重复标准：
通过两两页面比较，可以得到真重复url的集合。一般来说，如果这个真重复url集合中的网页的数量/整个网页集中网页的数量大于30%，则认为整个网页集都是真重复，否则就是假重复。
三、vb 快速的取得网页源码和提取其中内容
如下函数可以实现你要的功能：
Function TestRegExp(ByVal myString$, ByVal myPattern$, Optional myMark$ = "gimt", Optional myRepString$)
If myString = "" Or myPattern = "" Then
TestRegExp = ""
Debug.Print "数据不能为空"
Exit Function
End If
'Create objects.
Dim objRegExp As RegExp
Dim objMatch As Match
Dim colMatches As MatchCollection
Dim RetStr As String
Set objRegExp = New RegExp
' 正则式
objRegExp.Pattern = myPattern
'IIf(InStr(myPattern, "s") <> 0, "", myPattern)
' 是否区分大小写
objRegExp.IgnoreCase = IIf(InStr(LCase$(myMark), "i") > 0, True, False)
' 是否全局
objRegExp.Global = IIf(InStr(LCase$(myMark), "g") > 0, True, False)
' 是否换行
objRegExp.MultiLine = IIf(InStr(LCase$(myMark), "m") > 0, True, False)
If objRegExp.Test(myString) Then
If InStr(myMark, "r") > 0 Then
Debug.Print "正在替换"
RetStr = objRegExp.Replace(myString, myRepString)
Debug.Print IIf(RetStr <> "", "替换结果" & Left(RetStr, 10), "没搜索到可替换字符")
Else
Debug.Print "正在搜索"
Set colMatches = objRegExp.Execute(myString) ' Execute search.
'MsgBox colMatches.Count
For Each objMatch In colMatches ' Iterate Matches collection.
'RetStr = RetStr & objMatch.FirstIndex
RetStr = RetStr & objMatch.Value & vbCrLf
Next
Debug.Print IIf(RetStr <> "", "搜索结果" & Left(RetStr, 10), "没搜索到匹配结果")
End If
Else
RetStr = ""
Debug.Print "没找到任何匹配结果,请检查正则式的是否正确"
End If
TestRegExp = RetStr
End Function
四、搜索引擎是怎样判断原创的？
搜索引擎判断复制网页一般都基于这么一个思想：为每个网页计算出一组信息指纹（Fingerprint），若两个网页有一定数量相同的信息指纹，则认为这两个网页的内容重叠性很高，也就是说两个网页是内容复制的。很多搜索引擎判断内容复制的方法都不太一样，主要是以下两点的不同：1、计算信息指纹（Fingerprint）的算法；2、判断信息指纹的相似程度的参数。在描述具体的算法前，先说清楚两点：1、什么是信息指纹？信息指纹就是把网页里面正文信息，提取一定的信息，可以是关键字、词、句子或者段落及其在网页里面的权重等，对它进行加密，如MD5加密，从而形成的一个字符串。信息指纹如同人的指纹，只要内容不相同，信息指纹就不一样。2、算法提取的信息不是针对整张网页，而是把网站里面共同的部分如导航条、logo、版权等信息（这些称之为网页的“噪音”）过滤掉后剩下的文本。分段签名算法这种算法是按照一定的规则把网页切成N段，对每一段进行签名，形成每一段的信息指纹。如果这N个信息指纹里面有M个相同时（m是系统定义的阙值），则认为两者是复制网页。这种算法对于小规模的判断复制网页是很好的一种算法，但是对于像google这样海量的搜索引擎来说，算法的复杂度相当高。基于关键词的复制网页算法像google这类搜索引擎，他在抓取网页的时候都会记下以下网页信息：1、网页中出现的关键词（中文分词技术）以及每个关键词的权重（关键词密度）；2、提取meta descrīption或者每个网页的512个字节的有效文字。关于第2点，baidu和google有所不同，google是提取你的meta descrīption，如果没有查询关键字相关的512个字节，而百度是直接提取后者。这一点大家使用过的都有所体会。在以下算法描述中，我们约定几个信息指纹变量：Pi表示第i个网页；该网页权重最高的N个关键词构成集合Ti={t1,t2,...tn}，其对应的权重为Wi={w1,w2,...wi}摘要信息用Des(Pi)表示，前n个关键词拼成的字符串用Con(Ti)表示，对这n个关键词排序后形成的字符串用Sort(Ti)表示。以上信息指纹都用MD5函数进行加密。基于关键词的复制网页算法有以下5种：1、MD5(Des(Pi))=MD5(Des(Pj)),就是说摘要信息完全一样，i和j两个网页就认为是复制网页；2、MD5(Con(Ti))=MD5(Con(Tj)),两个网页前n个关键词及其权重的排序一样，就认为是复制网页；3、MD5(Sort(Ti))=MD5(Sort(Tj)),两个网页前n个关键词一样，权重可以不一样，也认为是复制网页。4、MD5(Con(Ti))=MD5(Con(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a，则认为两者是复制网页。5、MD5(Sort(Ti))=MD5(Sort(Tj))并且Wi-Wj的平方除以Wi和Wj的平方之和小于某个阙值a，则认为两者是复制网页。关于第4和第5的那个阙值a,主要是因为前一个判断条件下，还是会有很多网页被误伤，搜索引擎开发根据权重的分布比例进行调节，防止误伤。这个是北大天网搜索引擎的去重算法（可以参考：《搜索引擎--原理、技术与系统》一书），以上5种算法运行的时候，算法的效果取决于N，就是关键词数目的选取。当然啦，选的数量越多，判断就会越精确，但是谁知而来的计算速度也会减慢下来。所以必须考虑一个计算速度和去重准确率的平衡。据天网试验结果，10个左右关键词最恰当。后记以上肯定无法覆盖一个大型搜索引擎复制网页的所有方面，他们必定还有一些辅助的信息指纹判断，本文作为一个思路，给做搜索引擎优化的一个思路。小弟的站：合肥化妆摄影学校
以上就是关于网页正文提取算法开源相关问题的回答。希望能帮到你，如有更多相关问题，您也可以联系我们的客服进行咨询，客服也会为您讲解更多精彩的知识和内容。
推荐阅读：
赣公网安备 50019002502384号
