毕业论文-基于网页内容和链接的主题爬虫研究与实现.pdf

:

篈
海南大学硕士学位论文摘要
摘要
随着互联网上的信息量越来越大,传统搜索引擎的局限性如覆盖率低、时效
性差、结果不准确等已日趋明显。针对以上情况,另一种搜索引擎悄然出现,它
可以在一定范围内取得比传统搜索引擎更令人满意的结果,这就是垂直搜索引
擎。主题爬虫是垂直搜索引擎的核心部分。主题爬虫对网络带宽的利用率、硬件
资源的使用以及搜索效率都有重要的影响,因此对主题爬虫的研究具有重要的意
义。
本文首先介绍爬虫的基本原理,接着讨论主题爬虫的关键技术如中文分词,
主题判断的方法以及主题向量的建立等,重点介绍了主题爬虫的爬行策略。本文
详细介绍了每类爬行策略的代表算法,并对这些算法的优缺点进行了分析,并在
此基础上提出了算法改进方法。
本文对传统向量空间模型特征词的权值计算方法进行改进:对文本中不同
位置的特征词赋予不同的权重;对算法中不合理的链接互相加强关系进行
了改进:在扩展根集时,如果一个网站嫌衝个其它网页指向另外一个网站上
的某个网页保蚪庑┝唇拥娜ㄖ厣栉/渌唇拥娜ㄖ匾廊簧栉猯;
针对算法产生“近视’’和算法产生“主题漂移’’的不足,将
这两种算法的优点结合起来形成两种新的主题爬虫算法:算法和
算法,并实现了这两种爬虫算法。实验表明新的算法效果较好。
关键词: 垂直搜素引擎主题爬虫爬行策略
●●●
●瘛裆
海南大学硕十学位论文摘要

,
瑂黮, ,
瓼琣



甌
.

.

,
,
甌

.

篻

粀琲
瑃痭,
甀猄
“痑‘‘保琲
猙—
篠
琣.
籧.
:
.
海南大学硕宦畚目录
目录
蜓浴璴
论文的背景⋯⋯.⋯⋯⋯⋯⋯⋯⋯.⋯⋯⋯⋯⋯⋯⋯
国内外研究现状⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.
研究的目的及意义⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..
本文的组织工作⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.
魈馀莱娴墓ぷ髟砑肮丶际酢
爬虫原理⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.
.ㄓ猛缗莱娴墓ぷ髟怼
.魈馀莱娴墓ぷ髟怼
主题相关度计算⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.
.蛄靠占淠P汀
.级P汀
.匆端狗椒ā
中文分词简介⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..
.形姆执省
.S玫姆执仕惴ā
.<闹形姆执士T聪钅俊
主题向量的建立⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯
本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯
莱娴呐佬胁呗匝芯俊
传统网络爬虫的爬行策略⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.
主题爬虫的爬行策略⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..
.谀谌莸闹魈馀佬胁呗浴
.诹唇拥闹魈馀莱媾佬胁呗浴
.诜掷嗥鞯闹魈馀佬胁呗浴
本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯
算法及其改进⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯
算法的基本思想⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.
算法的过程⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..
.乖霿子图⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..
.扑闳ㄍ岛椭行闹怠
算法的优缺点⋯..⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.
算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯
—算法⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..
本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯
低成杓萍笆笛椤系统开发环境⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..系统开发的目标⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯系统设计⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯爬虫主要类介绍⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯系统界面⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯实验结果及分析⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯本章小结⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯总结与展望⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..参考文献⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.攻读硕士学位期间发表的论文⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯.后记⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯⋯..海南大学硕十学位论文目录
蜓论文的背景随着互联网的迅速发展,网络对我们的影响已越来越大。际酢!W魑K酱怪彼阉魇钦攵阅骋惶囟煊颉⒛骋惶定人群所提供的有一定价值的相关服务——定向分字段抽取出相应信息进行处互联网发展最为迅速的技术之一,以其方便简单的使用方式和丰富的表达能力,已慢慢成为互联网上最重要的信息发布和传输方式。然而随着畔⒌募本缭加,一方面网上的信息种类繁多、丰富多彩,而另一方面用户却很难找到他们所需要的信息。搜索引擎就是在这样的背景下出现的,并且已经发挥出越来越重要的作用,已成为人们从浩瀚的信息海洋中获取信息的重要工具之一。最新调查显示【:ü阉饕婊袢⌒畔ⅰK阉饕婕际跻殉为计算机工业界和学