主题型网页发现以及网页内信息块发现课件.ppt

该【主题型网页发现以及网页内信息块发现课件 】是由【落意心冢】上传分享，beplayapp体育下载一共【25】页，该beplayapp体育下载可以免费在线阅读，需要了解更多关于【主题型网页发现以及网页内信息块发现课件 】的内容，可以使用beplayapp体育下载的站内搜索功能，选择自己适合的beplayapp体育下载，以下文字是截取该文章内的部分文字，如需要获得完整电子版，请下载此beplayapp体育下载到您的设备，方便您编辑和打印。主题型网页发现以及网页内信息块发现课件主题型网页发现目录特征分析算法设计结果分析不足与改进特征分析主题型网页特征:文字较多(非锚文本) 主题型网页一般都有明显的文本段落,文字较多,相应的标点符号也较多。URL较长 在一般的Web网站链接导航树上,主题型网页主要分布于底层,多为叶节点。对于同一网站而言,主题型网页的URL相对较长。URL体现了网站内容管理的层次,对于大型网站而言,URL往往非常有规律。链接较少 主题型网页的主体在于“文字”,相对于导航型网页,其链接数较少。特征分析非主题型网页特征文字较少 非主题型网页的主体是链接,图像,或者其它形式的内容,文字较少链接较多 对于导航型网页而言,链接是其主要内容URL较短 导航型网页的URL层数较少,且多为目录型URL特征分析网页噪音特征多以链接的形式出现有很多锚文本,但标点符号较少有许多常见的噪音文本,如版权声明等在视觉上,多出现于网页的边缘算法设计主题型网页发现:对网页进行二元分类分类过程分为三个阶段:阶段1: 根据主题型网页的重要特征进行分类,这些重要特征主要包括:标点符号数目,文字数目。无需复杂算法,只需设置特征阈值。阶段2: 对在阶段1中无法确定分类的网页,提取更多的特征,利用分类器(如支持向量机)进行进一步的分类。这一阶段的特征有:URL层数、URL中数字的个数、文字数目、标点符号数目等。阶段3: 经过上面两个阶段的分类之后,对主题型网页进行信息块抽取,根据抽取结果的反馈,进一步筛选网页,去掉非主题型网页。抽取网页重要特征根据特征阈值判断判断为非主题型网页判断为主题型网页进一步抽取网页特征难以判断分类器分类判断为非主题型网页判断为主题型网页信息块抽取反馈进一步去除非主题型网页网页数据阶段1阶段2阶段3网页去噪算法设计关键1:网页去噪利用HTML分析工具(HtmlParser)去除所有脚本代码去除网页中的所有锚文本 网页噪音多为广告,以链接的形式出现过滤常见的噪音文本去掉以非锚文本形式出现的网页噪音网页内信息块发现