基于语义相似度的聚焦爬虫研究

林春杰 金苗娟

摘  要：实现高效获取互联网中特定领域信息的有效途径是使用聚焦爬虫，针对聚焦爬虫在判断主题相关时缺少语义信息的问题，提出了一个基于语义相似度计算的聚焦爬虫框架。该框架抽取网页的主题词、内容和链接信息作为网页特征，计算主题相似度。通过链接的主题相关度计算，过滤URL和判断URL的重要程度。最后给出了对比试验，验证了该方法的有效性。

关键词：聚焦爬虫;语义相似度;本体;搜索引擎

Abstract：The effective way to achieve efficient access to information in specific areas of the internet is to use focused crawler. To solve the problem of lack of semantic information when focused crawler judges the relevant topics，a focused crawler framework based on semantic similarity calculation is proposed. The framework extracts the subject words，content and link information of web pages as the features of web pages，and calculates the subject similarity. Through the calculation of topic relevance of links，we can filter URL and rank URL. Finally，the experiment result demonstrated that the proposed method has higher performance than traditional crawlers.

Keywords：focused crawler;semantic similarity;ontology;search engine

0  引  言

互联网信息的规模正在不断地增长，但人们搜集信息的效率却相对落后，搜索引擎技术可以帮助人们从海量数据中快速检索到所需要的信息。网络爬虫是搜索引擎的核心，它負责从网络中寻找和搜集资源。以Google、百度等搜索引擎为代表的通用搜索引擎目标是覆盖全网络，采用广度优先算法的爬虫搜集网页进行索引，其软硬件资源消耗较大、无法深入抓取深层网络资源。聚焦爬虫通过限定某一个主题，抓取相应的网页，从而提高抓取效率和精度，因此受到了广泛的关注。

聚焦爬虫只关注特定的主题相关的网页，无需搜索整个Web，效率较高，但如何判定网页的主题相关性是其核心问题之一。Fish-Search[1]是最早的聚焦爬虫，它采用深度优先策略，只抓取与给定的查询（关键词或正则表达式）相匹配的页面。Shark-Search[2]系统改进了Fish-Search系统，提出利用TF-IDF（term frequency-inverse document frequency）作为文件与用户查询之间相关程度的度量或评级，构建空间向量模型计算网页和主题之间的相似度。PageRank算法[3]将Web看作是有向图，通过网页之间的链接计算网页间的重要度和相似度。近年来很多新方法被引入到聚焦爬虫中，文献[4]提出了将多目标蚁群算法应用于链接选择，优化爬虫搜索方向。文献[5]给出了一个融合LDA的卷积神经网络主题爬虫方法，利用LDA提取的特征弥补神经网络缺失的主题信息，文献[6]提出基于主题建模和上位词替换的语义信息的向量空间语义相似度计算模型。然而，目前网页结构多样，语义丰富，如何利用更多的语义信息来提高聚焦爬虫的效率成为了一个待解决的问题。

针对上述问题，提出了一个基于语义相似度计算的分布式聚焦爬虫框架，该框架通过计算抽取出的网页特征间的相似度判断当前网页和主题的相似度，利用链接信息计算待爬取网页和当前主题的相似度从而实现URL过滤和排序。笔者在前期的自科基金项目资助下对本体的构建、映射、合并和语义标注等方面做了基础性的研究，提出的语义相似度计算方法是一种基于本体的方法，目的是通过本体本身蕴含的语义信息扩展网页中的特征，提高网页过滤的精度，最后通过对比实验验证了该方法的有效性。

1  网页特征描述

网页的内容通常由HTML语言描述，HTML文档是一个半结构化的文档，主要包含网页的结构信息，缺少语义。因此如何有效提取网页中的特征是影响主题分类器的性能的关键问题。网页中除正文文本以外，还包括对网页主题描述的信息，例如