基于Django 的分布式爬虫框架设计与实现*

2020-12-07刘建华

计算机与数字工程 2020年10期

赵宸刘建华

（西安邮电大学西安 710121）

1 引言

网络爬虫［9］是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，目前主流的爬虫框架Nutch、Crawler4j、WebMagic、scrapy、WebCollector均没有在运行的爬虫中实时更新代码并自动重新载入的功能，本文利用Django 框架［2］中自动重载机制，使用Python［6］语言开发了分布式［4～5］、多进程爬虫框架［1］，实现了可在运行的爬虫中实时更新代码并自动重新载入内存执行的功能，同时，根据下载过程中的断点续传［7］思想，使用Redis［3，16］开发了任务队列技术，实现了重新载入爬虫代码后从断点恢复任务状态并继续执行后续任务的功能，并解决了重新载入后数据丢失问题。实验表明，爬虫框架可识别爬虫代码变化并重新载入到内存运行，重新载入后不会丢失数据，且相对其他分布式网络爬虫，性能提升了40.7%，节约了数据获取成本。

2 框架设计

爬虫框架基于Django框架开发，由集中式的爬虫服务和任务队列以及分布式的爬虫实例构成，并利用了Django 框架的ORM［10］封装了数据处理模块。如图1 所示，爬虫服务将用户初始任务存入任务队列中，由分布式爬虫实例中的爬虫主进程获取并分配给爬虫子进程执行与处理，所有爬虫实例的结构与内容相同，保证了任务处理的负载均衡。

爬虫实例由爬虫主进程、爬虫子进程、任务模块、数据处理模块、抓取器、下载器、解析器、日志模块和各站点爬虫组成等组成，所有模块均可调用日志模块并输出日志。爬虫实例执行任务流程使用伪代码描述如下：

图1 爬虫框架结构图

3 系统实现

3.1 可重载的爬虫实例

首先，Django框架的自动重载机制［11］实现原理是每隔1 秒根据每个文件的最后修改时间来判断文件是否被修改，如果修改，则退出旧进程，启动新进程执行修改后的代码。爬虫实例的自动重载基于这一原理实现，首先，将爬虫框架的基本组件和爬虫文件组织成Django 项目中的APP 包，如图2 所示。然后，改写Django 的命令行模块，使原来的启动站点服务的命令行功能变成执行爬虫主进程，并设置运行参数为“—reload”，从而将爬虫框架和爬虫代码列入自动重载机制中，这样更新爬虫代码时，Django 框架会通过重载重新执行爬虫主进程，从而执行新的爬虫代码。

图2 爬虫实例结构

3.2 任务队列

在分布式环境下，爬虫主进程重新载入后，为了找回断点以及防止正在执行的任务丢失，本文利用Redis设计了爬虫框架的任务队列系统。

如图3 所示，除了“任务队列”，还设计了“本地正在执行的任务队列”。爬虫主进程将调度成功的任务同步写入“本地正在执行的任务队列”，发生爬虫主进程重载时，会重新执行“本地正在执行的任务队列”中的任务，当爬虫子进程完成任务后会从该队列中删除任务。同时，为了保证重新载入过程中不对数据读写产生影响，框架中对Redis 和数据库的操作兼具备原子性［12］，使用管道技术读写Re⁃dis 以及封装数据库读写都保证了重新载入时的操作回滚。

图3 Redis任务队列

初始任务在写入任务队列时，由框架分配唯一ID，爬虫由此任务不断产生的新任务共用这个ID，在分布式环境中，爬虫主进程判断一个任务完成的标志由式（1）计算得出，其中，NR为此ID 任务剩余数量，NA为新任务数量，每个分布式爬虫实例新增一个任务，即增1，NF为已完成的任务数量，在爬虫子进程释放资源时设置，NE为出错的任务数量，判断此ID 任务完成的条件为：NR=0。例如，完成初始任务后，产生一个新任务，则在释放资源前对NA进行加一操作，此时NR为1＞0。在完成非初始任务的这个任务后，如果又产生2 个新任务，则在释放资源前先经行NF增1 操作，并对NR进行增2 操作，此时NR为2＞0。当完成新产生的2 个任务且未产生新任务时，做NF增2 操作，此时NR为0，可判断任务结束。