基于Python 的网络爬虫技术探析

2020-11-25霍柄良武警后勤学院基础部

数码世界 2020年4期

霍柄良武警后勤学院基础部

前言

在现阶段大数据的时代中，想要实现对数据的获取和分析，要先具备足够的数据源，网络爬虫技术就为其数据获取提供了良好的条件，且还能够实现对数据源的目的性采集。在网络爬虫技术应用中，Python 脚本语言的使用十分广泛，此脚本语言具有着显著的优势，也提高了网络爬虫技术运用的水平，而基于Python 的网络爬虫技术如何实现就是本文主要研究的内容。

1 网络爬虫概述

所谓网络爬虫，又被称作网页蜘蛛和网络的机器人，主要是根据一定规则自动进行网络信息抓取的一种程序或脚本。这种网络爬虫常被用在互联网的搜索引擎和其它类似的网站中，对这些网站内的内容进行获取、更新和检索。往往通过网络爬虫能够自动采集所访问页面的内容，后让搜索的引擎实施进一步的处理，如对下载页面的分检、整理等，从而使用户能够迅速进行所需信息的检索。

2 基于Python 的网络爬虫优势

Python 是一种网络爬虫脚本语言类型，其在对网络爬虫编写中具有着显著的优点。首先，Python 的语言十分简洁，使用起来十分简单、易学，通过Python 进行编写就像使用英语进行写作一样；然后，Python 在使用中十分方便，并不需要IDE，而仅仅通过sublime text 就能够对大部分的中小应用进行开发；同时，Python 爬虫的框架功能十分强大，其框架能够对网络数据进行爬取，还能对结构性的数据进行提取，经常用在数据的挖掘、历史数据的存储和信息的处理等程序内；另外，Python 网络的支持库和html 的解析器功能十分强大，借助网络的支持库通过较少代码的编写，就能够进行网页的下载，且通过网页的解析库就能够对网页内各标签进行解析，和正则的表达式进行结合，十分便于进行网页内容的抓取。

3 基于Python 的网络爬虫技术

3.1 URL 的管理模块

此模块作用主要是对URL 进行管理，包括那些已抓取和未被抓取URL 的集合，且能够对重复和循环等抓取问题进行有效的预防。Python 在网址的管理中，主要有三种类型的途径。首先，在内存中进行存储，且URL 的数据比较少，则通过Python 内Set（）的集合就能够实现管理，还能够对数据重复进行消除和重复抓取问题的避免；然后，在关系的数据库内进行存储，能够达到永久性的存储目的，先进行URL 表的建立，在此表内包含两个的字段，其中一个字段表示URL 的地址，而另一个的字段则体现是否抓取URL；另外，在缓存的数据库内进行储存，若URL 数据比较多，也能够借助Set（）的集合实现，对待爬以及已爬URL 的地址进行存取。

3.2 网页的下载器

对于网页的下载器来说，主要是把URL 所对应网页在本地内进行下载，并把其存作字符串，便于后续对数据实施处理。在Python可以使用网页的下载工具主要有两种，一种是Python 内自己所具有URLlib2的模块，对那些简单类型网络爬虫就能够对其网页进行下载，对用户的数据进行提交，并具有访问代理和客户的登录等功能；另一种是第三方的工具包，如request 等，这种工具包的功能一般较为强大，但是一种第三方的软件[2]。将百度当作例子，对其网络爬虫的代码进行分析：

Import urllib2

Response.urllib2.urlopen（“http：//www.baidu.com”）

Print response.read（）

在此例子中，先进行urllib2 内url.open（）方法的调入，对百度URL 进行传送，后对一个response 的对象进行返回，再进行response 对象read（）方法的调入，最后返回获取网页的内容并打印。

3.3 网页的解析器

通过网页的解析器，主要是对网页内进行想要数据的提取，一般所提取内容主要有URL 的列表和目标的数据等部分。在Python 内网页的解析器存在两种类型，一种是借助正则的表达式，其把网页作为字符串进行处理，此种类型一般用在简单网页内，若网页比较复杂就不适合使用此类型；另一种是借助网页DOM 的结构，而DOM 呈现出树形标签的结构，网页的解析器会吧HTML 的文档作为DOM树并对其上下级的结构进行遍历，后进行有用信息的提取，同时这种方法通过树形的结构能够对网页内具体的信息节点和属性等实施定位。