基于Python电子商务网站爬虫技术与设计

2019-10-21姜慧梅

科学与财富 2019年29期

姜慧梅

摘要：网络爬虫技术是一门非常实用、易学、高效、让人产生成就感的技术。在电子商务高速发展的时代如何利用爬虫技术帮助人们全面、有效、精确地得到有价值的数据，定时抢购某种商品，利用网络爬虫自动地浏览电子商务网站中的信息，精准制定自己的要求，快速查询。

关键词：网络爬虫;数据;电子商务

0引言

在信息高速发展的大数据时代，互联网的信息数据蕴含着巨大的商业价值。如何充分挖掘信息数据的潜在价值，帮助人们在电子商务网站上找到理想的商品，更便宜的生活用品，帮助企业找到隐藏着巨大商业价值的数据，在众多的数据中如何挑选出有价值的数据，成为解决关键问题的数据支撑。

本文是利用Python语言编写网络爬虫程序，可以自动浏览电子商务网站中的商品信息，然后根据制定的规则下载和提取商品相关信息和商品图片。

1网络爬虫的相关技术

1.1什么是网络爬虫

网络爬虫也可以称为网页蜘蛛，或是网络机器人，可以按照指定的搜索查询设置规则，程序实现自动地下载目标网页，抓取网站的相关文字信息或者图片信息，从而使得用户能更快的检索到所需要的信息，目前爬虫技术广泛用于互联网搜索引擎或其他类似网站，以便获取目标网站的更新内容和搜索数据的方式[1]。

1.2 HTTP請求

在Python中实现HTTP请求主要有两个库进行调用。第一个库是Urllib库，第二个库是Requests库，这两种实现HTTP请求的库中，使用Requests库最简单，功能比较全面。Requests库是用Python语言编写的，调用Requests库节约编程工作，简单易调用，可以满足HTTP的测试需求。

1.3 爬虫框架

在Python中，有很多的爬虫框架，常见的Python爬虫框架主要有Pyspider框架、Scrapy框架、Cola框架等，本文采用Scrapy。

使用ScrapyStartprojectpachong1生成一个爬虫项目，可以看到项目生成的爬虫文件目录，文件目录介绍如下：

（1）在项目文件的根目录下，其中scrapy.cfg文件是项目配置文件，。

（2）在根目录下存储的item.py是保存爬取数据容器，需要爬取什么数据，在这里进行定义。

（3）在根目录下存储的pipelines.py文件，可以保存爬取的数据到数据库里。

（4）在根目录下存储的middlewares.py文件，主要用来对所发出爬虫的请求、收到的响应和spider做全局性的自定义设置。

（5）在根目录下存储的setting.py文件，是爬虫框架的设置文件。

（6）在根目录下存储的spiders文件夹，存放编写的爬虫代码文件和下载的网页文件。

1.4动态网页爬取方法

电子商务网店大部分都是动态网页设计，采用AJAX技术，通过后台与服务器进行少量数据交换，实现网页异步更新，这样可以在不重新加载整个网页的情况下，对网页的局部内容进行更新[2]。

（1）加载网页，查看在URL不变的情况下，未刷新该页面，查看是否能够加载新的网页内容信息。