基于python的水产品价格大数据网络爬虫技术

叶炼炼?

【摘要】    水产养殖在改善民生、增加农民收入方面发挥了重要作用。但传统的养殖信息的闭塞，及凭经验养殖的老办法，在生产实践中却存在种种弊端，所生产的水产品难以满足市场需求。本文介绍利用基于python的网络爬虫技术如何从各大电商网站获取水产品价格数据，为以后进一步实现基于水产价格的大数据分析预测系统做数据收集准备。

【关键词】    水产养殖    python    水产品价格    网络爬虫技术

前言：随着大数据时代的来临，信息技术领域的重点由“计算”转为“数据”，不少计算机科学领域的著名学者或大师逐渐转变成数据科学家。有学者认为，数据科学将成为科学研究、认识世界的第四范式随着时间的推移和时代的不断改革创新，“大数据”在很多的社会性工作当中都得到了一定的应用。我国是水产养殖大国，水产养殖产量占到了全世界的73%。在渔业发展中，传统的养殖模式曾对我国水产品产量的快速增长起了重大作用。但传统的养殖信息的闭塞，及凭经验养殖的老办法，在生产实践中却存在种种弊端，所生产的水产品难以满足市场需求。所以虽然在互联网上有着丰富的水产品信息资源，但要成为有用的数据，却面临着数据抓取和处理分析的难题。本文对大数据环境下基于python的网络爬虫技术进行详尽的阐述和分析，有利于后续水产价格的大数据分析预测系统的研究。

一、基于python的网络爬虫技术的基本叙述

1、网络爬虫技术的基本概念。所谓的网络爬虫技术（经过实际调查可以发现，这项技术又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），其实就是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫[1]。用简单一点的方式来说，这项技术其实就是能够利用网页的连接地址，从而能够完成自动获取网页内容，而用更加形象一点的方式进行阐述的话，可以将如今的互联网比作为一个巨大无比的蜘蛛网，在此蜘蛛网当中具有海量的信息和网页，而网络爬虫技术能够运用自身的优势，从而获取到所有网页的内容。2、基于python的网络爬虫技术。所谓Python，其实就是一种跨平台的计算机程序设计语言，是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本（shell），随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发，而网络爬虫技术就属于一种大型的项目，因此，在大数据的环境下进行网络爬虫技术的研究和分析，python计算机程序语言可以说是一种最优解了，如果可以将它的优势发挥出来，那么即使面对的是海量的信息检索要求，这项技术也能够在很短的时间内完成工作，以此就说明，大环境数据下基于python的网络爬虫技术具有良好的抓取数据的能力[2]。

二、大数据环境下python网络爬虫技术的应用

1、爬虫主程序模块。在大数据的基本环境下，基于python的网络爬虫技术的主程序是非常重要的，此主程序模块进行细致区分的话，还包括三个模块;首先是url管理器，这一模块在实际的运行过程当中主要负责的是对网络爬虫url地址的精准提取，然后根据搜索用户的需求，来完成对已经提取完成的url地址的处理（例如编辑以及删除等等操作）;其次就是网页下载器模块了，这一模块主要负责的其实就是将rul管理器处理且编辑好的网页下载（来自于万维网），这样用户在下载完成之后，就能够获取到网页当中的内容[3];最后就是解析器模块了，这一模块能够实现对网页的信息的处理，并且能够识别出其中最具有价值的内容，当信息的提取条件和用户的搜索需求大致相对等的时候，网络爬虫就可以停止自身的工作了，在停止之后还能够有效地保证获取到的信息的质量。

2、爬虫实现流程。为了有效说明在大数据环境下，网络爬虫的实现流程，本文将会举出实际的事例以佐证爬虫的实现流程;首先，要选取相应的网络地址作为爬虫的处理对象[4]，在这一步的操作当中，需要模拟用户的工作人员点击网站当中需要点进去的页面，并且，用户还需要将检索的要求输入进去，这样爬虫主程序模块就能够进行分析的工作，随后在短时间之内利用python网絡爬虫技术，能够实现信息提取请求的发送，网页下载打开之后，爬虫就能够将网页当中的各种信息进行提取，在这一步操作之后，用户可以将需要的信息保存至文件（格式多数为TXT或XLS），这样就基本实现了爬虫的实际工作流程了。在网络爬虫实际工作的过程当中，所有爬虫程序中的库都去要进行相关的导入处理。

结论：综上所述，就是目前为止的大数据环境下基于python网络爬虫技术的大致叙述了，笔者在文中对python以及网络爬虫技术都进行了一定的阐述和分析，并且还将网络爬虫实现流程进行了一定的介绍。在世界乃至国内，网络技术的发展都是非常迅速的，在这种情况之下，大数据环境下基于python的网络爬虫技术就更要进行一定整理改进，这样才能够满足水产品价格大数据环境下的数据需求。

参  考  文  献

[1]李培.基于Python的网络爬虫与反爬虫技术研究[J].计算机与数字工程，2019，47（6）：1415-1420，1496.DOI：10.3969/j.issn.1672-9722.2019.06.028.

[2]陈乐.基于Python的网络爬虫技术[J].电子世界，2018，（16）：163，165.

[3]潘巧智，张磊.浅谈大数据环境下基于python的网络爬虫技术[J].网络安全技术与应用，2018，（5）：41-42. DOI：10.3969/j.issn.1009-6833.2018.05.025.

[4]王碧瑶.基于Python的网络爬虫技术研究[J].数字技术与应用，2017，（5）：76.