农业气象数据爬虫系统研究

杨 波

(长春财经学院信息工程学院，吉林 长春 130122)

引言

农业作为全球食品供应链和经济系统的基石，对气象条件的高度敏感性已被广泛承认。气温、湿度、降雨量等气象参数对农作物生长、水资源管理以及病虫害的传播具有直接而深远的影响。随着全球人口的增加，对农业生产的需求也日益增长，这使得农业生产变得更加复杂和具有挑战性[1]。在这一背景下，准确的气象数据成为支持农业决策制定，提高农业生产效率和保障食品供应链的关键因素。

然而，传统的气象数据采集方法存在着一系列限制。公共气象站通常提供有限的数据，且更新频率有限，这导致了数据的滞后和不完整性。传统气象站的地理分布也可能导致一些地区的数据不足和不准确。这些问题在现代农业管理中构成了严重挑战，因为实时、高质量的气象数据对于有效的决策制定至关重要。

在解决上述挑战的背景下，本研究旨在研发一种高效的农业气象数据爬虫系统，以克服传统气象数据采集方法的限制。该系统将能够实时采集、处理和管理气象数据，以支持基于气象条件的水稻病虫害智能监测预警系统。研究的核心问题涵盖了选择合适的数据来源、设计，实施数据爬虫系统，以及有效地将采集到的气象数据整合到监测预警系统中。此研究的目标是提高农业生产的可持续性和生产率，减少病虫害风险，为农民和决策者提供更准确和及时的气象信息。

1 爬虫技术和农业气象数据采集

农业气象数据在现代农业中具有关键作用。农业生产的成功与失败直接受气象条件的影响。气温、湿度、降雨量和日照时间等气象参数对农作物的生长、发育和产量产生直接而深远的影响。如，适宜的气温和湿度水平可以促进作物生长，但不适宜的气象条件可能导致干旱、水浸和病虫害的爆发。农民需要及时、准确的气象数据，以决定何时种植，何时灌溉，何时收获，以及如何管理病虫害。

农业气象数据还对农业经济和粮食供应链的管理产生广泛影响。政府部门、粮食生产者和食品供应链管理者依赖气象数据来制定政策，采购农产品，规划供应链活动。因此，准确的气象数据对于确保食品供应的稳定性和农业经济的可持续性至关重要。

1.1 传统气象数据采集方法的挑战

尽管农业对气象数据的需求非常迫切，但传统的气象数据采集方法存在一系列挑战。传统气象站通常只提供有限的数据，更新频率有限，数据不及时。这对于实时决策制定构成了限制。此外，传统气象站的地理分布可能导致一些地区的数据不足和不准确，尤其是在农村地区。农业需要更广泛、更准确的气象数据来满足不同地理区域和气象条件的需求。

1.2 爬虫技术在数据采集中的应用

为了克服传统数据采集方法的限制，爬虫技术已经广泛应用于数据采集领域。网络爬虫是一种能够自动获取互联网上的信息的程序[2]。在农业气象数据采集中，网络爬虫可以用于从多个数据源抓取气象数据，包括公共气象数据站、卫星数据和传感器网络。网络爬虫技术可以确保数据的及时性和完整性，以满足农业生产的需求。

已有的研究和系统已经探讨了农业气象数据采集的不同方面。一些研究关注了数据采集方法的改进，如使用传感器网络和卫星数据来获取气象信息。其他研究着重于数据处理和分析，以提供实时的决策支持。此外，一些系统已经实施在实际农业环境中，为农民和决策者提供了可操作的气象信息。

2 爬虫系统前端技术

前端采用了H5，CSS和JavaScript，以及最新的Vue.js来实现和后端数据的交互[3]，网页就是用H5来编写的，H5是一门描述性语言，非常通俗易懂。CSS则是用于渲染H5，相当于填充颜色，为其“化妆”，使其更加渲染，JavaScript则是用于实现一些动态效果，并且也可借助于Ajax和后端进行动态的交互，使静态页面变成动态页面。Vue.js则是JavaScript的扩展，添加了更多的功能，并且可以嵌入进H5中，使其更加的灵活通用。

3 爬虫系统的功能分析

气象数据系统作为一个综合性的在线实时数据平台，致力于为用户提供广泛而强大的功能。这个系统不仅使用户能够轻松地获取气象数据，还通过数据可视化提供了对气象信息更深入的理解。此外，系统的基础架构采用了Django框架，为系统提供了稳定性和可维护性。管理员接口的存在确保了系统的正常运行，为用户和数据的安全性提供了一层保障。

3.1 用户接口模块

用户接口模型是平台提供给普通用户和管理员使用该系统的方式，所有的用户都可以通过注册账号登录平台，并且进行一系列相关的操作。用户接口模块包含了个人信息设置，密码更改，气象信息的展示，数据的可视化等，并进行一系列相关的操作。用户登录系统后，用户的信息会存放在服务器的session中，用户在平台上所做的操作都会被保存到系统的数据库中。

用户接口模块是气象数据系统的前台，为用户和管理员提供了通往系统的入口，不仅可以进行简单的注册和登录，还包括了丰富的功能，使用户可以个性化地使用系统。用户接口模块的主要功能具体如下。

3.1.1 账号注册和登录

用户可以通过账号注册功能轻松创建自己的账户，使用注册的账号进行登录。这为用户提供了个性化的体验，使其能够访问系统的更多功能。

3.1.2 个人信息设置

一旦登录系统，用户可以在系统中设置和更新个人信息，包括上传照片、更新联系信息和更改密码。这提供了便捷的方式，使用户能够保持个人信息的最新状态。

3.1.3 浏览气象数据

用户可以通过系统访问广泛的气象数据资源，包括实时和历史数据。这些数据来自中国气象网，确保了数据的准确性和全面性。

3.1.4 数据可视化

系统提供了数据可视化功能，通过使用Echarts图表库，用户可以将气象数据以图表和图形的形式进行实时展示。有助于用户更清晰地理解气象信息和趋势。

3.1.5 数据记录与分析

用户在平台上的所有操作都会被保存到系统的数据库中。不仅有助于用户回顾其历史操作，还可以为系统分析用户行为和偏好提供宝贵的数据。

3.2 气象信息模块

气象信息模块是后台实时爬取中国气象网的数据[4]，并且以本周的数据为基础，来预测下一周的数据，使用了机器学习中的聚类算法，将数据爬取到之后，基于后台生成好的数据模型，输入本周的数据，就可以生成下周的数据，将数据传给前端，前端使用Echarts将数据可视化，实时展示给用户。

作为系统核心部分的气象信息模块，为用户提供实时气象数据以及未来预测。气象信息模块的主要功能具体如下。

3.2.1 数据爬取

气象数据模块定期从中国气象网实时爬取气象数据，确保系统提供的数据是最新的和准确的。

3.2.2 数据处理与分析

系统采用机器学习中的聚类算法，将爬取的数据进行处理，基于本周的数据来预测下一周的天气情况。这为用户提供了对未来天气的有用信息。

3.2.3 数据可视化

一旦数据被处理和分析，系统将其传输到前端。前端使用Echarts图表库将这些数据可视化，使用户能够以图形方式清晰地了解天气情况。

3.2.4 实时展示

系统的实时展示功能确保用户可以获得最新的气象数据和预测，使其能够及时做出决策或计划未来的活动。

3.3 管理员模块

管理员可以登录到后台系统，并且对用户进行管理，用户的一系列操作都会在后台实时显示，管理员发现违法操作后可以直接对用户实施冷冻或者拉黑处理，使该用户不可以再登录到网站系统，同时管理员也可以登录到前端系统，享受和用户一样的服务。

管理员模块负责监督系统的正常运行和用户行为的合规性。管理员模块的主要功能具体如下。

3.3.1 后台管理

管理员可以登录到系统后台管理界面，以查看用户的活动，处理用户的请求，以及监控系统的运行状态。这确保了系统的安全性和稳定性。

3.3.2 用户管理

管理员拥有特殊权限，可以对用户进行管理，包括对用户的冷冻或拉黑处理。这些措施有助于确保系统的规范性和用户行为的合规性。

3.3.3 前台登录

管理员也可以登录到前台系统，享受与普通用户一样的服务，以便更好地理解系统的功能和用户体验。

4 系统功能设计和实现

4.1 系统设计

气象数据平台分成3个模块，管理员模块，用户中心模块和数据浏览模块，分别实现了对气象数据的管理，人员信息的管理和权限的管理，以及数据可视化的管理。3个模块的紧密协作确保了整个气象数据管理平台的功能完善，用户体验卓越。系统总体功能结构的设计有助于满足各种用户需求，从数据管理到用户权限，再到数据可视化，所有这些都在一个完整而协调的生态系统中实现。系统总体功能结构如图1所示。

图1 后台功能结构图

用户中心功能模块结构如图2所示，为已登录用户提供一系列功能和权限，分别是对气象数据的高阶操作和用户的权限角色管理，以满足其对气象数据的高级需求。主要功能包括显示气象数据，高级查询，数据可视化和用户管理。

图2 用户中心功能结构图

显示气象数据。用户可以访问并查看气象数据的广泛范围，包括实时数据以及历史数据，允许用户获取关于天气情况的详细信息；用户可以浏览不同地区、时间段和气象参数的数据，以满足其特定的查询需求。

高级查询。高级查询功能使用户能够执行更复杂的数据检索操作；用户可以根据多个条件和过滤器来精确地筛选所需的气象数据；包括选择特定日期范围，地理位置，气象变量等，以获取更具针对性的数据。

数据可视化。数据可视化是用户中心的一个强大功能，用户可以使用数据可视化工具，如图表和图形，将气象数据以更直观和易于理解的方式呈现；可视化工具帮助用户分析和比较数据，如温度趋势图、降雨量柱状图和风速风向图等，使用户更深入地理解气象信息。

用户管理。用户中心还涵盖了用户和权限角色的管理。这意味着已登录的用户可以执行操作：用户角色分配，用户可以根据其在系统中的角色分配不同的权限，有助于组织和协调不同用户之间的权限，以确保系统的数据和功能受到适当的访问控制；用户权限管理，用户可以请求特定权限，如数据访问权限或功能使用权限，这些请求将被管理员审核和批准，以确保用户获得适当的权限，同时确保数据和系统的安全性；用户信息管理，用户可以管理其个人信息，包括联系信息、头像和密码，有助于用户保持其个人信息的最新状态。

数据浏览功能模块是系统的数据处理和展示引擎，如图3所示，具有多重功能，以满足用户对气象数据的高级需求。模块功能涵盖高级查询，数据可视化和大屏数据。

图3 数据浏览模块功能结构图

高级查询。高级查询功能使系统能够进行更复杂和精确的数据检索操作。用户和管理员可以使用高级查询工具执行操作：多条件筛选，用户可以根据多个条件和过滤器来筛选所需的气象数据，包括时间范围、地理位置、气象参数等；复杂过滤器，用户可以创建复杂的查询过滤器，以精确地定位所需的数据，用户能够执行更具针对性的数据检索操作。

数据可视化。数据可视化功能是数据浏览模块的亮点之一。允许用户和管理员使用数据可视化工具，将气象数据转化为图表、图形和可视化展示，以更清晰、生动和易于理解的方式呈现数据。数据可视化功能的主要组成部分：图表生成，用户可以选择不同类型的图表，如折线图、柱状图、饼图等，来展示数据，助于用户比较和分析不同数据集之间的差异；数据趋势，可视化工具还允许用户追踪数据的趋势和变化，如温度随时间的变化、降雨量的季节性趋势等，有助于用户更深入地理解数据。

大屏数据。大屏数据显示是数据浏览模块的一项强大功能，允许数据以大屏幕格式进行展示。这对于需要实时监控和展示气象数据的应用非常重要，如气象台、应急响应中心等。大屏数据显示的关键特点：实时数据展示，大屏幕数据显示允许用户实时监控气象数据，包括温度、湿度、风速、气压等，对于应急情况和实时决策非常重要；自定义布局，用户可以自定义大屏幕数据显示的布局和内容，以满足其特定需求，增强了数据的可定制性和实用性。

4.2 系统实现

前端收集用户输入的数据，把数据发送到后端，后端接收到请求后，将数据进行转换，根据前端的请求爬取数据，将获取的数据清洗，传给前端，前端根据后端传过来的数据再将数据可视化，将数据大屏进行展示。系统查询界面如图4所示。

图4 气象查询界面

数据可视化页面设计，前端用Echarts实现数据可视化。将后端清洗完后的数据用Json格式发送到前端，前端接受完以此填入Echarts中，实现数据可视化。数据可视化界面如图5、图6所示。

图5 数据可视化界面

图6 气象大屏界面

5 结束语

气象数据分析平台以网页展示的方式直接展示了后台爬取的数据[5]，以良好的交互方式方便了用户的浏览和读取，同时合理而健全的管理模式也使得用户信息更加安全，数据更新和实时，从各方面满足了人们对平台的期待与要求。本平台是以长春财经学院在校学生为主要服务对象，通过搭建一个功齐全，方便同学获取气象气候数据的数据分析平台。

系统是以用户为中心，更好地满足用户的需求，同时分类的气象界面使得用户能够得到一个更好的交互体验，用户通过系统可以进行高级查询气候，对气候分类，数据可视化等。