乡村振兴战略下冷链物流信息数据挖掘与分析研究

万玉龙?顾峰?冯炜雯?李华洋

基金项目：江苏省2021年高校哲学社会科学研究项目：江苏高职院校培养乡村振兴战略人才的路径研究（编号：2021SJA1833）;中国物流学会和中国物流与采购联合会2022年全国高校、职业院校物流教改教研课题（编号：JZW2022207）;江苏电子信息职业学院2021年自然科学基金项目（编号：JSEIY2021004）;2022年第一批江苏省产学研合作项目（编号：BY2022342）;2022年苏电英才工程乡村振兴科技创新团队培育对象成果

摘 要：对于冷链物流来说，对数据有效分析和处理能够使我们寻找冷链物流中车源、货源、冷库源、线路之间的关联性，提高冷链物流运输、仓储、流通加工、包装、配送的效率，扩大生鲜农产品冷链物流经济效益，促进农业增效、农村增绿和农民增收，助力乡村振兴发展。文章介绍了冷链物流现状与存在不足、冷链物流各环节对数据信息的需求、数据挖掘与分析技术在冷链物流中的作用，提出了Scrapy框架在冷链物流信息中的应用、中国物流信息网网站介绍、数据可视化应用与系统设计等策略。

关键词：大数据;冷链物流;数据挖掘;乡村振兴

一、引言

2021年11月26日，国务院办公厅印发了《“十四五”冷链物流发展规划》，我国已经进入新发展阶段，人民群众对高品质消费品和市场主体对高质量物流服务的需求快速增长，新冠肺炎疫情防控常态化对冷链物流提出新的更高要求，冷链物流发展已成为人们关注的焦点。冷链物流是指在冷冻食品的生产、加工、储存、运输和销售中，始终处于低温环境中，此外冷链的效率与供应链的联系紧密相关，冷链物流的快速发展是关系保障民生、关注民生的大事之一，促进农业转型和农民增收，助力乡村振兴的重要基础，受到国家的高度重视。此外，冷链物流体系的建设不仅是为了完善流通体系和加强安全体系，更是为了支持经济发展，降低社会成本，造福国家和人民。

目前，我国冷链物流发展不平衡不充分问题突出，跨季节、跨区域调节农产品供需的能力不足，农产品产后损失和食品流通浪费较多，运输成本占总成本比例较高，与发达国家相比还有较大差距。随着大数据时代的到来，大数据已成为影响冷链物流发展的重要因素，大数据意味着存在大量数据集且可以从中挖掘和提取出有价值的数据信息。数据挖掘与分析是一种信息处理技术，它主要用于提取背后有价值的数据和信息。对于冷链物流来说，对数据进行有效分析和处理，可以发现最优路线和车源与货源的详细情况，通过分类方法直观地感受到当下冷链物流的现状并推测今后的发展路线，可以在很大程度上规避不必要的风险，为冷链物流行业发展提供良好契机。

针对冷链物流信息，采用数据挖掘方法对数据进行收集和分析，可以有效避免冷链物流运输过程中“空车返回”现象。基于Python的网站信息爬取与数据分析是Python爬虫的应用及Python数据分析的应用实战，文章从Python爬虫框架Scrapy出发，利用数据挖掘技术，对中国物流信息网进行抓取应用。首先使用Scrapy框架定向爬取货源信息列表、物流专线列表、物流车源信息等数据，然后将抓取的数据保存为txt、xlsx等格式，分析爬取的数据，使用Jieba处理数據并使用Pyecharts获得相关可视化图，得出一定范围内哪个省的物流专线最频繁，以及运输重量需求排行榜等。接着通过对数据进行分析和总结以便寻找冷链物流中车源、货源、冷库源、线路间的关联性，通过可视化技术对数据进行呈现和解读可以更好地为冷链物流冷库智能选择提供数据支撑。

二、冷链物流概述

与汽车、医药、烟草、钢铁等专业物流相比，多数人不太理解“冷链”概念。实际上，冷链的概念早在1894年美国的Albert Barrier和英国的J.A.Ruddich已经提出。由于其易受温湿度等外部环境的影响，因此在生产和运输过程中，应使用各种制冷设备和技术来维持其安全性。冷链物流主要是要确保冷冻食品的安全和质量，并让冷冻食品在生产、储存、运输和销售中始终处于低温环境。例如农产品，为了确保运输中的农产品的新鲜度和质量，使用冷冻系统来确保农产品在合理的温湿度范围内。农产品冷链物流由农产品、冷库、配送中心、销售商和最终消费者五部分组成。农产品冷链物流的具体流通过程图如图1所示。

与常规商品物流相比，冷链物流对储存环境中的温度和时间敏感，具体体现在以下三个方面：（1） 及时性：时间是影响冷链配送过程服务质量的重要因素，如果不能在顾客指定的时间内将商品送到顾客点时，商品在冷链运输过程中会变质和腐烂;（2） 低温控制性：商品的质量和新鲜度需要在低温下保证，在商品的运输、保管、销售过程中，必须保持商品一直低温;（3） 信息化程度高：地理信息系统（GIS）和产品条形码技术（Bar-code）等高新技术被用于检测和监控产品冷链运输过程中的外部环境。

三、冷链物流各环节对数据信息的需求

在新鲜产品数据来源中，例如刚刚捕捞的水产品、刚刚被宰杀的肉类和家禽，需要立即进行预冷处理，与未经处理的生鲜食品相比，经预冷处理的生鲜食品减少了冷链物流运输的总体损耗，减少了供应商的损耗，保证了消费者购买生鲜食品的新鲜度。对新鲜产品预冷处理后，要对产品进行加工和包装，例如将RFID电子标签粘贴到包装产品上，以收集从产地到销售地的各种过程信息。同时，在整个冷链运输过程中，还必须随时监控新鲜产品的温湿度，一旦变化超过了适合新鲜产品存储的极限，需要立即检查冷链设备是否有问题，并立即采取措施以确保新鲜产品的正常流通，减少损失以确保消费者新鲜产品的安全和质量。把新鲜的产品从原产地运送到销售点的保管中心，在保管中心有必要配备适当的RFID设备和控制器，以读取保存中的新鲜产品标签数据信息，实时监控和跟踪冷库中的产品信息。通过读取信息，可以将新鲜产品的信息实时发送到冷链物流管理系统，监控储存链中收集新鲜产品的温湿度等信息，避免因温度异常而造成新鲜产品质量的损坏。

四、数据挖掘与分析技术在冷链物流中的作用

通过冷链物流运输的商品，需要执行以下过程：原产地冷处理、包装和运输、保管和销售、最终卖给消费者，因而有必要对冷链物流过程中产生的数据进行挖掘和处理。数据挖掘通过使用各种分析工具，提取潜在有用信息，提取过程中产生的大量商业数据，为企业做出重要决策提供数据支撑。数据挖掘对象可以是数据库、文件系统或任何其他数据集，通过挖掘大量数据背后有价值的数据和信息，同时也是基于人工智能、数据库、可视化技术的决策过程。在冷链物流运输中，对数据进行有效挖掘能够发现最优路线和车源与货源间的详细情况，通过分类方法直观地感受到当下冷链物流的现状并推测今后的发展路线，这就能很大程度上规避冷链物流不必要的风险。大数据在冷链物流中的应用如图2所示。

数据挖掘过程，分为数据准备、数据取得、结果表现和解释三个阶段：（1） 数据准备：数据准备包括数据合并、数据选择、数据转换等，数据合并是从各种文件中提取和整合数据，数据选择是对数据集进行分析识别，避免盲查;（2） 数据取得：数据取得是选择适当的数据挖掘算法对数据进行挖掘;（3） 结果表现和解释：結果表现和解释是对数据提取发现模式的解释和评价。

五、Scrapy框架在冷链物流信息中的应用

本文以Python爬虫框架Scrapy为出发点，利用数据挖掘技术，对中国物流信息网进行抓取应用，首先使用Scrapy框架定向爬取货源信息列表、物流专线列表等数据，接着将抓取的数据保存txt、xlsx等格式，然后并对爬取的数据进行分析，采用Jieba对数据进行处理、并使用Pyecharts生成相应可视化图，得出一定范围内哪个省的物流专线最频繁，以及运输重量需求排行榜等，接着通过对数据进行分析和总结以便寻找冷链物流中车源、货源、冷库源、线路之间的关联性，通过可视化技术对数据进行呈现和解读，以便更好地为冷链物流冷库智能选择提供数据支撑。

1.中国物流信息网网站介绍

爬取内容前，首先要确定数据源并对数据源站点进行结构分析。本文爬取的是中国物流信息网网站如图3所示，中国物流信息网（http：//www.china-wl.cn）是中国物流行业的专业门户网站，网站以现代企业多样化的商品流通需求为中心，以物流、运输各公司的网络信息化为起点，系统地整合物流公司、运输车辆、流通信息等。网站包含了货源信息、物流专线、车源信息等关键信息，这为后续数据挖掘提供了数据支持。

通过查看与中国物流信息网站点相对应的页面内容，分析使用哪些标签来显示诸如标题和内容之类的信息。本文主要爬取货源信息列表、物流专线列表、物流车源信息等前期通过从浏览器（例如Chrome或Firefox）数据源站点获取相关信息便于查找网页地址。中国物流信息网站源码信息如图4所示。

2.数据可视化应用

（1） 可视化意义

在本地下载网页数据后，需要查找该数据背后隐藏的实际价值，分析从中国物流信息网获取的数据，为以后冷链物流车的智能选择提供科学依据。可视化作为解释数据最有效的手段之一，它以图表和图像的形式呈现分析结果，能够让人们容易发现数据背后隐藏的关联性。

可视化是非常重要的环节，没有进行直观分析的数据将难以使用。进行可视化分析，数据可以更直观，更强大，以便冷链物流后期的分析和决策。

（2） Pyecharts功能与操作

本文用于实现数据可视化的工具为Pyecharts，这是一个基于JavaScript技术的视觉库，功能简单运行方便。Echars体系结构分为两部分：ZRender层和Echars层，其中封装了图形动画，渲染引擎和一些基本的用户交互方法。Echars层包含特定的调用接口、视图等，并且显示数据方便，鼠标悬停在图形上方，可以显示数值、标签等。

本文在Pycharm终端下输入pip install pyechart命令，安装Pyecharts并使用Pyecharts绘制物流专线省柱状图、货源词云图、运输重量需求柱状图等png图，同时也可以编写物流专线车辆柱状图、运输重量需求柱状图、货源词云图等html文件。

（3） 可视化图分析

本文对爬取货源信息列表、物流专线列表进行可视化，以直方图展示货源信息列表、物流专线列表中的信息，各省物流专线还有运输重量排行榜等信息，可视化结果如图5和图6所示。

通过分析，从各省物流专线排行榜可以看出往返广东省的物流专线最多，频数达到了490次，其次是山东还有北京市，四川的物流专线最少。由此可见，物流专用线的频率与经济、地区有一定的关系，这反映了东西部地区经济发展的不同。从运输重量需求排行榜来看，货车司机运输的货物吨数在40吨的频数最高，达到了778次，货车司机更青睐于货物运输吨数在15吨到35吨之间的运输方式，说明货车司机在运输货物吨数时会考虑其实际承载量，不倾向于拉载过重的货物。

同时，为更直观展示爬取的货源信息列表、物流专线列表和车源信息列表等数据，以饼图和圆环图展示物流起始地址排行和物流车长度需求情况，可视化结果如图7和图8所示。通过分析，从物流起始地址排行榜可以看出，从沿海发达省份发货的频数较高，淄博次数最多达到619次，接着是潍坊还有广东省部分市，而鄂尔多斯市的发货次数最少。而从物流车长度需求圆环图可以看出，物流车运输过程中长度为7.5米的频数最高，达到1078次，接着就是9.6米和6.8米。这从侧面反映出，物流专线发货频率与地区相关，物流车的长度需求与实际运输的货物有关。

在可视化过程中，本文调用了Jieba库来进行数据分析，其中Jieba是用于区分中文单词的第三方库，中文文本需要通过分词来获得单个词语，除了单词分类外，用户还可以添加自定义词组。

同时，针对中国物流信息网中的信息特点，如爬取货源信息列表、物流专线列表等制作词云。在词云中，词云可以过滤掉大量低频率、低质量的文本信息。频繁在文本中显示关键字以理解文本主旨。如图9为货源词云图，词云中显示最多的是车、城市、货物等，由此可以看出，在一定范围内车源、城市、还有货物三者之间存在很大的关联性。而冷链车在运输过程中，对配送的要求十分严格，因而对货源、运输时间、运输容量等关键信息的把握要求精确。通过对中国物流信息网的抓取，以及对冷链物流中车源、货源、冷库源、线路等关联性的数据挖掘与分析，并通过可视化技术对数据进行呈现和解读，以便更好地为冷库或冷藏车或货物的智能选择提供数据支撑。

（4） 可视化系统设计

为直观表示本文爬取中国物流信息网，以及爬取的货源信息列表、物流专线列表、车源信息列表等数据信息和在此过程中生成的各省物流专线排行榜、运输重量需求排行榜、物流起始地址排行榜、物流车长度需求圆环图、货源词云等可视化图，采用JavaScript（JS）语言设计出可视化系统界面，JavaScript（JS）作为轻量级的高级编程语言，在网页设计和开发中广泛使用。

从中国物流信息网→提取货源→物流专线→车源信息，这是本文的核心工作。本文利用数据挖掘技术对中国物流信息网数据信息进行抓取，使用Scrapy爬虫框架定向爬取货源信息列表、物流专线列表等数据信息并获得物流柱状图、提取货源需求吨数、货源词云图、物流货源需求长度、物流起始地排行图等可视化图。通过可视化系統的设计，可以直观地表示出整体可视化效果图，同时更是对冷链物流信息数据挖掘与分析研究内容的形象展示。

六、结语

随着信息技术的发展，各类数据都在增加，如何有效地处理大量数据是当今社会研究的重点和关键。数据挖掘与分析技术是一种信息处理技术，主要用于提取背后有价值的数据和信息。对于冷链物流来说，对数据有效分析和处理能够使我们寻找冷链物流中车源、货源、冷库源、线路之间的关联性，提高冷链物流运输、仓储、流通加工、包装、配送的效率，扩大生鲜农产品冷链物流经济效益，促进农业增效、农村增绿和农民增收，助力乡村振兴发展。

Scrapy作为一种出色的爬虫框架得到了大量的应用，本文对此进行了研究，本文主要介绍了如何在Python语言下使用Scrapy，并通过编写爬虫代码来爬取网站获得数据，将数据转化为相应格式的文件，这为后面的数据分析项目提供数据支撑。此外，针对中国物流信息网进行实践应用，爬取货源信息列表、物流专线列表、车源信息列表中的信息，并使用数据处理和绘图模块分析爬取的数据。以直方图显示货物来源信息列表和物流专线列表信息，并使用可视化技术显示和解码数据以存储在冷藏库中，通过可视化技术对数据进行呈现和解读，以便能更好地为冷链物流冷库智能选择提供数据支撑。

参考文献：

[1]崔忠付.点面结合  精准施策  迈向“十四五”新征程——解读《“十四五”冷链物流发展规划》[J].中国物流与采购，2022（01）：24-26.

[2]Javier Arturo Orjuela-Castroa.Coupling facility location models in the supply chain of perishable fruits[J].Research in Transportation Business&Management 2017，（24）：73-80.

[3]Engel V J L，Supangkat S H.Context-aware inference model for cold-chain logisticsmonitoring[C]//International Conference on ICT for Smart Society.IEEE，2015：192-196.

[4]王娟.基于区块链技术的冷链物流信息化建设初探[J].大众标准化，2021（24）：43-45.

[5]宁静.食品冷链物流断链形成机理及干预机制研究[D].长江大学，2014.

[6]王亮，左文涛.大数据收集与分析中Python编程语言运用研究[J].计算机产品与流通，2020（01）：23.

[7]Pippa Raffaella.Data mining analysis of the PP2A cell cycle axis in mesothelioma patients.[J].Journal of cellular physiology，2019.

[8]李雪.基于数据挖掘的数据聚类分析研究[J].安阳师范学院学报，2019（05）：26-30.

作者简介：万玉龙（1976- ），男，江苏高邮人，中国矿业大学经济管理学院，博士研究生，江苏电子信息职业学院商学院，副教授，研究方向：冷链物流管理与工程;顾峰（1978- ），男，江苏淮安人，博士，江苏电子信息职业学院商学院，讲师，研究方向：物流信息技术;冯炜雯（1985- ），女，江苏盱眙人，硕士，江苏电子信息职业学院商学院，讲师，研究方向：电子商务等;李华洋（2000- ），男，江苏高邮人，江苏电子信息职业学院，2020级电子信息技术专业学生