基于Web数据挖掘的武威特色农产品数据分析

张玉梅　晋艺波

【摘 要】以淘宝电子商务网站为数据来源，使用后羿采集器的网络爬虫技术进行武威特色农产品的Web数据挖掘，抓取武威特色农产品的产品名称、品牌、售卖店铺、价格、付款人数、生产出售区域等数据进行分析，提出了发展武威特色农产品的品牌建设、品质管控、产品营销、产业延伸等措施与建议，以达到促使武威特色农产品持续健康发展的目标。

【关键词】Web数据挖掘;淘宝;武威特色农产品;爬虫技术

【中图分类号】F323.7 【文献标识码】A 【文章编号】1674-0688（2019）09-0161-04

0 引言

武威是一个农业城市，也是一个传统而重要的农业经济区域。在互联网时代，要发展农村经济，就要实现农业信息化。《武威市“十三五”农业现代化规划》明确提出要“推进‘设施农牧业+特色林果业，加快推进农业信息化，实施‘互联网+现代农业行动，持续增加农民收入，努力缩小城乡差距”。目前，武威“互联网+现代农业”发展状况如何，是否实现了特色农产品网络销售，特色农产品的实际发展与规划的符合程度如何，互联网特色农产品发展存在哪些问题及未来应如何发展，都是需要认知的内容。基于此，文章将基于Web数据挖掘技术，以淘宝电商平台为研究对象，提取分析武威特色农产品销售数据进行实证分析，量化武威特色农产品实际发展状况，为武威市发展农村经济提供数据基础，为政府政策制定提供参考依据。

1 研究基础与方法

1.1 研究基础

目前，关于网络数据挖掘的研究文献较多，其中大部分研究内容是关于数据挖掘的系统设计，而数据挖掘针对电子商务及营销方面的研究内容较少，未发现运用数据挖掘技术应用于武威农产品实证分析的研究文献，相关文献研究方向主要有两个：一是基于Web设计爬虫技术系统;二是运用爬虫技术基于Web抓取数据研究进而分析数据。魏倩男[1]等人通过抓取京东平台Web数据，进行数据挖掘与分析，预测了电商行业的走势;晋振杰[2]等人基于Python语言设计Scrapy爬虫技术获取电商书籍数据，目的是解决消费者购买计算机书籍时缺少书籍相关信息的需求;吕博庆[3]构建了一套爬虫数据挖掘系统，采集了电商网页信息，探究消费者需求，并为电子商务的营销提供建议;阳黎明[4]等人基于分布式集群下的Nutch网络爬虫技术进行网络交易数据抓取，计算了网上交易价格指数，预测了市场价格变化趋势;李雪菁[5]利用数据挖掘技术分析了电子商务客户细分、客户保持、客户满意度，提出了避免客户流失的对策;王鑫[6]利用数据挖掘技术收集整理了电子商务网站农产品信息，分析了客户的行为特征、购买习惯及商品特性，提出了电子商务网站优化建议;安翔[7]、卢长宝[8]、李明江[9]等人利用集搜客等爬虫软件抓取了电子商务网站的评论数据，研究了消费者满意度，为商品制定销售策略提供了依据。

从以上陈述中可以看出，用得较多的数据挖掘工具主要是网络爬虫，具体使用的工具则不一样，有Python等需要编程的爬虫技术，有集搜客、八爪鱼等爬虫软件;文献研究的方法、思路也有区别，有的侧重于数据挖掘、爬虫技术的程序设计方面，有的侧重于数据分析方面。本研究借鉴相关学者的研究思路与方法进行武威特色农产品数据挖掘与分析，以期为武威“互联网+现代农业”提供客观量化研究基础。

1.2 研究方法

本文利用网络爬虫来进行数据采集，数据采集及研究思路方法如图1和图2所示。

1.3 数据采集

（1）数据来源。采集武威特色农产品电子商务数据，以淘宝为对象，时间选择为2019年1月21日，运用工具为“后羿采集器”，采集关键词为“武威特产”“凉州特产”“民勤特产”“古浪特产”“天祝特产”，通过变换关键词，共抓取数据1 085条作为本次研究的基础数据。

（2）数据预处理。第一步，对重复无关的数据进行挑选去除，剔除了228条与研究无关且重复的数据，获得857条有效数据;第二步，把后羿采集器采集到的數据导入WPS表格中，依照文本内容筛选武威特色农产品相关信息;第三步，进行产品名称关键词重新选择，选出中心主题词语;第四步，对抓取的有效数据人工提取各项指标频次、词语含义信息，分析武威特色农产品销售情况、销售热点、宣传特色等，明确武威特色农产品的特色、销售者的宣传口号、销售规模等信息。对857条数据以农产品名称、农产品品牌、售卖店铺、产品价格、付款人数、产品生产出售区域进行统计，具体信息见表1。

2 武威特色农产品数据分析

2.1 武威特色农产品信息分析

在淘宝售卖的武威特色农产品的种类产品类型有16种，其代表了普通个人所认知的武威特色农产品种类，因为抓取的数据来源是淘宝（与天猫、京东的数据来源不同，其代表企业数据），从表1中的数据来看，售卖数量最多的为人参果，这也是近几年武威市政府推荐的特色农产品和代表武威形象的农产品，排名后面的特色农产品售卖产品数量并不多，原因如下：一是有的产品不能由个体产经营户单独完成生产，需要具有一定加工能力的企业生产;二是有的产品是现采现卖，种植制作的人数相对较少，从而导致在淘宝店铺出售的数量较少。

2.2 武威特色农产品品牌分析

从产品品牌信息分析，武威特色农产品的拥有的品牌数量较少，拥有产品品牌96个，仅占所有产品的11.2%，从拥有品牌的产品类型看，有品牌的产品类型主要是瓜子、挂面、牦牛肉干、枸杞、沙枣、保健醋，一是因为它们是目前武威农产具有特色的产品;二是因为这些产品都有企业进行生产，具有一定的工业基础。但大部分产品并没有品牌，一是可能因为此次抓取数据的来源是淘宝店铺，为个人售卖产品;二是大部分售卖的产品属于农家手工自制、水果采摘等产品，这类产品很少有人有意识地建立品牌，所以大部分产品使用了区域地理名称，例如民勤人参果、民勤蜜瓜、民勤沙枣、民勤羊肉、天祝牦牛肉、古浪挂面等具有地域特征的产品名称，这样做的好处是可以最大化地宣传区域特色产品，但是无法统一管理，一旦有部分产品达不到产品质量标准，会降低消费者对产品的预期，降低顾客满意度，进而会对未来产品宣传、品牌建设等方面产生不良影响。

2.3 武威特色农产品店铺分析

由收集的数据可看出，武威特色农产品销售店铺共有251家，平均每个店铺销售产品个数是3.4个/家，其中仅仅销售一种产品的店铺有121家，比例为48.2%，说明大部分商家并没有将网上销售作为职业行为，而销售产品种类数目超过8个的店铺仅有15家，比例为6.0%，说明对于武威特色农产品网络销售，只有6%的商家是投入比较大的，也愿投入精力进行维护，或者希望通过网络销售获得利益，是认真进行商业行为的表现。

2.4 武威特色农产品价格分析

从武威特色农产品网络商品销售价格分析，网上的价格比线下都高，高出10%～80%，在大部分网络消费者观念中，认为网上价格低于市场价格，但是武威特色农产品却相反。从价格组成分析，高于本地实际的价格部分可以看成物流费用、购买服务费用、销售者实际利润等，即使高于本地市场价格，在网络上仍然有一定的销售量，原因如下：一是网络价格与其他同类产品价格相比，仍然具有一定的性价比;二是部分人认同物流费用可以成为价格的组成部分;三是部分特色产品具有明显的地域性，比如武威凉皮，许多购买者是从武威本地出去的武威人，购买目的为了品尝“家乡的味道”，这些人同样可以接受价格的上涨;四是因为地域经济水平的差异，武威本地的价格水平在购买者区域即使价格上涨了，仍然在购买者观念中认为是可以接受的价格水平，因此导致网上价格水平普遍高于武威本地售卖价格水平。

2.5 武威特色农产品付款分析

武威特色农产品付款人数从高到低的排列顺序是人参果（897人）、瓜子（390人）、沙枣（223人）、武威面皮子（230人）、沙葱（99人），这个排序代表武威特色农产品被认知的程度，它与产品售卖数量的排列顺序具有差异，但是有3個共同商品，分别是人参果、沙枣和瓜子，从一定程度上可以认为这几种农产品可以作为未来武威特色农产品的重点规划发展目标。从网络商品销售效率指数来看，即付款人数/商品数量，销售效率的含义是每个商品展示可以带来销售付款的倍数，可以表示商品展示带来的销售效率，也可以表示顾客从商品展示所引起的购买意愿程度，武威特色农产品销售效率从高到低的排列顺序是沙棘果（6.40）、武威面皮子（5.48）、瓜子（5.27）、人参果（4.70）、沙枣（2.86）、沙葱（2.36），这个排列顺序与付款人数排列顺序也出现了差异，付款人数靠后的沙棘果竟然排到了第一，销售效率指数达到了6.40，即每个商品展示吸引了6.4个顾客的购买。由此可见，沙棘果具有较强的网络销售潜力，所以沙棘果可以作为未来武威特色农产品重点发展目标，而销售效率指数的第2～6名产品名称和付款人数第1～5名是一致的，同样表示人参果、瓜子、沙枣、武威面皮子、沙葱5种农产品可以代表武威特色，同时也具有网络销售的潜力，因此未来是可以大力发展这5种特色农产品作为规模化、品牌化发展的目标。

2.6 武威特色农产品区域分析

从淘宝网站上分别以“武威特产”“凉州特产”“古浪特产”“天祝特产”“民勤特产”为关键词进行数据采集后的有效信息有857条，然后进行产品来源区域信息处理，武威“三县一区”在857条信息中占的比例分别为凉州区14.1%、民勤县70.8%、古浪县7.9%、天祝县7.2%，数据排列顺序为民勤、凉州、古浪、天祝，从一定程度说明了每个区县的商家采用网络销售农产品的意识，而且民勤县在网上展示商品进行销售的比例为70.8%，远远高于其他3个区县之和，表明民勤区域的百姓具有较强的网络销售思维，同时也与民勤县政府的政策支持与指导有很大的关联，而且从付款人数来看，民勤县的特色农产品销售效率指数也是比较多的，前6名销售效率指数有5个与民勤特色农产品相关，从这一角度来看，民勤是武威“三县一区”特色农产品电子商务发展最强的。

3 武威特色农产品发展措施与建议

通过对抓取的数据进行分析发现，武威特色农产品虽然具有一定的发展潜力，但是仍然需要政府、企业、农户等多方共同努力，因此提出以下措施与建议。

3.1 品牌建设

通过对武威特色农产品的产品信息进行分析发现，虽然武威“三县一区”有较多的特色农产品进行网络销售，但是有品牌和有影响力的品牌的特色农产品不多，只有约1/10的网络商家有品牌意识，而品牌建设不仅对某个产品、某个企业有正向推动作用，更重要的是品牌特色农产品对于整个武威区域的特色农产品有巨大的宣传作用，从网络产品宣传的口径来看，很多网上顾客对于沙漠特色、绿色生态比较认同，国家对于“三品一标”政策也比较支持，所以武威特色农产品品牌标识应从“三品一标”“沙漠”“生态”进行品牌建设，而且网上销售的产品中沙漠生产种植、养殖产品较多，因此可以树立以“沙漠”为核心+各类沙生植物、果类、动物等品牌名称，如沙漠健康枣、沙漠蜜瓜、沙漠羊羔肉、沙漠人参果等不同种类的品牌标识，以此区别新疆、内蒙古、南方等其他区域的农产品，只要首先打出“沙漠”特色，就可以建立“沙漠+产品”的系列品牌，提升武威特色农产品品牌影响力。

3.2 品质管控

打造武威特色农产品沙漠品牌标识的基础是进行特色农产品的品质管控。一个区域要长久地发展，就一定需要有健康持续发展的基础，一个农产品产业要长期可持续发展，就一定要保证农产品的品质，因为一旦打造了沙漠品牌系列农产品，如果某个网络销售商家的产品达不到顾客期望水平，就可能会影响整个区域某一类农产品，而且网络评价对后续消费者购买有非常大的影响，所以政府、企业、商家、农户需要共同制定某类农产品标准，按照不同标准制定不同的价格、品味、目标顾客、营销宣传语，达到不同品质农产品都有目标群体的目的。

3.3 产品营销

对武威特色农产品品牌与品质的建设进行管控后，不需要从农产品价格、物流渠道、促销等方面进行产品营销。针对不同顾客、不同品质的农产品，采用差异化定价策略，物流渠道[10]借用淘宝阿里、京东等平台，自建店铺，政府进行人才培养、资金扶助，同时洽谈已有一定规模和影响力的淘宝、天猫、京东网店进行店中店合作，借用其平台缩短营销宣传的时间与费用，可以让利合作的网店，武威农产品则获得品牌影响力，请其打造武威特色农产品页面，最终达到双赢的效果。

3.4 产业延伸

武威特色农产品的可持续发展还需要农产品加工业的助力，因此政府需要从产业延伸的角度进行特色农产品产业链的规划。从淘宝网信息分析中可以看出，很多特色农产品之所以没有品牌，因为是农户自己手工加工而成的，而具有品牌的特色农产品一般都有相应的品牌名称，因此武威特色农产品的品牌建设需要以相应的农产品加工企业进行规模化生产为基础，进行品牌设计、宣传，农产品加工后可以延长农产品的储存时间，打消农户种植、养殖的后顾之忧，提升农户发展农业的信心，提高农户的收入，延长产业链条，使武威特色农产品实现持续健康发展。

总之，武威特色农产品电子商务的发展需要政府、企业、商家、农户等多方共同努力，这也是一个长期的发展工程，只有从政策支持、资金扶持、人才培养等方面努力，武威特色农产品产业才能持续健康发展。

参 考 文 献

[1]魏倩男，贺正楚，陈一鸣.基于网络爬虫的京东电商平台数据分析[J].经济数学，2018，35（1）：77-85.

[2]晋振杰，曹少中，项宏峰，等.基于Python的电商书籍数据爬虫研究[J].北京印刷学院学报，2018，26（3）：39-42.

[3]吕博庆.基于爬虫与数据挖掘的电商页面信息分析[D].兰州：兰州大学，2018.

[4]阳黎明，苏理云.基于Nutch爬虫的电商交易价格统计研究[J].重庆理工大学学报（自然科学），2017，31（1）：152-157.

[5]李雪菁.基于数据挖掘技术的电子商务客户关系管理[J].计算机与数字工程，2018，46（9）：1834-1838.

[6]王鑫.跨行业数据挖掘在农产品电子商务中的应用研究[J].山东行政学院学报，2016（1）：74-76，60.

[7]安翔，李世鑫，白雪，等.北大荒米業竞争对手产品评论数据挖掘[J].北方经贸，2018（8）：44-47.

[8]卢长宝，庄晓燕.餐饮业服务质量在线评论的聚焦维度：基于网络爬虫技术的实证研究[J].天津商业大学学报，2016，36（4）：14-22.

[9]李明江，卢玉.基于数据挖掘的电商中贵州茶叶产品分类分析[J].黔南民族师范学院学报，2015，35（4）：78-82.

[10]王红娟，胡瑜杰.生态文明背景下农产品流通体系绿色增值的实现路径[J].生产力研究，2018（11）：60-62.