一种基于自动校验的异构卷烟市场信息数据处理方案

高洁 张璐

摘 要：卷烟零售市场信息采集和分析应用是烟草行业提升市场化水平和整体营销水平的重要基础。烟草客户经理在完成市场信息数据采集后，需要在数据结构规范不同的系统中分别进行录入、上传的操作，耗时耗力，容易出错。文章提出了以节省异构系统间数据处理耗时、提高数据处理准确率、实现数据自动校验为目标的解决方案，通过研发市场信息采集数据自动校验软件，实现为企业提质增效、为基层人员减负的目的。

关键词：卷烟市场;信息采集;异构;自动校验

中图分类号：F721     文献标识码：A 文章编号：1005-6432（2022）01-0190-02

DOI：10.13939/j.cnki.zgsc.2022.01.190

1 引言

市场信息采集（又叫市场信息收集）是指运用科学的方法和合适的手段，有目的有计划地收集有关营销信息，用于帮助企业[1]。

卷烟市场信息的采集，能够为卷烟销售预测提供有力支撑[2]。卷烟零售市场信息采集和分析应用是烟草行业提升市场化水平和整体营销水平的重要基础，烟草行业希望通过建立以地市级卷烟商业公司为主体的卷烟零售市场信息采集和分析应用的长效机制，动态掌握全国卷烟零售市场情况，为行业生产经营决策提供科学依据，做到有数据支撑、用数据说话、靠数据决策，加快从经验营销向数据营销转变。

目前，烟草客户经理每周完成市场信息数据采集后，需要在卷烟营销信息系统（以下简称系统A）及经营决策数据中心（以下简称系统B）中分别进行录入、上传的操作。由于两个系统软件结构不同，对相同业务流程采集的数据录入时格式要求不一致，业务操作人员在实际工作中，需要对同样的数据按照不同的格式要求先在系统A操作，再将生成的数据与系统B输出的模板文件内的数据进行人工比对、调整等处理后上传，每个客户经理一次性处理记录数平均在200条以上，单客户信息采集数据处理所需时间超过半小时，耗时耗力，容易出错。

2 需求的确定

烟草客户经理进行市场信息采集数据录入时，需要进行定制系统A数据模板、系统B导出模板、模板间规格核对、数據核对、数据填入系统B模板、校验上传系统B等多个环节的工作。随机选取10名客户经理，统计各环节工作用时，发现市场信息采集数据处理消耗时间较长，平均达到47.2分钟。

客户经理在将市场信息采集数据录入系统B时，需要在两个系统的数据模板Excel表格中进行数据的比对、校验和删减调整等操作，由于数据量较大，处理准确率不高，不准确的数据在导入系统B时会提示错误，无法上传。通过统计分析，每位客户经理的人工数据处理准确率平均为93.5%。

由于系统A和系统B由不同厂商开发，经与开发商沟通，在没有额外费用投入的情况下无法制作数据自动处理的接口。实现系统间市场信息采集数据的自动校验，节省数据处理耗时和提高数据统计准确率是提高市场信息采集工作效率和水平的迫切需要。

3 方案的选择

如能把系统间市场信息采集数据处理中的定制模板、核对规格、核对数据、填报数据等环节实现软件自动处理，将大大节省时间、降低出错率。软件设计方案如图1所示。

经过对比分析，确定采用开发难度小、耗时短，系统资源需求较少，运行效率高、稳定性好的单机部署方式;采用更适合单机程序开发、与Windows应用兼容性更好、中小级别应用效率更高的Visual Studio平台;采用可用性强、具有一定开发基础、重用率高的C#作为主要开发语言;采用简单易用、开源、占用系统资源较少、自适应能力较强的ACCESS数据库作为数据库开发平台;经过模拟试验对比，选择核对准确率100%、核对耗时更短的自动核对模式。软件实施方案如图2所示。

通过对客户经理工作流程及需求的深入调研，确定软件应由如下部分组成：

（1）原始数据导入模块。提供从不同业务信息系统中获取数据源文件的功能。

（2）数据处理模块。按照关联要素，通过特定算法，对输入系统的数据源文件内的数据进行识别、比对、匹配更新的功能。

（3）数据生成与导出模块。提供对识别、比对、匹配更新完毕的文件进行生成的功能，在输出的文件中以颜色区分匹配、未更新、新增三类行记录数据，提高操作者对数据变化状态识别度。

软件运行流程如图3所示，对于输入的源文件，系统会根据指定规则进行校验，以提高输入数据的可用性以及数据匹配的准确性。

当输入源数据文件中数据类型以及文件格式异常时，系统提示源数据获取失败，程序运行结束。格式校验依据来源于其他业务系统导出的文件格式和数据类型规范，即操作者不能修改从其他业务系统中导出的文件的任何格式以及规范，包括标签页的名称以及有效列数、有效列名、数据类型等信息。

当输入源数据文件中数据类型以及文件格式校验正常时，系统开始自动抽取数据并缓存，当操作者进行数据合并处理时，系统会根据关键要素首先关联有效行记录，完成识别。然后根据设定的算法对源文件数据进行比对、匹配更新，按照更新、新增、未更新三种类型生成最终结果文件。

4 实施效果

软件开发完成后，用客户经理市场信息采集的真实数据进行测试，原始数据导入、数据识别、比对、匹配更新及数据生成与导出功能均正常运行。

再次选择客户经理进行软件应用效果统计，市场信息采集数据处理工作耗时从原来的47.2分钟下降到1.2分钟，数据处理准确率达到100%，效率提升幅度：（47.2-1.2）/1.2×100%=3833.33%。

软件研发完毕后，研发小组还编写了软件操作指南，通过网络直播形式进行操作培训，并录制视频微课，在系统内推广运用。

5 总结及未来目标

目前，系统A和系统B在全国30余家烟草商业企业均有应用，大部分仍采用人工校验的模式。利用自主研发软件实现市场信息采集数据的自动校验，提升市场信息采集数据处理的工作效率，属于行业首创，在行业内具有创新性、先进性和普适性。

将市场信息采集数据处理工作中的人工数据校验模式，转变为自动化校验，通过减少人工工作量、节约劳动时间实现了改变管理方式、提高工作效率、降低社会总成本的效果，推动了基层单位业务工作向智能化、绿色发展的方向迈进。

软件的应用显著提升了基层单位客户经理的工作效率，减轻了工作压力，是贯彻落实双基建设要求的重要措施，实现了为企业提质增效、为基层人员减负的目的。

下一步，笔者将继续深入探索研究，研究系统A数据模板下载和系统B数据上传的自动处理，最终实现多系统市场信息采集数据处理全流程的自动化，运用信息化手段切实提升市场信息采集数据处理工作的质量和效率。

参考文献：

[1]MBA智库百科.市场信息收集[EB/OL].[2015-01-20].https：//wiki.mbalib.com/wiki/市场信息收集.

[2]百度文库.如何实现卷烟市场信息的有效采集[EB/OL].[2016-11-09].https：//wenku.baidu.com/view/52b114f64793daef5ef7ba0d4a7302768e996f70.html.

1454501705358