消费品质量信息大数据公共服务平台的设计与实现

王寒冰

摘要：消费品质量数据在公共管理服务工作中发挥着重要的作用，因此构建面向消费品信息的大数据公共服务平台具有重大的现实意义。文章在充分调研当前主流解决方案基础上，提出了混合式服务平台的总体设计框架，通过对不同形式、不同来源的消费品质量信息的梳理、整合、分析和评估，并采用关联分析等具体方法，最终设计了基于基础数据子平台、数据分析子平台和公共服务子平台的平台构建方案。该方案具备轻量化和高扩展性的特点，对于构建类似的大数据公共服务平台具有一定的借鉴价值．

关键词：消费品：大数据：数据融合：关联分析

中图分类号：TP31

文献标志码：A

0 引言

市场监督管理系统部门和二级机构众多，质检、计量、特检、认证认可等部门的相应数据平台“独自”为政，没有统一的数据接口和标准，无法实现数据的互联互通，同时现有不少系统平台小、数据有限，没有实现整合，导致从无法很好地建立分析模型，和有针对性地提供行业、区域、产品、企业、消费者等分析报告。随着市场主体数量快速增长，市场活跃度不断提升，社会信息量爆炸式增长，数量巨大、来源分散、格式多样的大数据对政府质量服务和监管能力提出了新的挑战，也带来了新的机遇，只有从建立质量基础大数据人手，构建大数据监管模型，才能有效提升政府科学决策和风险预判的能力。

1 现状分析

当前，我国已成为全球消费品生产、消费和贸易大国，但消费品质量却没有达到人民要求，呈现较为明显的质量指标与人民群众消费需求、安全指标与人民群众安全需求的不匹配，制约国内消费增长，甚至造成消费外流。特别是，近年来，我国消费品质量恶性事件接连不断，给人民生命和财产带来了严重的影响，如“移动电源爆炸”“毒跑道”“三星手机爆炸”“土坑酸菜”等事件。事件一旦触发，通过网络将事件不断发酵，其相关信息量庞大，政府对企业、消费者等利益代表的信息难互通、对新闻媒体等第三方利益代表的信息难确认，使得政府部门难以高效地掌握、处理突发事件。

因此，本文以消费品质量信息为研究对象，通过网页爬虫技术和提供数据接口等手段[1]．收集标准、计量、认证认可、检验检测等质量基础信息，以及质量监督检查、质量比对等产品质量信息，对不同形式、不同来源等消费品质量信息梳理、整合、分析、评估、展示，构建跨部门、跨行业的消费品质量信息大数据公共服务平台[2-3]。

2 框架设计

消费品质量信息大数据公共服务平台在充分调研当前主流解决方案基础上，考虑业务的发展和变化，提出了混合式服务平台的总体设计框架，将平台分为基础数据子平台、数据分析子平台和公共服务子平台3个部分，同时配以运营规范体系和安全保障系统，满足平台的建设要求。整体框架设计如图1所示。

基础数据子平台是平台建设的基础，它将来自各方的数据整合起来，形成源数据，为平台提供数据支撑。通过基础数据子平台建设实现了数据资源的共享、加工，消除了信息孤岛。同时实现了质检、计量、特检、认证认可、执法检查等所有数据的统一管理、统一存储、同步分发。这样不仅提高应用系统的可用性，更大大提高消费品监管工作效率。

数据分析子平台是平台建设的核心，通过对用户需求的分析，创建了各种消费品质量数据的分析工具和模型，同时对网络爬虫和各方平台提供的数据进行预处理、统计分析和数据挖掘等操作，关注各种数据的特征以及相互间的关联关系，实现对基础数据的分析利用。

公共服务子平台是平台建设的目的，通过对政府、企业、行业、消费者和第三方的沟通对接，了解客户的痛点和需求，为他们设计出真正需要的功能模块，提供全方位、多角度、立体化的质量信息。

3 技术路线

消费品质量信息大数据公共服务平台采用Django开发框架，该框架是用Pylhon开发的一个免费开源的Weh框架，提供了许多网站后台开发经常用到的模块，使开发者能够专注于业务部分。Django是Python社区应用最广泛的Weh开发框架，许多全球顶尖互联网产品采用Django开发，比如Pinterest，Instagram，Disqus等。它白带一个面向对象的、反映数据模型与关系型数据库间的映射关系的映射器，开发者无须学习SQL语言即可操作数据库，同时内置了一个后台数据管理系统，经简单配置后，再编写少量代码即可使用完整的后台管理功能。因此Django不仅易于学习、开发效率高，而且有成熟的超大规模商业应用先例。

平台采用MTV设计模式，用户通过浏览器对服务器发起request请求，服务器接收请求后，通过View的业务逻辑层进行分析，同时向Model层和Template层发送指令：Model层与数据库进行交互，将数据返回给View层；Templace层接收到指令后，调用相应的模板，并返回给View层：View层接收到模板与数据后，首先对模板进行渲染（即将相应的数据赋值给模板），然后组织成响应格式返回给浏览器，浏览器进行解析后并最终呈现给用户。这种设计模式降低了各组件之间的耦合度，实现了视图、模板与模型的分离。每个由Django驱动的Weh应用都有著明确的目的，可独立更改而不影响到其他的部分。这样前端的变化对模型层影响很小，同时数据库也很难影响前端，有效提高平台的可扩展性和复用性，节省了大量开发时间和开发成本。消息响应过程如图2所示。

平台采用Oracle数据库作为质量大数据底层数据支撑。Oracle能够确保数据完整性、安全性，引入了共享soL和多线索服务器体系结构。这减少了资源占用，使之在低档软硬件平台上用较少的资源就可以支持更多的用户，而在高档平台上可以支持成百上千个用户。提供了基于角色（ ROLE）分工的安全保密管理。在数据库管理功能、完整性检查、安全性、一致性方面都有良好的表现。支持大量多媒体数据，如二进制图形、声音、动画以及多维数据结构等。提供了与第三代高级语言的接口软件PRO*系列，能在C，C++等主语言中嵌入soL语句及过程化（PUSQL）语句，对数据库中的数据进行操纵。可以快速开发生成基于客户端PC平台的应用程序，并具有良好的移植性。提供了新的分布式数据库能力。可通过网络较方便地读写远端数据库里的数据，并有对称复制的技术。同时提供gui和命令行，在Windows和UNIX下操作相同，如果Windows不能满足需要，用户可以把数据库移到UNIX中。

4 具体实现

消费品是为满足社会成员生活需要而销售的产品，以消费品的质量信息为研究对象，以自然语言处理、深度学习等为理论基础，综合运用领域本体、系统仿真与建模等方法，开展消费品质量信息融合与集成方法、数据分析与挖掘技术、知识服务技术等内容的研究。在此基础上，构建面向管理决策的消费品质量信息大数据公共服务平台，并进行应用研究。

消费品质量信息数据融合是最大程度发挥数据价值的一种手段，它不同于传统的数据集成或知识库技术，需要大跨度、深层次和综合性的研究方法[4-5]．需要从大数据的概念特征、一般处理流程、关键技术3个方面进行研究[6]。主要内容包含：（1）消费品质量多源异构数据融合和集成技术研究。基于本体对齐的消费品信息实体匹配方法研究，研究消费品质量信息的模式对齐方法，利用属性名称、类型、值的相似性以及属性之间的邻接关系寻找源模式与中介模式的对应关系，解决数据模式元素之间的一致性问题。（2）消费品质量信息分析与挖掘技术研究[7]。针对消费品质量信息的特征，结合传统数据分析与挖掘技术，以及大数据分析处理技术，开展消费品质量信息分析与挖掘技术研究。（3）消费品安全危害源识别方法与技术体系研究。基于消费品安全危害源多元化采集分析技术，提出消费品安全危害源多尺度分类融合方法；分析消费品风险源多危害耦合机理，提出消费品安全危害源识别模型及其实现技术。（4）消费品安全风险分析与评估方法体系研究。面向消费品风险事件的确定性与随机性规律，提出消费品风险评估模型与技术方法。分析儿童用品、生活家电等典型消费品特征，研究典型消费品风险评估通用指标与特定指标的分类分级技术与评估方法，建立消费品风险评估复杂指标体系。研究消费品风险评估模型的应用条件敏感性特征，研究消费品风险评估模型的多群组适用性。（5）面向风险评估的数据集成和分析方法研究[8]。包括消费品风险评估信息抽取方法研究、消费品风险评估数据集成技术研究、消费品风险信息分析技术研究、消费品风险评估知识服务技术研究。

以知识发现、机器学习等领域的现有的理论和方法为基础，以消费品质量信息为研究对象，综合运用管理科学、计算机科学、统计学和概率论等多学科的研究方法，完成消费品质量信息大数据公共服务平台技术支撑工作。具体如下：

（1）定性分析法。针对多种伤害耦合情景下消费品风险识别结果互斥性科学问题，利用文献法与专家访谈座谈法结合等方法，提取消费品风险评估典型指标及其表征方法，并开展“未遂事件与已有案例等客观数据、座谈访谈等主观数据”“产品检测报告等生产方数据、问卷调查等消费者数据、网络舆情等第三方数据”等多角度数据特征分析，进而利用逻辑分析等方法开展数据采集与融合等研究。

（2）情景模拟法。针对社会因素与技术因素叠加情景下消费品风险分析复杂性问题，利用头脑风暴、德尔菲专家调查等方法开展多视角分析，抽象典型消费品使用场景的主体行为特征、消费品产品特征、消费品使用环境特征，利用鱼骨刺图等分析T具开展典型伤害场景情景推演，关注部件失效、异常交互、环境干扰等因素，进而开展主体、产品与环境间的复杂交互情景模拟原型构建等方面的研究。

（3）仿真建模法。针对多源数据融合重构情景下消费品风险评估动态性问题，基于典型消费品的伤害场景要素逻辑关系建立研究框架，依据历史数据与专家调查等方式确定伤害场景的要素间关系概率，建立不同主体间的交互规则，构建贝叶斯复杂网络并利用开展多主体演化关系分析推理，明确消费品典型伤害演化机理与演化的影响因素，进而开展基于多主体的动态风险评估模型的仿真建模研究。

（4）消费品质量信息融合方法研究。首先，为应对消费品质量信息新特征，针对基于模式对齐的融合方法，分别研究了基于演化模型、基于概率模型和基于深度匹配的模式对齐融合方法。其次，基于启发式规则和信息挖掘、非监督学习等方法，针对所有可能的关联链分析，研究检测实体的语义关联：采用近似函数依赖挖掘技术，结合多源异构数据特征，提出新的相似性匹配算法；采用序列模式挖掘和匹配技术，基于行为和传播模式，准确识别实体。最后，采用识别函数进行实体或属性级别的冲突解决，重点研究在实体级别的真假甄别和演化问题。

（5）基于深度学习的跨组织跨行业消费品质量信息分析挖掘技术研究。首先，基于语义分析与跨组织间数据的迁移学习，结合深度学习与强化学习模型，从环境状态、决策行动，以及状态之间的转换规则等维度出发，探索语义分析与决策行为之间的演化与预测关系模型，进一步运用语义分析的结果支持决策行为。其次，融合沉浸式环屏可视化技术、人机交互技术，研究大规模、高维数据的可视化技术，使得大数据分析的结果能够最大限度地服务于质量安全监管领域。

（6）基于多主体决策的多源异构消费品质量信息知识服务研究。首先，通过分析消费品质量信息特征，基于Biterm主题模型的文本建模：其次，研究基于特征词提取的知识导航，提H{多视角下的基于领域本体和成长单元结构算法（ GCS）的聚类方法。最后，根据协同隐性相关反馈信息，研究基于深度Aulo -encoder神经网络的多维需求维度识别算法和基于堆叠去噪自动编码器的知识推荐算法。

5 结语

通过消费品质量信息大数据公共服务平台的构建，将有助于政府、行业、第三方社会组织和消费者更好地了解消费品质量相关信息，提高应对风险和突发状况的能力：将为消费品相关生产经营企业提供数据查询服务，保障生产企业消费品质量，建立公平、优质、优价的市场环境，进一步激发市场活力和消费潜力；将定期提供消费品质量信息发布，减少市场信息不对称，指导消费者理性消费，警示消费者产品质量安全信息；将为第三方社会组织提供专业化、个性化和多样化的质量信息服务；将为政府部门提供风险评估、舆情简报等服务，辅助政府及时应对突发事件和热点问题。

参考文献

[1]黄雨辰，童彤．基于Scrapy爬虫框架下电商数据分析[J]．安阳师范学院学报．2021（5）：132-136．

[2]韩文立，张莉，程鹏飞．地理信息质检数据库建设和应用的技术探讨[J]．测绘通报，2015（3）：94-96．

[3]鄧智文，何鑫星，李冲，等．信息化质检系统数据库设计[J]．测绘科学．2017（9）：169-174．

[4] BALAZS J A，VELAQUEZ J D.（）pinion Mining andInformation Fusion：A survey[J].Information Fusion，2016（27）：95-110.

[5] BELL0 0.G，JUNG J.J，CAMACHO D.Social bigdata： recent achievements and new challenges [J].Information Fusion， 2016（ 28）： 45 -59.

[6]刘智慧，张泉灵．大数据技术研究综述[J]．浙江大学学报（工学版），2014（6）：957-972．

[7]KAI S T.RICHARD S，CHRISTOPHER D.Improved semantic representations from tree -structuredlong shofi - term memory networks[J]. ComputerScience ，2015（3）：1212-1222.

[8]谭红叶，要一璐，梁颖红．基于知识脉络的科技论文推荐[J]．山东大学学报（理学版），2016（5）：94-101.

（编辑傅金睿）