大数据技术对传统市场调查方法影响分析

刘常宝

目前，大数据技术已经覆盖到经济活动中的各个行业以及各业务模块，成为重要的生产资源要素。大数据的演进与生产力的提高有着直接的关系，随着网速的大幅提升，数据也将迎来爆发式增长，快速获取、处理、分析海量以及多样的经济主体之间的交易数据、交互数据与传感数据，从而实现信息再增值已经成为数据经济的常态化内容。大数据贡献率的提高，成为企业提高核心竞争力的触发器，大数据因其巨大的商业价值正在成为企业实施市场调查的新手段。

一、大数据对传统市场调查方法的影响程度

从二十世纪初推行抽样调查方法以来，该方法在市场调查以及相关产品质量检验、社会普查等领域雄霸数年，成为经济与社会乃至政治活动调查的首选方法。二十一世纪开始，伴随大数据互联网技术的日益成熟和推广，人们发现，无论是在网上调查还是现实的市场调查，大数据都有其施展能力的空间。在进入二十一世纪之后的短短十几年间，大数据技术为众多生产营销乃至社会各类服务企业提供精准化的实时调查，所获得数据的精确性和可信度，远远高于传统的抽样调查。由此，大数据调查伴随技术的成熟和运作成本的降低，越来愈受企业青睐，全面调查大有取代抽样调查的趋势。

（一）大数据技术是实现全面调查的基础和前提

服务业的市场调查由于经营主体分散、经营业务多样在实施行业调查时难度较大，抽样调查的数据也不十分准确。现在使用大数据调查，情况为之改观。以大数据技术对济南旅游业的驱动为例。当下智慧化旅游已经成为旅游业发展的下一个风口，济南正在借助IBM创建的智慧旅游成熟度评估模型，通过加快公共服务平台建设，结合自身旅游业所处的综合情势，跨越式推进济南旅游业，加快济南打造国际旅游名城的步伐。而IBM就是利用大数据平台实现组织各层次的信息共享，这一系统的数据整合功能为旅游行业管理、规范旅游市场运作提供了后台管理支撑。济南旅游业正是在对游客数据进行分析的基础上对游客群体进行市场细分，针对某一特定群体制定有针对性的旅游服务产品营销策略。也正是利用大数据分析，他们逐渐开始预测未来济南旅游业的市场发展趋势、商业模式优劣及其短期的外围市场变化等因素对旅游业务的影响。现在，该平台已经能QR（快速响应）济南旅游业不断变化和增长的市场需求。数据还能帮助他们监控济南旅游业供需状况。大数据平台运营的最佳状态将是无论需求如何改变，服务提供者都保证满足市场需求。显然，利用大数据来驱动济南旅游业，市场调查活动变得比以往更加灵活有效。

这个案例说明，大数据技术可以为全面市场调查提供技术支持。全面市场调查活动需要对调查对象没有遗漏的关注，海量数据处理就是大数据技术的功能所在。

（二）全面调查的结果丰富数据库内容

图1企业大数据分析建设原则及架构

随着信息技术的发展，特别是二十世纪九十年代以后，企业在数据管理方面已经不再仅仅停留在存储和管理数据功能上，进而转变成满足客户所需要的各种数据管理方式。目前，成几何级数增加的客户需求的数据量，而非结构化数据量居多，就更要求数据库类型的多样化。数据库从最简单的存储各种数据的量化图表，逐步过渡到能够进行海量数据存储的大型数据库系统，这样才能从各个方面满足企业对客户信息的持续使用。在现在变幻莫测的市场环境中，大数据分析可以保证企业信息使用的敏捷度、灵活度、适应度以及确定性，能够保证对市场细分更精准，产品与服务的市场定位也将更准确，精准式销售战略也由抽象理念变为可视现实。

数据库日益成为企业的重要资源库，企业间基于大数据的战略合作因此拉开序幕，福建移动公司与华为公司的牵手就充分说明这一点。为进一步提升外呼成功率，福建移动公司2014年初就开始联合华为公司开展以精准营销为主题的基于大数据的工作，在选择外呼目标价值用户时尝试采用大数据分析的方法。目前，福建移动公司在对基于大数据分析方法和传统外呼方法进行比对实验，以分别提取的20万目标客户清单为样本，并在前台无感知情况下进行对比验证，确保对比效果在不受人为因素影响的理想环境中实现。经过外呼验证，基于大数据分析方法较传统方法外呼成功率提升50%以上，大数据分析方法有效地助力了福建移动公司4G用户的发展战略。所以，基于大数据的市场调查可以使管理层分离复杂活动和市场生态系统的各个组成部分，并且能帮助企业观察和了解其业务与所在市场的动态及相互关系。通过全面洞察并分析市场变化趋势和商业模式演变，企业能够预测未来可能发生的情况。同时，企业的任何一项活动都会记录下来，作为下一次工作的参考，这就丰富了大数据的宝库[1]。

（三）大数据分析与全面调查共同服务于企业发展战略

企业在市场中生存，其核心竞争力决定其未来的发展趋势。企业通过大数据分析和市场全面调查，可以更有效地控制风险并获得战略优势。目前，受到整个行业数字化转型与业务运作全球化的推动，往往数据技术领先的企业，会更有条件持续地重新评估和定义其业务运行质量，并以此为依据制定市场战略决策。

时间对企业而言就是效益与生命，大数据技术能够不断提升数据处理速度，促进企业在时间上抢占市场先机并赢得竞争优势。以农夫山泉企业为例：在实施SAPHANA之前，农夫山泉企业信息管理系统通常需要24小时来运行运费报表，有时候系统甚至生成报表都十分缓慢。现在，37秒就可以生成一张运费报表，即实现2335倍的数据处理进步。同时，利用SAPHANA的触发机制，农夫山泉企业的市场实时数据转移及数据同步目标也得以实现。实时数据同步不仅使数据分析能够更及时反馈生产与市场的变化，也提高了业务人员的工作效率，使得他们所做出的业务分析及市场反应能够更及时准确，最大限度减少了误差的发生。目前，企业面临的最大问题是能否及时跟进已经超越自己的先行企业，数据处理的及时准确，可以帮助企业实现并行到超越的这些目标。在我国，已转型的企业中有近四分之三在使用数据分析技术指导自己未来的战略，尤其是给一些新的业务和运营战术带来竞争能力优势和个性化收益。

但风险与收益同在，我国近期部分转型企业股市市值缩水，究其原因无不跟战略分析不足、市场业务跟进速度过慢有关。数据分析缺失直接导致经营风险指数攀升，而绝非财务风险。这些战略风险来自核心产品需求的下降和竞争对手的侵害以及具有破坏性的价格战和利润空间压缩的压力，还有未能扩展新的收入来源等，这些负面信息的收集亟需大数据技术支持。

二、以大数据作为新的市场调查手段应该关注的问题

企业经营过程中面对最大瓶颈就是风险的存在。在市场调查活动中，由于技术问题导致的数据误导风险依旧存在，这是企业实施中面临的重要问题。大数据分析与全面调查目的是从根本上解决不确定性风险对企业经营的损害问题。但是，受人机协调以及数据储存与传输、解码技术的影响，调查数据的窗口风险依旧存在。大数据技术必须在精准营销思想的指导下，保证数据价值的精确实现。借助数据建模技术和假设分析场景，管理层甚至可以制订应对市场变化的最佳方案，以此获得收益，规避风险。这项工作应该由传统抽样技术、定性定量技术与现代大数据技术相互结合来保证。

（一）降低风险影响，更好地服务于企业

市场调查的终极目的是及时调整企业长期经营方向、运营模式，将组织方式、资源配置方式依据市场变化实施整体性转变，重塑竞争优势，提升社会价值，使其达到新的良性形态。当前我国大多企业应对市场变化的路径基本上是始于市场调查终于企业战略调整。而转型升级优化的本质就是不断适应市场需求的变化。由于企业的产品或服务始终面临着日益提高的市场易变性和不确定性，所以，企业必须提高预见和预测能力。这样在企业调整战略的阶段，企业就会有针对性通过对业务和管理进行结构性变革，最终获取经营绩效的改观来实现其战略目标。企业调整的系统性、跨越性、阶段性等特点始终应对市场的无序性、连续性、周期性，在全员参与理念指引下，推进企业在观念、组织、流程、人员素质等方面的一系列变革，依赖传统经验和直觉的方式已难以奏效，而是需要一套更加精准的市场调查方法相互配合。

2008年世界金融危机之后，受全球市场需求萎靡影响，国内经济下行压力增大，企业的经营风险增加。经历三至五年的滞后期，我国大多数企业都进入市场风险风口。目前，大多数企业非常注重全面了解影响其市场战略实现的风险性因素，而有战略思维的企业，都应该提高对经营环境风险的关注度和环评度，基于大数据可以保证企业预先对其产品或服务所涉及的国内外市场进行风险控制，同时预测可能阻碍战略进展的事件并提前采取相应的行动。通过大数据技术，企业使用风险分析技术监控、检测和预测各种市场风险事件，可以避免系统风险对战略目标实现的干扰和影响。对资源依赖型企业，借助实时的信息，企业可以监控市场资源的供应能力与水平，从而帮助最大限度地减少业务中断风险；对服务业而言，大数据也可以提高预测、分析服务供给能力，根据动态变量预测市场需求，甚至如气候变化、政治形势变化、区域亚文化变化等。有战略眼光的企业逐渐学会利用大数据剑走偏锋制订大胆的市场战略，例如采用基于风险的定价方法推出曾被认为开发风险过高的服务和产品，其前提就是借助大数据对市场现实与潜在需求的精准把握。另外，企业还可以在一国法规影响到其所在市场之前做出预判，在法规限制生效之前主动调整产品或服务，这些调查往往都要通过大数据而不是抽样调查来实现的[2]。

（二）深化客户管理，实现精准销售

客户关系管理成为企业战略的重要补充模块，在技术层面上，数据成为客户关系管理中的核心要素和关注焦点。大数据技术下的全面调查除实现对风险高度管控之外，我们还注意到，目前企业更加注重以新的网络信息技术方式了解客户，并与客户进行互动交流。客户管理在数据技术的支持下，能更全面地应对深层的市场变革和客户的细微转变。数字化技术、社交化平台和移动化手段这些大数据的工具，会导致新客户价值期望的爆发以及提高对企业产品或服务质量的心理预期，以此推动企业进入良性循环的发展状态。同样，企业也通过网站、微博、QQ、微信公众号等各种互动平台，将客户视为个体并且以更亲民或个性化的方式与客户交互而创造企业的竞争优势，并利用第三方信息服务商将所获信息存储起来以备未来开发新客户、黏住老客户时使用。我国众多企业都在尝试使用大数据技术，用客户数据分析方法而获得超出宽泛统计平均水平的业绩，使客户管理渐入佳境。作为中国销售量最大的服饰品牌之一的美特斯·邦威，其集团也在积极寻求如何利用大数据进行科学有效的客户管理，实现线上线下的零售业务增长。微软SQL Server 2012提供的商业解决方案帮助他们化解客户管理难题，美特斯·邦威集团能够通过这一方案，掌握客户在店内走动情况以及与实录客户与商品的互动场景，系统可以把输入的数据与交易记录相互结合进行数据分析处理，以精准的客户消费行为测定来指导企业应该销售哪些商品、如何摆放货品以及何时调整售价与优化商业库存。

当下，很多企业并不是按照两三个维度对客户进行细分，例如销售和交互，或者收入、年龄和地理位置，而是分析更多的客户维度。这些维度可能包括交易模式、客户选择店铺的心理特征、客户购买产品的可能性，及他们对公司的累积价值。大数据技术在多维度调研方面具有技术上的优势，企业能够借助大数据对客户进行高度个性化的了解，而非传统的单一维度，从而使得企业与客户间精准的和个性化的管理关系构建成为可能。

（三）解决产能过剩，实现供给侧改革

图2现有公司大数据的使用情况

目前，产能过剩问题困扰着许多企业，对宏观市场需求信息了解不足是造成产能过剩的主要原因，尤其是结构性的供给侧问题，成为政府需要解决的瓶颈问题。通过大数据技术可以在更加广阔的范围内实现全面调查，精准地掌握市场未来、现实以及潜在的需求变化。可以帮助企业制定更加科学合理的生产计划，安排好生产周期和市场供应，找准进入市场的最佳时点，实现零库存的目标，在会一定程度上解决企业产能过剩难题。如物流企业可以借助大数据实现物流服务资源共享，将不同性质和规模的物流企业在不同地点、时段进行资源有效整合，实现社会资源利用最大化；制造企业的配送中心可以通过自己的ECR或QR系统与互联网无缝对接，更好地反馈市场需求变化，实现JIT市场销售。北京华联集团就通过部署Oracle零售应用解决方案，以此优化了运营管理流程，进而提高商业敏捷性和市场反馈速度，并提升关键货物的定价、存货、供应链和交易流程科学管理，也帮助零售企业实现零库存目标。目前，Oracle零售应用解决方案全面支持其旗下各项业务的不断增长，其中包括了大卖场、综合超市、百货公司以及商业地产等，为相关企业引进大数据技术解决方案，实现零库存目标提供成功范例。

所以，供给侧改革的切入点就是对市场需求的大数据分析，市场调查逐渐被企业高度重视，不仅创新了调查方法，而且在传统调查方式运用的基础上，开掘了互联网和现代信息技术价值空间，进而使企业对市场明察秋毫，未雨绸缪。

三、辩证处理好传统抽样调查与基于大数据的全面调查之间的关系

2006年国务院连续发布了《促进大数据发展行动纲要》等三个与大数据相关的政策文件，大数据政策红利正在逐步显现，其行业推广的力度和速度也将进一步加快。我国大数据时代是互联网时代的逻辑延伸，也是市场调查手段更新的利好消息。但是，我们也注意到，由于传统调查方式以调研模型、有形组织以及人文因素优势而存在，可以给市场调查活动沉淀诸多可以复制的经验和模式，这与大数据调查的非模型化和泛组织化有本质的区别。如何更好地将各自的优势互补，实现模型与非模型的统一，组织与泛组织的契合，是处理好二者关系的关键所在[3]。

（一）大数据技术仍然要以传统调查方法为基础

大数据发展的基础是互联网技术的逐渐成熟，而使用大数据进行市场调查的逻辑起点则是抽样调查和定性与定量分析。

业内普遍认为，大数据不是以大小来区分，而是以价值为单位，数据要大到足够为企业创造业务价值才会被采用，这与抽样调查中对总体的价值体量要求基本相似。大数据不是追求精确的来龙去脉、因果关系，而是寻求最佳的问题解决方案，这也是抽样调查方法的终极目标。大数据可以成为管理层的显微镜和望远镜，提供超越经验的客观决策支持，无论是抽样调查还是定性与定量调研，其根本目的就是为企业的高层管理者提供决策的依据，在这一点上二者具有异曲同工之意。专家举例说：如果以前中国石油要开一个加油门店，选址前要测量车流量、车速，以确定投资回报率，这些工作只能派人现场蹲点记录车流情况，很可能存在各种不准确甚至造假行为。现在，就可以直接找电信公司合作，对经过该路段的手机实施定位分析，实时测出车流量情况，从而分析预判商业投资回报率。但是，选定何处门店作为观测点，这就需要前期的抽样调查准备。

美的集团作为家电制造企业从1998年开始做大数据。大数据对企业发展的贡献率逐年提高，但是管理者感觉传统行业对大数据接受度尚显不足，对传统调查方式情有独钟。企业时间花得最多的不是在做大数据，而是在企业内部宣传大数据的作用。这说明抽样调查等传统方式在调研活动中有一定生存空间和实用价值，企业在实施大数据调查的过程中应循序渐进，逐渐将大数据高大上的概念与传统草根调查方式相互融合，并贯穿到市场调查工作中去。

（二）在特定市场调查活动中传统调查方法可能更加安全

行业的大数据分析和应用场景，一个典型的特点还是无法离开以人为中心所产生的各种用户行为数据，其中包括用户业务活动和交易记录、用户社交数据，这些核心数据的相关性再加上可感知设备的智能数据采集，就构成一个完整的大数据生态环境。在这一环境中，数据的存储周期会更长，数据的扩散和使用范围会更广，也包括数据的非预期泄露，这就对数据安全提出了挑战。由于行业的差异性，在某些特殊行业如医疗保健、教育培训、社会中介等，客户信息的安全性会引起高度重视。在对这些特定市场进行调查时，运用大数据可能会在安全性方面受到质疑，而简单易行，安全保障度较高的抽样调查会更受欢迎。

所以，理性看待大数据的作用范围，相机运用各自的优点展开有针对性、安全性的调查，不失为一种辩证接受方式。

（三）传统抽样调查方法可以与大数据技术珠联璧合

如果说2013年是互联网金融年，那么，2014年将是全面调查变成现实年。社会进入了智能互联网和物联网时代，万物互联，每一个物品都带输入输出设备，携带着各种感应器、传感器，人则以系统人的方式接入智能互联网。物理人、社会人、近身环境三大要素构成系统人的概念。物理人和近身环境的数据采集往往是由穿戴式设备和智能终端来完成，社会人的数据采集由大数据技术完成。由此，抽样调查的N与n的相等变为可能，100%的样本（个体）抽样成为物联网时代抽样调查的极致表现。从这个意义上说，传统抽样调查与大数据调查在网络信息技术的支持下，达到完美融合[4]。

总之，抽样调查以及定性与定量分析技术，在市场调查与预测的历史活动中曾经扮演过重要角色，而大数据技术的出现，以及在行业应用范围逐渐深化，不仅促进全面抽样调查的实现，保证精准销售理念落地，而且应用过程中将会与传统调查方式珠联璧合，实现更大范围和领域的价值。未来，不但在消费互联网，如信息搜索、营销、游戏、电商、服务O2O、ofo、金融征信等领域有巨大的价值空间，同时，大数据调查也会逐渐过渡到整个产业互联网，如SAAS软件企业级服务、供应链B2B电商、供应链金融等，未来大数据的中长期发力会在移动网络、精准医疗、车联网、工业4.0、无人机、虚拟现实、人工智能、机器人等领域实现。相信，未来大数据在保证企业实现全面市场调查活动的能力会更进一步增强。