大数据时代的市场调查
2015-01-27韦薇王迪
韦薇 王迪
摘 要:随着大数据时代的到来,市场调查在新技术条件下萌生出了新的应用和方法。本文即在对传统市场调查的研究逻辑、操作方法进行梳理的基础上,对现阶段大数据的方法论进行考量,试图为“大数据热潮”提供一个较为中立的视点,并探讨大数据对于市场调查的研究逻辑和操作方法层面的影响。
关键词:大数据;市场调查;社会学方法论
“大数据”是当下纵横学界、业界的最热词汇,继移动互联网、云计算、物联网等新兴应用技术出现之后,全球范围内产生的数据急剧增长,人们生活在数据编织的网络之下。这种直接运用用户数据进行分析的方式完全不同于传统的市场调查方法,并且看似为理解消费者行为提供了更为客观的视角,于是,“大数据时代是否还需要传统市场调查?”、“大数据会取代问卷调查吗?”这样的疑问开始出现。
一、市场调查方法论发展脉络
(一)市场调查研究逻辑的形成
按照美国市场营销协会(American Marketing Association)所给出的定义,市场调查(marketing research)是“一种通过信息将消费者、顾客和公众与营销者连接起来的职能。这些信息用于识别和确定营销机会和问题,产生、提炼和评估营销活动,监督营销绩效,改进人们对营销过程的理解。市场调查规定了解决这些问题所需的信息,设计收集信息的方法,管理并实施信息收集过程,分析结果,最后要沟通所得的结论及其意义。”有记载的最早一次大规模调查要追溯到1824年8月,美国一家报纸为预测总统大选结果而进行了民意调查;在1879年美国也出现了广告代理商为农业机械制造商进行当地农产品生产状况的调查。
早期这类具有“市场调查性质”的研究可以视作社会调查的延伸,从源头上看,社会学方法论对于市场调查的有着极其深远的影响。19世纪初,法国哲学家奥古斯特·孔德第一个提出用“社会学”这一名词来指代研究人类行为的科学,并主张将自然科学的成功经验引进社会研究领域,提出“自然现象和社会现象不存在本质的不同,科学史统一的,不同学科遵循某些相通的原则”这一基本假设。这种实证主义思潮在后来西方社会学研究中一直处于主流地位。实证主义社会学在19世纪80年代获得了真正的可行性,德国社会学家埃米尔·迪尔凯姆在其著作《社会学方法的规则》中提出了实证主义社会学的方法论,他定义了社会学的研究对象,并真正将实证科学的方法(统计学和数学)引入社会现象的分析,开始了具体的社会实证研究,使定量研究的方法在社会学领域逐步盛行。
作为最早探索社会学方法论的两位大师,迪尔凯姆和韦伯都强调了因果解释在社会学研究中的重要地位,虽然前者是将其视作规律式的、法则性的存在,而后者是将其与理解、意义联系在一起,探求因果关系成为了社会学方法论中的一个核心问题。市场调查作为一门独立学科发展起来,是在20世纪初。在研究逻辑的根源上,市场调查融合了实证主义和人文主义的方法论,这两者的研究逻辑都在市场调查的操作方法中有所体现。
(二)市场调查操作方法的发展
市场调查成为独立的行业和学科,主要经历了以下几个发展阶段[2]:
20世纪初,市场调查学开始建立。1911年,美国Curtis出版公司首先设立市场调查部,并与1919年系统地收集、记录、分析各种读者的习惯和爱好及与人口统计有关的资料,用以指导出版业务并获得了巨大成功。1918年,哈佛商学院、西北大学也先后创建了商务调研所。1923年,专业市场调查公司A.C.尼尔森创立,市场调研和营销信息系统开始成为一些企业市场营销管理系统不可分割的有机体,西方市场营销那种强调“理性分析和以实证数据为基础”的特点开始形成并显露出来。
20世纪30年代,美国市场营销协会出版了专著《市场调研技术》。“市场信息的收集和阐释”被正式纳入营销概念。40年代初始,定性研究(座谈会)形式的研究方法在市场研究中得到应用,并逐渐成为产品概念、广告概念、产品包装测试的必备工具。40年代末期,随机抽样的样本设计概念得到广泛认同,抽样技术在民意调查方面取得重大突破。
50年代后,市场调查业逐步趋于成熟。二战后,世界局势趋于稳定,经济全球化的背景下,市场营销学获得了良好的发展机遇。营销管理者开始将市场研究作为决策依据的必要环节,专门性的市场调查机构大量涌现。抽样调查和显著性检验、动机调研及消费者行为理论研究成为发展的重点,心理学、社会学在市场调查中开始得到系统应用。
70年代以后,随着计算机和互联网技术的应用,一个现代化的信息系统开始形成,数据库营销时代到来。
二、大数据在市场调查中的应用
(一)什么是大数据
我们可以从《大数据时代》一书中窥知一二。作为最早阐述“大数据”这一话题的专著,舍恩伯格的这部专著的阐述了在大数据时代的三点思维变革:“更多:不是随机样本、而是全体数据”,“更杂:不是精确性,而是混杂性”,“更好不是因果关系,而是相关关系”[3]这三点是目前主流的对大数据方法的阐述,并被其的拥趸奉为圭臬。其中最具有颠覆性的 “重相关而轻因果”思想,引起了很多讨论。
(二)大数据的基本逻辑
从学科的角度看,大数据承袭了更多统计学的特质,通过对数量巨大的数据做统计性的搜索、比较、聚类、分类等分析,找到数据之间的关联。因而更关注数据的相关性(亦称关联性),这种关联可能是简单的正向相关,可能会通过进一步的研究认定是因果关系,甚至可能通过相关性发现甚至之前都不存在的新关系。
“相关分析”的目的是找出数据集里隐藏的相互关系网,一般用支持度、可信度、兴趣度等参数反映相关性[4]。说明两者之间存在相互影响的关系。在大数据时代,我们不必非得知道现象背后的原因,而是要让数据自己‘发声”。企业在运用大数据时,不再是按照“从数据到信息再到知识和智慧”的传统研究思路,而是试图寻求“从数据直接到价值”的捷径[5]。endprint
值得注意的是,本文试图对市场调查的社会学研究逻辑与大数据的逻辑做一个核心的梳理,以说明由两者研究逻辑的差异性,但我们也不应忽视:首先,因果关系和相关性关系并不存在孰优孰劣的比较,并且两者可以作为研究中相互补充的手段,大数据对于市场调查而言,究竟是“破坏”还是“进化”不能一言蔽之;其次,有学者认为,在开放复杂的巨系统内,组成部分之间的关系错综复杂,可能存在互为因果、相互影响的状态,因果关系隐藏在整个系统之中,所以,对于大数据的关联分析,可能不限于简单的相关性,其中可能蕴含着更深刻的奥秘,不能贸然下结论[6]。
(三)大数据带来的新方法
在操作层面上,相比以往的调查方法,大数据有以下令人关注的新特点:
首先,大数据去除了抽样设计的环节,直接对整体进行分析。在社会研究中,由于难以对整体进行直接的测量,会选取样本进行研究,抽样框架的设置、样本的代表性和样本大小都会对结论产生影响。对于人群的整体认识而言,大数据无疑提供了一个完美的解决方案,来将误差降到最低。
其次,基本不介入调研对象的行为,以观察者的视角呈现调研对象。作为消费者,我们的行为在大数据的网络中无处藏匿,电脑上的cookie会精确地记录你在何时何地浏览过什么商品,手机上的LBS可以实时定位,更高层次的数据甚至记下了人们的眼球在电脑屏幕上的运动轨迹。大数据可能比你更了解你的消费习惯。
最后,作为互联网时代的产物,与社会化媒体、搜索引擎等互联网应用的联合使得大数据备受瞩目。
这是当前常见的大数据运用模式,该项以这类方法看似可以有效地对庞大的用户群进行梳理,但也存在两点疑问:
1、信息的真实性。用户信息由用户自己设定,所以在年龄、性别、地域等人口统计学数据上可能存在数据不真实等状况,这些因素都会影响最终结果的可信度;
2、方法的科学性。首先,片面根据某些片面的相关性很难得出科学的结论,由此推断消费趋向有些缺乏说服力;
(四)大数据推广中的困难
大数据的运用还处于起步阶段,虽然业界普遍对大数据寄予厚望,并描绘出一幅幅宏伟蓝图,但我们也应该看到,其发展前景还存在很多不确定性。
首先,在技术层面上,由于大数据的数据量过大,合适的运算方法和硬件条件还不够完善,为大规模使用造成了困难。大数据的积累看似是很容易的事情,但是提取和运用还远没有达到理论上的即时和迅速,但随着计算机技术的发展和研究的不断涌现,相信大数据在技术上的突破只是时间问题。
其次,如何保护用户隐私的问题。人们无法选择自己的数据是否被利用,甚至有时都无法察觉自己是否中了“大数据的圈套”,这也是大数据受到诟病的一点。
信息安全和隐私保护问题无疑会影响数据的共享共通,。至少目前看来,大数据的运用仍然限于个别平台限内部,而且可能在比较长的一段时间内,都无法到达各平台间完全打通的状况。
三、结论
(一)方法层面:大数据带来的新进展
对比传统的市场调查方法,在具体的操作方法上,大数据技术确实带来了令人激动的变化:
1、从样本到全体:大数据的研究对象是全体用户的相关数据,而非依靠抽取的样本。
2、从短期到长期:大数据研究长期的数据沉淀,而不是阶段性的调查结果。
3、从延时到及时:大数据能够感知和采集即时化电子数据,迅速转化入决策运用环节。
(二)逻辑层面:传统智慧的融合
“传统市场调查还是大数据?”这并不是一个单选题。大数据具有“重发现非实证”、“重关联非因果”的特征,却并没有系统化的逻辑基础作为支撑。而传统市场调查有着深厚的社会学基础,已形成了较为完整的方法论,并结合了包括相关分析在内的定性、定量研究方法。市场调查的最终目的是要“识别和确定营销机会和问题,改进人们对营销过程的理解”,传统的市场调查智慧与大数据的巨大威力相结合,可能会在定性分析和定量分析方面产生巨大的优势。
艾尔巴比在《社会研究方法》中写道:“社会研究中定性与定量资料的实质性区别就在于数据化或非数据化。表面上,每一项观察都是定性的,无论是某人的美丽,还是受试者在量表中所得的分数,或是他在问卷中所勾画的记号。这些东西都不是天生数据化的或定量的,但有时候,将其转化成数字形式比较有用。定量化常常使我们的观察更加明确,也比较容易将资料集合、对比或得出结论,而且为统计分析从简单的平均到复杂的共识以及数学模型提供了可能性。”对于了解市场这个目的而言,大数据也是把现象转换为更易认知形式的一个可能性。
随着技术和理论的推进,相信大数据领域还会有更多的发展,系统化的研究逻辑、基本预设等一系列方法论成熟的时候,或许会给市场调查乃至社会科学带来更瞩目的启发和改变。
参考文献:
[1](美)艾尔·巴比著.社会研究方法.北京市:华夏出版社,2009.02.
[2](英)安东尼·吉登斯(Anthony Giddens)著;田佑中,刘江涛译. 社会学方法的新规则 一种对解释社会学的建设性批判.北京市:社会科学文献出版社, 2003.
[3](法)奥古斯特·孔德(Auguste Comte)著;黄建华译.论实证精神. 北京市:商务印书馆,2001.08.
[4]程士安.广告调查与效果评估 第2版.上海市:复旦大学出版社, 2011.01.
[5]维克托·迈尔-舍恩伯格,肯尼思·库克耶著;盛杨燕,周涛译.大数据时代 生活、工作与思维的大变革.杭州市:浙江人民出版社, 2013.01.
[6](法)迪尔凯姆著;胡伟译.社会学方法的规则.北京市:华夏出版社, 1999.01.
[7](德)马克思·韦伯著杨富斌译;责任编辑;褚朔维.社会科学方法论. 北京市:华夏出版社, 1999.01.
[8]张灿鹏,郭砚常编著.市场调查与分析预测.北京市:清华大学出版社,2008.
论文:
[1]胡络绎.大数据,让营销更精确[J].软件工程师,2013,Z1:95-98.
[2]黄升民,刘珊.“大数据”背景下营销体系的解构与重构[J].现代传播(中国传媒大学学报),2012,11:13-20.
[3]李国杰,程学旗.大数据研究:未来科技及经济社会发展的重大战略领域——大数据的研究现状与科学思考[J].中国科学院院刊,2012,06:647-657.
[4]李峰.迪尔凯姆与韦伯的社会学方法论之比较[J].理论与改革,2005,(第3期).
[5]孟小峰,慈祥.大数据管理:概念、技术与挑战[J].计算机研究与发展,2013,01:146-169.
[6]数托邦:《小时代》是属于谁的小时代?,http://www.huxiu.com/article/18172/1.html,2013年。
[7]徐偲骕.传播研究与学术公共性:“大数据”热潮的冷思考[J].东南传播,2013,03:20-22.
[8]张文.沃尔玛:“吃螃蟹者”亦喜亦忧[J].新商务周刊,2013,23:30-32.
[9]张一力.网络市场调查与传统市场调查[J].嘉兴学院学报,2001,02:32-35.
注释:
[1]韦薇,普莱克斯(中国)投资有限公司;王迪,博士,复旦大学新闻学院讲师。
[2]张灿鹏,郭砚常:《市场调查与分析预测》,清华大学出版社,2008.3。
[3]维克托·迈尔-舍恩伯格:《大数据时代》,浙江人民出版社,2012年12月。
[4]李国杰:《大数据研究:未来科技及经济社会发展的重大战略领域》,《中国科学院院刊》,2012年 第27卷 第6期。
[5]李国杰:《大数据研究:未来科技及经济社会发展的重大战略领域》,《中国科学院院刊》,2012年 第27卷 第6期。
[6]李国杰:《大数据研究:未来科技及经济社会发展的重大战略领域》,《中国科学院院刊》,2012年 第27卷 第6期。endprint