大数据发展现状及面临的挑战

2018-12-21李娆索琰琰黄建昌通讯作者河北农业大学理工学院

数码世界 2018年2期

关键词：信息

李娆索琰琰黄建昌（通讯作者）河北农业大学理工学院

大数据(big data)，简单说就是一个巨量的无法用传统数据库工具对其进行捕捉和处理的数据集合。IBM将大数据的特征总结为4v:大量性(Volume)、多样性(Variety)、高速性(Velocity)、真实性(Veracity)。随着计算机网络时代的到来，截止到2016年，全世界已拥有189亿个网络连接，这使得全球数据呈爆发性增长。巨大的数据中必定潜藏着有意义的信息，如何应用现有技术对这些海量数据进行选择、分析和处理，获取到有价值的信息，并在实际应用中合理利用这些价值，既是大数据现在应该处理的问题，也是在未来进一步发展中所面临的挑战。

1 大数据的发展背景

互联网将各个大小不一的计算机网络相互连接，通过多种通信模式获取各类用户的数据。1980年，托夫勒在其所著的《第三次浪潮》中第一次提到“大数据”一词。2001年道格.尼指出了数据增长三个方向的挑战和机遇:量(Volume)、速(Velocity)与多变(Variety)。2011年麦肯锡的报告《大数据:创新、竞争和生产力的下一个新领域》首次对大数据进行了全方面的介绍，大数据开始受到广泛关注。2012年，维克托.迈尔.舍恩伯《大数据时代》的发布加速了大数据在国内的兴起，各行业围绕大数据开展了相关的技术应用与创新。科技革命带动着信息的高速流通，生活节奏也因便利的推进更快，个体间的交流和信息交换频率越来越高，大数据在这个高速的时代背景下应运而生。

2 大数据建设研究的意义

数据让人对复杂的事情有清楚的了解，是事物本质和规律的源头。我们研究和发展大数据的意义其一，大数据具有的预测性可以提前展示未来要出现的数据或趋势。例如，天猫基于大数据分析得出彩色隐形眼镜前景可观这一市场潮流，并于2017年9月举办了相关的交流艺术展，做到了最先把握商机。通过对大数据进行分析，旅游网站可以做到精准营销，交通部门可以通过流量数据分析预判到交通拥挤或事故并及时对其进行处置服务，大数据也可以进行疾病诊断，为病人推荐治疗方案。其次，大数据能够促进中国城镇化发展，使语音识别、机器翻译这些技术领域在大数据时代取得新的进展，推动产业形势转变和中国经济转型，并且提升各个行业乃至整个中国在国际环境下的竞争优势。

3 大数据的应用

近些年，大数据受到各个行业的广泛关注，使得大数据渗透到更广阔的领域，无论在政府和医疗方面，还是在商业交通领域，大数据都有着中流砥柱的效果。

3.1 医疗方面

大数据可以应用于医学界的早期诊治，并发挥其特殊作用，通过分析医学数据可以发现疾病的规律并由此制定科学高效的治疗方法，从而确定正确的医疗方向和策略，提高病人的生存期。例如，谷歌曾利用大数据成功预测出了流感的爆发。我们可以利用大数据监测癌症等疾病，防患于未然，使治疗更加及时。大数据在探索疾病的机理上起着至关重要的辅助作用，通过分析医疗大数据信息，加强各种医学科之间的融合，提高药物作用于靶细胞的效率，扩大免疫治疗的研究广度和研究效率，找出各种病之间潜在的联系，将疾病的治疗方法融会贯通。

3.2 政府方面

通过对大数据的应用，政府可以创建政务数据共享及数据服务平台，实现各个部门之间的数据共享，政府部门的信息共享是智慧城市建设最基本的条件。政府可以通过公开和共享政务数据资源，进行有效的社会治理，从而更好的服务社会。政府可通过大数据在政法、财税等部门的应用，推动大数据服务民生。例如，通过数据共享平台，徐州市教育局对相关教育数据进行挖掘和分析，成功改善了教育教学的方式。此外，政府应激发民众创新意识，推动大数据产业的创新发展。

3.3 商业方面

大数据改变了传统商业智能在数据分析方面的局限性，这表明企业通过对结构化和非结构化的数据分析能够获得更加全面和准确的商机。阿里巴巴旗下的淘宝基于大数据进行实时的数据分析，高效地整合数据，理解客户需求，给客户推送相关产品，准确把握市场的动向和机遇。大数据在企业经济价值的策定中占据着关键的位置，大数据使得企业可以同时依靠企业内外部的业务数据，使得企业对数据的把握更加准确和及时。此外，大数据的合理应用不仅能使企业的交易成本大大降低，还可以帮助企业分析市场需求，提升企业的创新力，降低企业经营的风险。

3.4 交通方面

交通大数据是构建智能交通的基础，大数据在交通事故预防、资源分配上都体现了它的价值。例如，通过对海量交通数据的统计分析，利用移动地图导航，为用户实时提供路况及最佳行驶路线，解决道路拥挤的现状；通过大数据分析事故高发地段，并对其加强监管，采取相应措施减少事故的发生。虽然大数据在交通领域应用广泛，但其面临的:如何收集管理不同环境下的交通数据，如何保障数据的准确性，如何筛选有效的交通数据等问题，仍需要政府交通部门和相关大数据工作者的不懈努力。

4 大数据面临的挑战

大数据被称为未来的石油，只有紧跟大数据发展潮流，不断更新技术能力，才不会被时代淘汰。大数据虽奥秘无穷，但是其中也存在着各种待解决的问题。

4.1 数据安全

数据丢失在国内乃至国际上时有发生，例如2013年美国雅虎公司被黑客盗取了近十亿的用户数据；2015年京东大量用户隐私信息泄露；还有2017年九月发生的瑞典海量公民数据信息泄漏事件等。这些教训都说明了保障信息数据安全，加强数据安全建设，提升数据安全等级，制定相关法律法规的重要性。由于数据分析不是单一的，在进行数据分析时必然要集成分析各类典型数据，这种数据的交融访问，使得大数据产生了一些新的安全方面的问题。

4.2 数据存储

许多数据的数据保存时间长达几年或十几年。例如，为了保障患者的生命安全，医疗信息通常会永久保留，而财务信息通常只保存3-25年。多种数据的存在构成了历史记录，因此一些大数据存储的使用者希望数据可以长时间甚至永久保存，由于基于时间段进行的数据分析耗费资源较多，要想对数据进行长期保存，还要满足数据实时更新的特性，这要求相关企业对存储数据的硬件、软件和存储设备进行相应的改进。

4.3 人才缺口

大数据有多种价值表现形式，例如物价指数、幸福指数、全社会固定资产增长率等统计指标，通讯信息及个人财产信息等，然而要了解这些数据背后所反映的各种现象和机理及其所蕴含的信息还需要我们对其进行进一步的分析和探究。这就需要使用者具备一定的数据挖掘和探索能力。有关报道显示，我国目前相当缺少具有大数据分析处理及相关技术开发能力的人才，并且缺乏对新兴技术和创新型人才的引进和培养，“技术+管理”人才稀缺，无法满足大数据的发展需要。