大数据时代信息获取技术研究

丁铄彭

摘要：自人类经过两次工业革命的洗礼以后，解放和提高生产力已经成为科技不断进步追求的重要目标。二十一世纪以来信息技术的不断升级，计算量和计算能力的不断扩增和提高，催生和带动了信息时代的来临，以“云计算”为代表的“大数据”时代开启的现代科技进步的新篇章。该文阐述了“大数据”背景下对原始数据的获取的技术研究，主要通过以阿里巴巴为例来阐述这一问题。

关键词：大数据时代；信息获取；技术；研究

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2018）03-0003-02

1 概述

1.1 信息获取技术

“云计算”的强大之处在于当信息量处于以兆亿为基础时，通过高等算法将信息批量化处理分级，统计计算其宏观规律，获得小信息量下很难得到的规律和前瞻性判断，从而得到对事情的提前预知和预测。但是“云計算”这个超级大脑需要足够的信息量作为其判断的准则和事件分析的基础。就好像古代战争中的“军师”需要大量的信息才能对战争进行准确的判断和分析，并对战局进行准确的调整，从而获得战争的胜利。

所以“大数据时代”信息的获取显得尤为关键。计算机并不能像我们的大脑一样处理丰富来源的信息，需要人为地将各种各样的信息转化成数字信息来完成原始信息的积累。现代的信息获取技术主要呈现为以下三种类型：

1） 传感技术

通俗地讲，传感技术就是传感器的技术，就像人类的我们的感受神经元一样，传感器是指可以感知周围环境或者特殊物质，比如气体信息感知、光线信息感知、温湿度信息感知、人体生理信息感知等等，把模拟信号转化成数字信号，给中央处理器处理也就是中枢神经。最终结果形成气体浓度参数、光线强度参数、范围内是否有人探测、温度湿度数据等等，显示出来，最终储存至储存单元。

2） 遥测技术

遥测是主要利用传感技术、通信技术和数据处理技术的一门综合性技术。遥测主要用于我们常说的“触不可及”的地方，也就是集中检测分散的或难以接近的被测对象。例如被测对象的地理距离遥远，所处环境恶劣，或处于高速运动的状态。当前的还处于发展状态，随着人类活动空间的增长，遥测技术也在日新月异是信息获取能力进步的重要信息源。

3） 遥感技术

运用现代化的运载工具和传感器，通过该信息的传输、贮存、卫星、修正、识别目标物体，从远距离获取目标物体的电磁波特性，最终实现其功能（定时、定位、定性、定量）。根据洛伦兹的电磁波的理论，应用不同的传感仪器对具有一定空间限制的远距离目标所辐射和反射的电磁波信息，进行收集、处理，并最后在终端成像，通过遥感技术，我们可以探究“天外天，山外山”，收集人类生理水平达不到的信息。

1.2 阿里巴巴信息获取技术现状

自2008年初，马云率领的阿里集团通过对用户行为数据的挖掘和分析，发现整体买家询盘数急速下滑，与此同时，欧美对中国采购也与日俱减。阿里集团在提前半年的时间里，准确预测出世界外贸经济的走势，从而躲避了金融危机，可以说阿里巴巴不管是对原始信息的获取还是对数据的“云计算”都走在和行业的前端，以下是笔者对阿里巴巴的信息获取技术现状进行的简要分析。

1） 业务分类

阿里巴巴目前已经形成了一个以支付手段为核心的连接点，围绕着电子商务核心业务及支撑电子商务体系的金融业务，以及配套的本地生活服务、健康医疗等，这一商业生态圈的核心旨在共享数据及流量，以营销服务及云服务为基础，而有效数据的整合抓手就是支付宝。

主要业务包括：淘宝网、天猫、聚划算、一淘、阿里音乐集团、支付宝、阿里巴巴国际交易市场、全球速卖通、1688、阿里云计算。

2） 信息获取途径

第一、利用间接信息处理。通过在渠道上上购买某搜索公司的原始信息进行数据化分析。但是当购买数量较大时，即便这可能不是实时更新的资料，也会存在一定的互联网用户的数据资料。搜索引擎公司通过利用广告联盟的平台，在其间接公布的用户搜索的画像数据直接利用，从而完成信息的原始积累。

第二、合理利用各端口用户的Cookie数据。当我们作为用户在使用手机或电脑浏览淘宝的同时，会自动生成Cookie文件，并发送给远端的服务器。计算机会在在用户的端口中暂时存放的资料（一般是以.txt格式存放的文本文件）。

第三、利用APP软件的用户信息。阿里巴巴旗下有众多的APP应用软件，涉猎各个领域。日前，APP所带来的用户数据是获取目标用户移动端数据的有效手段之一。在APP中预埋SDK插件，用户所使用的APP内容就能够及时将数据信息汇总至指定服务器。

第四、直接和拥有稳定数据源的企业进行长期合作。阿里巴巴的自身价值链相对健全，数据变现的通道比较完备，不会轻易输出与第三方合作的数据（获取除外）。但是作为商业团体，阿里巴巴的商业生态有一套完整的获取信息的链条。

1.3 信息获取技术应用存在的问题

第一是数据访问数量带来的成本问题：数据访问数量通常涵盖实时地与各种数据库的管理系统进行安全访问的数据，其中包括结构化数据和非结构化数据。就数据访问而言，随着实施大数据项目的每日剧增，项目实施前进行优化存储策略是十分重要的。我们可以通过评估当前的数据存储技术并对数据存储能力进行改进和加强，最大限度地利用现有的存储投资。当前情况为每两年的数据量会增长一倍以上，可见数量之巨大，因此数据管理成本是一个需要着重考虑的问题。

第二是数据可用性比例：大数据的信息涵盖了基于云或者传统机制的数据存储、归档、备份、灾难恢复等，这些都是左右信息可用比例的重要因素。

第三是数据分析能力的不足：目前数据分析能力涵盖了通过智能计算、事件关联分析、IT装置以及模式识别、实时及预测分析等分析技术进行数据分析。但要进一步完善自身以及在更广泛的范围内寻求大数据的价值还有很多要提高的地方。

第四信息管道的欠缺：以传统方式对企业的数据进行思考，从原始数据中产出的高价值回报，能够使企业获得暂时的竞争优势、财务回报。但是只有通过对数据的完整生命周期进行策略性思考，并详细地部署计划信息利用的每一层面，企业必定会从大数据中获得巨大收益。

2 大数据时代背景下信息获取技术应用现存问题的产生机理

2.1 大数据发展资金支持较为薄弱

资金不足是企业发展大数据信息获取技术应用的首要限制原因。因为并不是所有企业都像目前国内几大互联网巨头一样拥有充足的资金作为后盾。这就是为什么大数据系统拥有多样化功能和作用，发展依旧缓慢的重要原因，因为需要支出高昂的成本来建立信息获取技术和手段。信息获取技术越完备、越先进，所需要的资金量就越大。

2.2 管理体系不够完善

对于一个企业而言，推动大数据信息获取技术应用的重要前提是对于管理者的选择。然而，从现实情况看，企业的管理者往往缺乏对发展建设大数据信息获取技术的积极性。一方面管理者缺乏卓越的能力和远见没有明确的规划战略；另一方面则是受原本的限制条件有着直接的关系。因为就企业而言，优先选择的方向绝大多数倾向于尽快地增加收入、发展壮大，而大数据的作用尽管明显，但其时效性相对不高，尤其是在信息采集技术的发展阶段回报更是微乎其微。在此情况下，企业普遍被迫放缓建设大数据的速度，更多地将有限的资金投入到有直接效益产出的领域。

2.3 信息化基础较差

建设与使用大数据信息获取技术，是一项技术含量较高的工作。我国目前技术储备仍然以生产技术为主，大数据信息获取技术等诸如此类的非生产性技术储备不多见。技术基础薄弱不仅会增加企业建设大数据的难度，也增加了成本，终于对大数据信息获取技术的发展产生了严重的阻滞影响。

2.4 技术比较落后

目前而言大数据信息获取技术还处在相对比较“传统”的手段，对新材料新技术的综合能力不强，技术相对保守落后，民用端技术发展的续航能力也相对较差。大数据的信息获取技术的革新将会成为大数据发展领域中的重要限制。

3 大数据时代背景下信息获取技术应用现存问题的解决对策

3.1 加大资金的投入

对于国企和国内领头企业以及一些专业对口型企业来说，国家应该出台相应的政策来刺激这些企业对发展大数据时代下信息获取技术应用的支持和鼓励，作为大数据技术发展的先驱，带动大数据技术发展的有效手段则是大数据信息获取技术合理的、有效的发展。

3.2 完善相应的管理体系

发展资金不足的企业应该采取多级推进的办法，建设大数据信息获取技术应用的系统。必须制定完整可行的计划，并多时间点分阶段逐步推进，通过多阶段建设大数据，进而平摊建设成本、减轻企业的发展负担。

3.3 加强技术的创新

大数据信息获取技术应用的办法并不能局限在现有的技术中，更多应该在应用中寻找创新，通过技术的不断革新来推进创新型技术的诞生，从而完成大数据信息获取技术阶梯式地发展，为人类不断打开获取信息的源泉。

3.4 制定合理的市场策略

企业管理高层首先应该加强在大数据时代的背景下，自身对于企业发展与市场竞争的学习，并应客观从长远的角度审度大数据对于企业发展的重要影响，更要清晰地认识大数据时代背景下信息获取技术的应用功能。眼光应放得更加长远，而非盯在眼前收入上。

4 结论

4.1 大数据时代背景下发展信息获取技术时应预防的问题

第一要合理布局，充分利用发展资源，合理分配发展步调；第二提高管理者对信息获取的认识，尤其是在大数据时代的背景下，不可忽略其重要性；第三不能脱离市场低头发展，大数据时代下信息获取技术发展离不开市场的调节与调控，遵循市场未来发展的规律才是唯一的出路。

4.2 大数据时代背景下信息获取技术的发展远景

企业发展大数据信息获取技术时会受制于企业自身的条件，依然存有相当程度的困难与不足，但随着建设成本加大投入、阶段性完成建设、完善计划，企业可以逐步推进大数据和大数据信息基础的建设，为其长远发展创造有利途径。

大数据时代下信息获取技术的发展必将成为大数据时代乃至信息时代的重要排头兵，是信息时代不可或缺的技术。

参考文献：

[1] 编辑部. 如何获取大数据[J]. 檢察风云， 2013（15）.

[2] 卢佳， 高福安. 利用信息技术获取竞争优势[J]. 中国传媒大学学报：自然科学版， 2003（4）.

[3] 卢佳， 高福安. 利用信息技术获取竞争优势[J]. 北京广播学院学报：自然科学版， 2003（4）.

[4] 周涛. 网络大数据——复杂网络的新挑战： 如何从海量数据获取信息[J]. 电子科技大学学报， 2013（1）.

[5] 朱明月. 大数据时代电力信息技术思考与探索[J]. 信息与电脑：理论版， 2015（5）.

[6] 张占波. 浅谈大数据时代信息技术的机遇与挑战[J]. 电子世界， 2014（18）.

[7] 陈红姣. 大数据时代[J]. 赤子（上中旬）， 2015（16）.

[8] 张启浩. 从信息技术发展和应用看大数据时代挑战[J]. 智能建筑， 2014（10）.

[9] 李瑞江. 大数据时代对信息技术的影响分析[J]. 网络安全技术与应用， 2014（4）.