大数据面临的挑战复杂艰巨

文/中国工程院院士 陈 鲸

大数据面临的挑战复杂艰巨

文/中国工程院院士 陈 鲸

未来的信息世界是“三分技术，七分数据”，得数据者得天下。继实验科学、理论科学、计算机科学之后，以大数据为代表的数据密集型科学将成为人类科学研究的第四大范式。

大数据中蕴藏着关乎社会动向、市场变化、科技发展、国家安全的重要战略资源。大数据会为国内处理器芯片自主研发行业提供重大机遇，也会有更多应用数据技术的新兴公司和经营模式出现。

不过，虽然大数据的前景灿烂，但其面临的挑战也非常复杂和艰巨。

首先便是数据的异构性和不完备性。大数据来源多样，且越来越多地分散在不同的管理系统中。据不完全统计，目前采集的数据85%以上是非结构化和半结构化数据，因此不能用已有的简单数据结构来描述。而传统关系数据库又无法高效处理这些复杂数据结构表示的数据。数据的不完备性主要是指所获取的大数据常常包含一些不完整信息和错误数据。因此，在进行大数据分析处理之前，必须对这种数据的不完备性进行有效处理。

另一个严峻挑战便是大数据处理的时效性。随着时间的流逝，大数据中所蕴涵的知识价值也随之衰减，其价值与时效性密切相关。一般数据样本量越大，分析处理时间会越长，但在许多情况下，大数据用户要求立即获得数据分析结果。这就要求为复杂结构的数据建立合适的索引结构，并要求索引结构的设计简单、高效，且在数据模式发生变化时能很快进行适应性调整。

据当前所掌握的资料分析：人们在互联网上的一言一行，基本上都掌握在互联网商家手中。例如，淘宝知道用户的购物偏好，腾讯知道用户的好友联络情况，百度知道用户的检索习惯等。而目前，中国还没有专门的法律法规来界定用户隐私。另外，如何在大数据环境下确保信息共享的安全性？如何为用户提供更为精细的数据共享安全控制策略？这些问题都值得深入研究。

据2012年的资料显示：谷歌数据中心的年电功率约为3亿瓦，Facebook为6000万瓦左右。最令人惊讶的是，在这些巨大能耗中，实际只有6%～12%的能量是真正用于响应用户查询请求的，绝大部分电能则是被用来确保系统服务器处于正常待机状态，以应对突如其来的用户查询网络流量高峰。

对此，可以考虑采用新型低功耗硬件以及建立计算核心与二级缓存的直通通道，从应用、编译器、体系结构等多方面协同优化，另外就是引入可再生新能源。

复杂的分析过程和难以理解的分析结果会制约各行各业从大数据中获取知识的能力。大数据分析结果的可视化呈现，将是大数据管理易用性方面要解决的重要问题。

我国亟待提出适合国情的大数据发展战略和技术路线。大数据研发计划是抢占信息技术发展制高点的重大举措，将解决数据爆炸性增长带来的管控和利用难题，同时改进对大数据的获取、管理、挖掘和利用能力，实现数据到知识、知识到决策、决策到行动的快速转化，推动人类社会进一步向智能化迈进。

（本文摘自陈鲸在“大数据与数据科学进展主题论坛”上的发言）