数字经济时代的可视化和可视分析技术：“看见”大数据

■文/匡 蓓 彭 蕾 陈思明

数据可视化是以图表可视化形式来呈现数据，加强用户对数据信息的理解，而数据可视分析可以让用户从数据中获取见解并从数据分析中获得最大收益。

数据是21 世纪的新资源、经济发展与城市发展的新动能，而数据的利用和挖掘是一个漫长的技术发展过程，尤其是如何让传统行业、城市的各个方面受益于数字经济，这是一个极具挑战性的任务。大数据技术作为集合计算机、数学、统计、经济与各行各业相关的一类技术统称，目标就是挖掘行业背后数据的特征，提供咨询与决策能力，以服务好城市的经济与行业发展。

数据可视化与可视分析

数据可视化是一种思想，从结绳记事和象形文字开始，可视化这一思想就贯穿于人类的历史中，从古代的地图、行军图，到科学家用图形记录太阳黑子活动、洋流活动和经济行为，都是数据可视化的具体体现。随着计算机技术的发展和大数据时代的到来，大数据可视化与可视分析技术应运而生。

可视化是将数据转化为图形并支持数据理解与感知的学科，可视分析是融合可视化、人机交互与数据挖掘的分析方法，是大数据分析的一种重要手段。近年来，美国商务部工业和安全局发布了一项针对“新兴”和“关键”高技术领域的出口管控草案，其中涉及的数据分析技术包括数据可视化、自动分析算法、环境感知计算。由此可见，数据可视化与可视分析是一门事关国家安全、经济发展等方面的重要学科。2021 年3 月，我国“十四五”规划明确强调了“推动大数据采集、清洗、存储、挖掘、分析、可视化算法等技术创新，培育数据采集、标注、存储、传输、管理、应用等全生命周期产业体系，完善大数据标准体系”等内容。

数据可视化与可视分析技术将人的分析与决策放在重要的位置，在机器无法完全取代人的情况下，我们需要寻求人与机器和谐共存，共同决策，让人做自己擅长的那一部分（如感知、综合大局、统筹决策等），让机器做自己擅长的那一部分（如计算、并行处理、大容量存储等）。

数据可视化技术走进数字经济时代

新时代最大的特点即大量不同行业、不同领域的数据呈现井喷式增长，但如何深入利用这些数据，让它真正为社会经济产业服务，是当前亟待解决的问题，也是上海提出“城市数字化转型”的现实背景。基于此，数据可视化与可视分析技术能够在数字经济时代起到3 个关键作用，即态势感知、预判决策、提供洞见。

通常，我们将数据分为高维数据、时序数据、时空数据、网络与层次结构数据、文本数据、多媒体数据等。高维数据是指数据维度较多，常见的二维、三维的可视化方法无法直接展示的数据。时序数据是指包含时间特性、时间段或者时间点，以及周期属性特性的数据，如记录了不同朝代变化的数据、记录各国的贸易经济指标随着时间变化的数据。时空数据是指包含地理空间信息与时间信息的数据，如城市车辆移动行为数据、人群迁徙等。网络与层次结构数据是指包含节点和边的数据类型，也包括社会网络、航班网络、互联网等。其中，层次结构则是特殊的网络数据，表示层级关系，如组织结构、磁盘存储等。文本数据和多媒体数据则比较直观，包含文本、图像、音频、视频等。

● 态势感知的能力

态势感知是在安全行业里常用的词语，代表对周围的安全环境能够获得实时的感知，对威胁也有预警。我们在更大的数字经济主战场中，各行各业都需要态势感知的能力。可视化技术的关键在于“视”这个字，它将复杂无序的大数据转化为人们可以认知、理解的“视觉特征”。可视化技术不仅仅是简单的直方图、饼图、散点图，还是根据数据的特征设计和使用合适的可视化形式，让用户能够从复杂的数据中看到数据的特征和趋势，并对数据进行态势感知。可视化技术能够融合时空、高维、文本、网络、图像多媒体等不同方面的数据，让决策者“眼观六路、耳听八方”，对场景的态势获得实际的感知。

● 预判决策的能力

可视分析通过数据提供了一双“看数据”的眼睛，不仅对历史数据和现在发生的数据提供直观的展示，通常也会结合人工智能的预测算法对未来的数据进行预测，以辅助决策。与传统的机器学习不同的是，可视分析考虑人与机器智能共同决策，机器算法通过数据的历史特征进行建模与预测，并根据重要程度和置信程度推荐给决策者，让决策者对未来进行研判。

● 提供洞见的能力

洞见在可视化技术中有两层意思：一是“见所未见”；二是“洞见深远”。“见所未见”是可视化能够提供的核心竞争力，数据背后蕴含着规律和价值。在很多情况下，简单的呈现方式只能把我们所知道的再重复一遍，但基于数据特性设计的可视化，如针对时序数据的周期性，设计的环状可视化方法能够提供普通可视化无法看到的周期特征，平行坐标可视化技术将高维数据展现在二维平面中，也可以让用户看到更多的信息。“洞见深远”是可视化可以提供已有数据的深入探索和理解，一般包括3 个方面。第一，结合模型的计算，可视化可以将模型计算的结果提供给决策者，让他们看到不仅有表面的数据，还有经过挖掘探索的数据。第二，对数据的不同层面进行可视化，能让决策者从不同角度观察数据。第三，用户通过交互探索，可以对感兴趣的数据进行深挖与探究。

可视化与可视分析技术渗透不同行业领域

可视化与可视分析技术应用于数字经济时代的各行各业，在社会经济发展的多个领域都有涉足，主要体现在以下几个方面。

“ 新时代最大的特点即大量不同行业、不同领域的数据呈现井喷式增长，但如何深入利用这些数据，让它真正为社会经济产业服务，是当今亟待解决的问题，也是上海提出“城市数字化转型”的现实背景。 ”

● 经济与金融可视化

经济与金融涉及方方面面，包括股票、基金、经济指标、市场交易、风险和公司管理等。数据可视化与可视分析技术可以从复杂的经济与金融数据中获得洞见。例如，股票或者基金类别中长期股票或者基金价格的时间序列数据是经济与金融可视化研究中的热点，股票或者基金数量从几只到数千只不等，研究方向包括股票或者基金价格变化趋势、不同变化模式以及未来预测等。此类数据常常与新闻媒体数据相结合，为投资者提供更加全面的投资市场信息。经济指标类数据是指影响金融市场的相关变量数据（如消费者价格指数、通货膨胀率等）。公司信息类别数据包含与公司业务相关的所有信息(如利润、财务报表、销售、营销数据等)，而市场交易类别数据则考虑不同主体(如银行客户、公司和国家)之间的交易生成的所有数据。这些数据源的可视化通常涵盖财务风险管理、经济分析、资本市场管理、投资组合管理和市场分析等领域知识。风险类数据分析是商业与投资中的重要组成部分，其可视化从金融市场风险、金融产品风险、金融机构风险等不同角度，帮助投资者或者从业者能够更加快速识别事件发展过程中的风险，并根据风险改变投资策略。

交互式投资组合分析是新兴的研究方向，它对量化投资中的因子模型信息进行了深入探究，可以在3 个不同的层次进行分析：风险因素层次，用于总体市场情况分析；多重投资组合层次，用于理解投资组合策略；单一投资组合层次，用于研究单个投资组合的详细配置信息。例如，研究者可以对股票投资组合数据进行分层并有效地对分层进行可视化,从而提高从业人员的分析效率。交互式可视化投资组合可以帮助用户在不同参数设置下全面探索交易算法的性能，可以选择最佳的交易算法实例来进行实际的交易部署，避免了由于缺乏有效的工具交易者导致依靠自己的内存来手动比较某一交易算法的一类问题。

● 社交媒体可视化

数字经济转型中移动端应用有了极大增加，互联网上的社交媒体方兴未艾，如新浪微博、微信、抖音等。越来越多的人开始使用社交媒体发布微博等多媒体信息。社交媒体的日常使用产生了大量公开的社交媒体数据，这些数据反映了人们的社会行为。数据可视化和可视分析技术能够从这些海量数据中总结出有效信息，从而支持人们在对社交媒体的复杂数据探索时进行高效的分析和智能化决策。

社交媒体数据可以分为3 类，包括时空信息、网络和文本数据。其中，社交网络一般包括用户社交网络（人与人之间的关注行为）和信息扩散网络（信息与信息的转发行为）。以社交媒体事件可视分析系统E-Map 为例，它将提取的关键词、信息、转发行为转化为人们熟悉的城市、城镇、河流等可视化地图特征，构建结构化的语义网络供用户探索。它还将复杂的高维网络可视化为简单的轨迹和连接，让决策者更好地理解舆情随时间的演变。该可视分析系统构建了语义地图，能够支持多层次的时空探索，有助于揭示事件发展的模式和事件中的关键参与者以及他们是如何影响事件发展的。

用户分析社交媒体的文本数据可以获得很多深刻的洞见。例如，我们提出的可视分析系统Co-Bridges 使用了“河流”和“桥梁”的可视化隐喻，可以揭示2 个社交媒体数据流在关键词语义和时间演变方面的异同等。又如，在2016 年希拉里·克林顿（Hillary Clinton）和唐纳德·特朗普（Donald Trump）总统竞选期间的推文中，Co-Bridges 比较两位候选人关于多个讨论的问题和不同级别时间颗粒度的文本流，从而发现了他们之间许多有趣的言论模式，如互相攻击或自我辩护等。

● 城市时空可视化

城市作为一个错综复杂的系统，不断地生成种类繁多而又庞大的数据。人流、交通、能耗、污染等都是城市生活的分析者关注的对象。城市既是地理空间上的概念，又因人类活动而在时间上得到延伸。城市数据往往同时具有时空和其他多个维度的复杂数据类型。面对庞杂的城市数据，数据可视分析技术是帮助人们挖掘信息、获得洞见的得力工具。已有研究人员针对车辆拥堵、人群移动与自动驾驶等3个方面做了城市数据可视分析工作。例如，研究人员提出了一个用于探索交通流量数据的可视分析系统，该系统基于城市中的交通监测点记录的车流数据，支持宏观交通分析。由于交通监测点在城市交通网中呈点状分布，得到的车流数据其实是稀疏的轨迹数据。通过忽略具体车辆的微观行为并应用轨迹聚合技术，该系统使分析者能够分析各监测点的状态和监测点间的车流。

我们在研究中发现，可视分析系统支持对带有地理标签的社交媒体数据的分析。这类数据既包含文本，又具有时空信息的稀疏轨迹数据。与传统运动轨迹数据相比，社交媒体数据的稀疏性和不确定性等问题带来了额外的分析难度。在该系统中，用户通过与可视化界面的交互来完成分析。为支持对大量人群移动模式的分析，用户可以通过位置、周期性和属性等对移动轨迹进行聚合分类并获得视觉反馈。随后，用户可以在不确定性模型和交互式选择工具的指导下，从每个得到的移动轨迹类别中过滤和选择可靠的数据。通过迭代式探索过滤后的数据，用户能够探索蕴含其中的语义信息，包括人们使用的交通方式、频繁出现的目的地序列和关键字描述等。

自动驾驶技术的复杂性使得评估和改进自动驾驶模型极具挑战。为了解决这个问题，我们提出了一种自动驾驶的可视化评估方法，考虑了在自动驾驶过程中所有组件生成的数据，包括感知结果、规划路线、障碍预测、各种控制参数和舒适性评估。在可视化界面上，随着自动驾驶汽车的实时模拟画面，各个图表将动态地显示对当前驾驶状况的评估结果。分析者还可以在特定时间段内以交互的方式探索特定的组件，并确定相关影响因素。通过该系统，分析者不仅可以了解特定自动驾驶系统的性能，还可以识别和访问每个存在问题的组件。这展现了可视化能够提供态势感知与洞见的特性。

● 安全可视分析

城市经济的发展必须在安全防护下运行。安全问题一直都是重中之重。安全可视分析结合异常检测与交互探索，支持对网络态势的感知。数据可视化技术可以根据网络数据（如互联网协议地址、域名、备案信息、网络流数据）生成流图、连接图等视图，描述连接行为以及动态主机状态。虽然计算机能很好地完成数据处理的工作，但安全问题是一个针对极大不确定性的工作，我们无法预料对手会以何种方式进行攻击，这也是安全分析师在这个过程中不可或缺的原因。随着技术手段不断更迭，网络安全又在传统问题上增加了新的挑战。例如，云技术的发展提出网络入侵检测、集群网络实时检测的要求，因此，网络物理系统需要新的部署设计将安全专业人员与系统设计师结合起来。又如，OCEANS 可视分析系统提供了一套从整体到局部的可视分析探索思路与框架，将互联网协议地址连接聚合，通过弦图进行可视化，将具体某个时间段的连接细节信息利用类似平行坐标图的方式进行可视化。

数字经济的大幕刚刚拉开，大数据技术是这个时代的弄潮儿。数据可视化是大数据技术重要的一环。可视化与可视分析技术利用大数据与人工智能，让决策者“看见”数据，这样“看见”的能力，如中国先贤之教诲“眼观六路、耳听八方”，运用好可视化与可视分析技术，就能够为城市数字化转型进一步添砖加瓦。