公共信息精准发布平台关键技术研究

种艳伟，高跃明

(1. 北京邮电大学 网络与交换技术国家重点实验室，北京 100876；2. 上海欣方智能系统有限公司北京分公司，北京 100085)

公共信息精准发布平台关键技术研究

种艳伟1，高跃明2

(1. 北京邮电大学 网络与交换技术国家重点实验室，北京 100876；2. 上海欣方智能系统有限公司北京分公司，北京 100085)

通过深入分析公共信息发布的现状和问题，提出了基于大数据技术的公共信息精准发布，并着重分析了其关键技术。解决了公共服务大数据的采集、存储和跨域分析与综合应用等问题，有效促进政府公共大数据的开放共享以及精准治理水平的提升。

精准发布；大数据技术；存储；云服务平台

本文著录格式：种艳伟，高跃明. 公共信息精准发布平台关键技术研究[J]. 软件，2016，37（11）：101-104

0 引言

目前，政府面向社会公共的信息发布形式多样，主要以门户、电视、广播等方式对全网用户进行发送。这种粗放型的信息发布策略是面向全网用户进行发布的，它的特点是信息发布的及时性、有效性以及面向用户的精确度无法保证，比如暴雨、台风等异常天气情况下，需要及时有效进行信息发布以减少人员伤亡和社会经济损失。同时政府数据仍比较封闭，共享程度不足，信息内容单一，信息发布不精准，社会效益不高，影响力不强。因此，公众对于社会公共服务的及时性和准确性要求强烈。

随着近些年大数据技术的应用，数据成为国家的重要战略资源。政府管理迈进“循数管理”[1]，政府数据进行共享开放，公共决策趋于“社会化”，已成为必然趋势。大数据必将重塑政府管理生态，公共服务必然面临跃升式转型。及时有效地调动各类资源，实现资源的整合并及时满足各类群体的公共服务需求，是政府首当其冲必须大力解决的问题。政府急需提供通过大数据技术提升管理水平和服务水平，为公共提供精准的信息发布服务。

1 研究现状

在大数据时代，数据成为国家的重要战略资源，政府管理迈进“循数管理”，公共决策趋于“社会化”，已成为必然趋势。大数据是以容量大、类型多、存取速度快、应用价值高为主要特征的数据集合，正快速发展为对数量巨大、来源分散、格式多样的数据进行采集、存储和关联分析，从中发现新知识、创造新价值、提升新能力的新一代信息技术和服务业态。在现今的社会，大数据的应用越来越彰显他的优势，运用大数据推动经济发展、完善社会治理、

提升政府服务和监管能力正成为趋势。企业、社会组织以及公民不断对政府公共服务提出全新的要求，政府面临着更加海量更为复杂的信息。对海量管理信息的快速捕捉、甄别、分类、筛选、流转、处理、反馈，是政府在大数据时代面临的最直接的挑战；对公众的快速回应是政府面临的主要问题；及时有效地调动各类资源，实现资源的整合并及时满足各类群体的公共服务需求，也是政府首当其冲必须大力解决的问题。

国内目前相关行业已建设公共服务平台，如应急办的应急通信系统、电信运营商的精准营销系统等，但其均未正式向公众企业或公众用户进行开放使用，仍为自身行业内部使用，各个系统仍为垂直建设。在公共服务领域，目前依然存在数据孤立、事件缺乏预警、紧急事件处理效率不高、公众信息不共享、创新应用不广、盈利模式单一、数据资源开放度不高等问题，并由此引发了一些严重的后果。如，2015年的上海市黄浦区外滩的拥挤踩踏事件，造成30余人死亡，近50人受伤，对于突发异常事件，需要实时了解重点区域（如运动场馆、景区、展会等）的人员流动和密度情况，及时了解区域人员密度，异常预测和实时预警信息发布；去年7月份，西北太平洋上的台风逐渐进入活跃期。西北太平洋上台风“灿鸿”、“莲花”和“浪卡”等以及各种台风情况，让预报也变得异常复杂，针对突发异常的天气情况，需要实时精准的发布信息，对于台风影响的局部区域的用户群体进行精准应急信息发布；市内交通高峰时间的拥堵情况，节假日高速路的车流量密集情况，对于突发异常的交通状况，需要及时对于交通状况进行实时体系和信息发布，给居民出行提供交通便利的依据。以上各种场景，政府或公共组织均需要通过社会公共信息云服务平台，面向精准用户进行快速的信息内容发布，促进公共服务质量的提高和信息发布效率的提升。

2 关键技术问题

2.1 海量异构多域数据采集与存储技术

气象、旅游、交通等行业公共数据类型多样，数据众多，需要根据不同类型进行多域跨域采集，数据终端涉及手机、温度传感器、湿度传感器、监测站等不同类型，根据不同终端的数据结构进行海量实时采集是需要解决的关键，通过融合网络支撑技术将不同网络的数据进行实时接入和处理。

社会公共信息数据种类多样，数据采集根据不同数据源包括了关系数据库数据抽取、实时数据采集、文件数据采集、数据库实时复制等，根据不同数据源采用不同的采集方式，通过分布式方式对于海量数据进行数据采集。

气象、旅游、交通等行业涉及关系数据库、内存数据库、分布式文件等多种存储方式，根据采集的数据类型进行数据存储介质的选择，结构化数据采用关系型数据库（如Informix数据库）、实时更新数据通过内存存储（如Redis数据库）、日志文件数据、音频、视频数据，通过分布式文件系统（如HDFS文件）。

各种存储介质（如Informix、Redis、HDFS等）的写入和查询接口方式类型多样，存储规则重多，对于分析来说，当设及到多种类型数据同时查询和写入时，将会使数据处理逻辑复杂，处理效率将大大降低，为便于数据存储和查询，将抽象和封装各种数据库访问接口，提供统一的数据访问接口，降低了数据访问的难度。

各种存储节点通过数据备份和集群方式满足高可用的指标要求，满足大量、多样化的数据存储和高性能实时查询。通过不同数据间的数据调度机制满足对外不同类型的数据访问，完成业务数据服务的提供。

2.2 高并发数据处理技术

气象、交通信息的实时数据量大，仅用户信令日志数据在忙时高峰时可达到15万TPS的并发数据量，气象监测实时数据每天300GB的数据量，气象各种传感器、监测站、视频终端等在高峰时也达几十万级的并发请求量，这些数据均需要实时处理，需要很好的弹性扩展技术满足海量高并发数据请求的处理要求[2]。

图2-1是公共信息精准发布云服务平台架构图，它为应用系统提供高并发数据处理服务。云服务平台采用分布式集群架构，云计算集群内所有节点具有独立、同化的对外服务能力，当集群内任一节点出现故障时，不会影响其他节点正常运行，因而，能够解决系统内的单点失效问题，为系统的持续、稳定运行提供保障。此外，由于云计算集群内，任一节点都可以独立地对外提供服务，通过扩大集群规模的方式，能够提升整个云计算集群处理大并发请求的能力，从而满足并发地数据处理的要求。

云服务平台通过三级并发调度机制，一级为基于主机集群级别高并发机制，通过增加主机构建服务集群，解决单台服务器能力不足问题；二级为基

于OS主机级别高并发机制，通过启用单主机操作系统下多个进程并行运行提升单台主机的高并发能力，单主机账户支持40个进程；三级为进行内的任务分片高并发机制，通过任务调度起实现多个并发数据处理请求消息，单进程能够处理高达8000多个数据处理请求，由任务调度器统一调度处理，进程内独有的数据处理管理机制提供高并发低时延的高速数据处理能力，处理任务控制可达毫秒级。云平台能够持续、稳定的提供大规模并发的数据接入、数据存取、数据服务调用的能力，采用云计算架构的设计理念，基于云计算技术的集群化特点，满足平台高并发处理与持续可靠运行的要求。

图2-1 公共信息精准发布云服务平台架构图

2.3 支持多维的精准定位业务处理逻辑协同执行技术

社会公共信息精准发布的要求高实时和多种维度下精确定位，传统平台中定位模式单一且能力有限，无法充分发挥面向大数据的精准定位能力的优势。社会公共信息的发布对象要求具备面向特定时间、地域和用户的三维精确定位，提供随时、随地、随身、随需的社会公共对象定位服务。

时间维度是基于当前时间、某一历史时间或历史时间区间的基于时间空间维度的精准定位方式，根据信息发布的需求，通过时间维度快速精准定位到当前或历史的数据进行处理。

地域维度是基于全省、地市、支局、街道、基站、经度、维度或者特定地理区域下的基于空间维度精准定位方式，根据信息发布的需求，通过广域、某一特定区域、特定路线轨迹、特定地点进行地域数据的处理。

人员维度是基于号码特征、人员通信特征、行为特征属性、群体特征数据（如单位、组织等）[3]，通过某一人群特征的基于人员维度的精准定位方式，根据信息发布的需求，对于个体，某类相同特征的群体、某类机构组织的群体进行人员数据的处理。

平台对于社会公共信息的多维定位处理逻辑需要具备高度灵活性，并且在特定时间、地域和用户的检索和查询方式上需要由原来的集中式转为多维分布式的处理方式，当数据量较大时，精准定位请求不会由于多维的精确定位产生较大的处理延迟。

一维定位和多维定位在同步/异步特性、调度方式、时延要求、数据请求会话维持等方面均有不同数据处理特点，通过实现多维度下的数据生成技术的精准定位体系，灵活支持多种维度组合的并行精准定位业务处理方法，对社会公共信息发布的高效运行提供了必要的技术支撑。

2.4 支持多种智能业务处理逻辑的信息发布技术

社会公共信息精准发布的场景不一，使用部门级别不同，要求对于社会公共信息的发布处理方式需要有智能业务管理策略进行发布支撑，研制基于大数据的信息发布可视化编辑、发布优先级、流控策略、SLA（Service-Level Agreement）服务策略的智能发布技术[4]，可以快速满足各种公共信息精准发布要求。

通过公共信息发布内容编辑可视化技术，公共信息通过WEB方式实现信息发布，信息发布内容定制化编辑，实现可定制化的信息发布模版，进行信息发布模版的统一管理，降低社会公共信息发布部门对于发布时的开发难度，便于根据公共信息发布需求，快速选择发布信息，零门槛化进行信息发布。

在信息发布时，如多个应用在同一时刻都在进行信息发布，信息发送资源带宽不变的情况下，某一应用根据信息发布的重要性需要优先发送，此时先将应用设置不同的优先级（优先级高、低），当监测到优先级高的应用进行信息发布时，则平台将优先级高的应用进行优先发送。

针对各应用的信息发布的发送流控策略，根据发送空间区域的不同设定不同的发送速率，根据信息发布的数量，按照区域的速率进行均匀分配发布消息，避免对于传输网络产生信息风暴，并可根据信息发布的反馈情况，及时修正发送速率，对于信息发布失败的情况，选择重发或缓存处理。

针对应用的SLA服务策略，根据不同应用分配不同的SLA服务等级，根据应用的SLA等级，每

天信息发布的条数、发布的时间段、发布内容的核查、发送方式等SLA策略[5]，社会公共信息在发送时根据场景可选择立即发送和预约发送处理方式，智能定制发送时间。根据不同的发布场景，对于社会公共信息发布提供必要的智能处理逻辑支持。

3 应用前景

通过全方位掌握服务对象信息，及时捕捉、科学辨识、快速整合公共服务需求，解决信息不对称问题，实现公共服务供给的时间精准化、空间精准化和人群精准化，是目前各政府急需解决的主要问题。通过公共数据共享开放，政府资源整合有效、信息交互顺畅并及时更新、资源共享与跨部门合作，充分利用可得资源，及时精准地满足公共服务需求[6]。目前政府部门如应急办、公安、交通、气象、旅游、区管委会等各部门均有精准发布公共信息的强烈需求，通过通信数据与行业数据的快速结合，可以为突发事件、反恐应用、交通管制及拥堵、异常灾害天气、旅游等行业提供基于时间、空间、用户的三维精准定位和信息发布。

目前，精准发布云服务平台在气象局、应急办、交通厅等政府部门已进行了试点上线：

1）气象局针对如台风、暴雨、寒流等异常天气情况下进行精准发布使用。之前气象局只能全省用户发布预警信息，每次发送均会产生网络堵塞，很多情况下异常天气情况发生长达十几个小时之后用户才收到预警信息，尤其当台风影响局部地区时，需要对局部地区下的当前用户（包含本地和外地用户）进行准确定位和预警时无法满足；通过云服务平台，根据不同维度快速实现发布对象精准定位，并根据不同融合网络环境进行智能发布逻辑处理，快速及时的发布预警信息，为居民提供及时的气象信息提醒预警。

2）应急办针对重点区域（如火车站、重要场馆、重大活动等）下进行重点区域人流密度的实时监控和预警信息精准发布。之前应急办只能通过人为预先分析判断重点区域的人流趋势，不能精确区分人员分布情况及实时位置，预警信息也是发生在事后进行发布；通过大数据的公共信息发布，提供实时分析区域下的实时人员流量数据，根据不同区域网格下分析流动人员的实时密度。

3）交通厅针对省内高速公路（杭甬高速、沪杭高速、长深高速等）下进行高速路区域车流量密度的实时监测和预警信息发布[7]。之前交通厅通过重点高速路卡口进行车流量的分析或通过高速路设置的上车流量监测设备进行车流量的监测，对于交通拥堵时，通过广播电台或公路警示牌进行全网信息发布，不能根据高速路内的情况实时精准进行信息发布；通过大数据的公共信息发布，提供实时分析高速路的实时车流量数据，根据高速路的实时交通密度，提供特定拥堵高速路下的实时人员的精准定位，提供交通拥堵预警信息发布。

通过试点建设，各政府部门对于精准信息发布需求非常强烈，对于大数据下的各政府部门的精细化运营需求，急需通过大数据扩展公共信息资源，实现更广更精准的公共信息发布服务。同时，通过在经济、环境、教育、就业、安全、文化、卫生、市场监管等行业进行普及扩展，将具备很好的市场发展前景。

基于以上市场分析，通过社会公共信息精准发布云服务平台，政府对于社会公共信息需要汇聚各行业的信息进行整合、互联互通，进行信息共享，将通过各行业社会公共信息进行数据交换和数据关联集成[8]，可以快速为各行业的精准治理、多方协作的个性化的信息发布需求进行精准化的信息发布云服务，通过数据开放提供多种增值类应用，提高数据价值及数据资源产品产业化。

4 结论

通过对公共信息发布现状和问题的分析，提出了基于大数据技术的公共信息精准发布，重点分析了所需要使用的关键技术，最后详细介绍了公共信息精准发布广阔的应用前景，对未来构建公共信息精准发布平台具有重要的指导意义。

[1] 赵敏. 我国政府公共服务供给精细化路径研究[J]. 理论观察, 2015(04): 51-53.

[2] 张建, 孙铭, 段娟. 基于大数据平台的精准广告系统研究与设计[J]. 电脑与信息技术, 2015(04): 47-50.

[3] 陈治国, 史明昌, 刘东兰. 基于WebGIS的公众信息发布系统的研建[J]. 中国水土保持, 2005(4): 46-48.

[4] 邢红刚. 基于大数据的社会化媒体精准营销研究[J]. 科研2015(63): 108-108.

[5] 闫海艳, 吴文智. 大数据在地方旅游公共信息服务中的应用探究[J]. 中国商贸, 2015(32): 109-111.

[6] 李军. 大数据——从海量到精准[M]. 清华大学出版社, 2014.

[7] 刘平, 费文晓. 计算机公众信息发布系统的开发[J]. 兵工自动化, 2004, 23(3): 87-88.

[8] 周运伟. 对公共应急信息发布系统的若干思考[J]. 中国人民公安大学学报: 自然科学版2012, 18(3):85-89.

Research on the Key Technology of Public Information Precision Publishing Platform

CHONG Yan-wei1, GAO Yue-ming2
(1. State Key Laboratory of Networking and Switching Technology, Beijing university of posts and telecommunications, Beijing 100876, China；2. Shanghai CINTel Intelligent Telecom System Co., Ltd Beijing, Beijing 100085, China)

By deeply analyzing the current situation and problems of public information publishing, this paper puts forward the accurate publication of public information based on large data technology, and analyzes its key technology. It solves the problems of large data collection, storage, cross-domain analysis and integrated application of public services, and effectively promotes the sharing of government's public large data and the improvement of precise management level.

Accurate release; Large data technology; Storage; Cloud service platform

TP311

A

10.3969/j.issn.1003-6970.2016.11.022

种艳伟(1991-)，男，硕士研究生，主要研究方向：网络技术与大数据应用技术；高跃明(1985-)，男，上海欣方智能系统有限公司北京分公司(北京邮电大学产学研基地)数据业务部副经理，主要研究方向：电信增值业务及通信软件。