谷尼大数据，构建应用研发体系助力国家大数据战略

崔传桢

谷尼国际软件（北京）有限公司（简称“谷尼大数据”）是一家以互联网信息大数据为切入口进军大数据行业的公司，在长期的研究和服务中，采集存储了海量数据，并在数据采集、数据治理、数据分析、数据可视化等方面形成了丰富的技术成果。谷尼大数据建立了先进、完整的大数据研发体系，并且推出了系列产品，对党政部门、媒体、高校、企业等单位提供了技术服务支持。我们在炎夏季节走进了谷尼大数据，进一步了解其发展历程及大数据研发实践和喜人业绩。

国家实施大数据战略 谷尼大数据积极响应

习近平主席在 2018 中国国际大数据产业博览会贺信中指出，中国高度重视大数据发展，我们秉持创新、协调、绿色、开放、共享的发展理念，围绕建设网络强国、数字中国、智慧社会，全面实施国家大数据战略，助力中国经济从高速增长转向高质量发展。习主席在贺信中强调了国家大数据战略对于中国经济社会发展的重要地位和时代意义，指明了中国大数据发展的科学理念和战略布局。

大数据作为国家基础性战略资源，在经济社会发展中的作用和地位日益提升。早在2014年大数据的概念首次正式写入《政府工作报告》。2015年，国务院就出台《促进大数据发展行动纲要》，全面推进大数据发展，加快建设“数据强国”；同年，“十三五”规划提出实施国家大数据战略，自此，大数据作为一项重要的国家战略正式启动。

2016 年伊始，国家发改委印发《关于组织实施促进大数据发展重大工程的通知》，提出将重点支持大数据示范应用、共享、开放、基础设施统筹发展，以及数据要素流通。国家发改委将择优推荐项目进入国家重大建设项目库审核区，并根据资金总体情况予以支持。此后，国务院办公厅、国土资源部、国家林业局、煤工委、交通运输部、农业部陆续推出大数据发展意见和方案，大数据政策从总体规划逐渐朝各大产业各细分领域延伸，大数据产业逐步向纵深领域发展。

2017年初，工信部出台《大数据产业发展规划（2016—2020年）》，国家发改委等相关部门及各省市自治区也陆续出台支持大数据发展政策，大数据产业加速进入应用时代。

2018年，中央和地方迎来大数据系列政策的密集落地期。相关研究显示，2年多来，包括贵州在内的8个国家大数据综合试验区，通过不断总结可借鉴、可复制、可推广的实践经验，最终形成试验区的辐射带动和示范引领效应。大数据产业近期形成了扩大区域性成果转移转化试点示范，推进大数据与云计算的深度融合，加快工业互联网、工业大数据建设，构建大数据安防体系等诸多发展重点和亮点。

基于自身的数据及技术储备，以及对政策的敏感性和对大数据发展趋势的科学预判，谷尼大数据早在 2015 年便积极筹备并于 2016年初正式成立谷尼大数据研究院，正式由舆情公司向大数据公司转型。转型以来，谷尼大数据已形成大数据全流程研发能力，构建了先进的大数据研发技术体系，推出《领导大数据应用指南》①《领导干部网络舆情工作指南》①系列研究著作。

谷尼大数据成长之路——数据应用三级跳

谷尼国际软件（北京）有限公司（中文简称“谷尼国际软件”或“谷尼大数据”，英文简称为“Goonie Soft”或“Goonie[gu:ni]意为信天翁”）。

2007年8月，谷尼大数据在北京中关村科技园石景山园区注册成立，是一家致力于大数据与人工智能技术研究、开发、销售、服务为一体的大数据服务商。作为高新技术企业，谷尼大数据获得《软件企业认定证书》《软件产品登记证书》《质量管理体系认证证书》等资质，曾获中国软件行业协会“中国软件行业优秀网络应用软件产品奖”，并拥有20多种自主研发产品著作权。目前，谷尼大数据总部在北京，在广州、上海、南京、成都、香港等地设立了办事处，投资了谷尼凤凰科技公司、香港头条大数据公司、丝路云传媒集团等公司。

谷尼大数据以深入推进大数据应用为导向，成功研发推出了全球新闻大数据系统、舆情大数据SAAS服务系统、新媒体大数据管理系统、智慧纪检大数据系统、智慧党建大数据系统、企业竞争情报大数据系统、人物性格情绪大数据分析系统等大数据产品及解决方案，拥有上百家大客户软件服务经验，客户分布国家部委、地方政府及职能部门、上市公司、品牌企业、媒体、高校等领域。谷尼国际软件作为大数据公司，将不断通过技术创新、优化产品和服务，助力国家实施大数据战略，为大数据发展的伟大实践作出应有的贡献。

作为谷尼大数据创始人、舆情大数据专家邹鸿强先生（见图1）讲述了对数据的4个认知阶段和谷尼大数据的跨越发展之路，即从“数据是信息”到“数据是情报”，再到“数据是知识”，又到“数据是资产”，如图 2 所示。

图 1  谷尼大数据董事长邹鸿强先生

图2 数据认知的4 个阶段

1）看数据是信息：2007—2008年

谷尼大数据早期的业务以网络舆情大数据服务为主，向客户提供的主要产品和服务是信息的采集和简单处理，客户案例主要有国家邮政局以及衡水等地市级宣传部门。在此期间，谷尼大数据的主要技术积累是互联网信息采集、检索、文本挖掘相关技术。同时，在对数据作为信息具有价值认识的基础上，谷尼大数据已开始有意识地存储数据。

2）看数据是情报：2009—2010年

在客户服务的过程中，谷尼大数据发现简单的信息提供及基础的加工已不能满足客户对数据的需求和期望。谷尼开始意识到数据深入加工、分析的必要性，并开始加强数据分析能力建设。2009年，谷尼大数据与南京大学联合创建实验室。南京大学谷尼实验室先后出品了《沸腾的冰点2009中国网络舆情报告》《危如朝露2010—2011中国网络舆情报告》等分析研究著作。在数据分析及研究中，谷尼大数据认识到，通常信息本身价值度相对较低，而对数据尤其是大量数据进行深入、科学分析则可以挖掘出数据潜藏的、深层的价值，并逐步确立“数据是情报”的认知，基于该认识，并在海量互联网信息采集、分析的基础上，形成了网络舆情及情报分析业务。

3）看数据是知识：2011—2015年

随着认识和业务的升级，谷尼大数据获得大量客户的认可，服务客户范围快速扩展到中央机关、地方部门、高校、媒体及大型集团企业等。客户规模的快速扩大以及客户需求的提高，给谷尼大数据带来较大的挑战，迫使谷尼大数据革新服务方式，实现服务能力和服务质量的升级，与此同时，谷尼大数据组建专家团队一方面深入研究舆情传播规律、社会民意调查为客户提供智力服务，另一方面加大在核心技术研发的投入，如人工智能推荐、情感情绪分析技术、命名实体识别、分类聚类技术、多语言分词、海量文本相似性去重分析、文本自动摘要、海量文本自动分类等核心技术，并形成了舆情分析系统、竞争情报系统、新媒体大数据分析系统等产品。

4）看数据是资产：2016年—今

2016年起，谷尼大数据以谷尼大数据研究院成立为契机，正式向大数据公司转型。由于网络舆情与情报业务与数据具有天然的联系和密不可分的关系，加之海量的数据存储和丰富的数据处理技术积淀，谷尼大数据快速实现了向大数据公司转型，并在舆情、新媒体、党建、纪检监察、招商、环保信用等多领域推出了大数据应用产品。谷尼大数据在转型过程中，不仅实现了客户和营业额倍增，也有协助客户更加充分地用好、用足数据，挖掘、放大了数据对于客户乃至社会的价值。

谷尼技术优势——先进完整的大数据研发体系

1）大数据采集能力

数据采集又称数据获取，是利用一种装置，从系统外部采集数据并输入到系统内部的一个接口。在互联网行业快速发展的今天，数据采集已经被广泛应用于互联网及分布式领域，比如摄像头、麦克风都是数据采集工具。数据采集系统整合了互联网数据、物联网数据、业务数据、数据采集设备和应用软件。在数据大爆炸的互联网时代，数据的类型也是复杂多样的，包括结构化数据、半结构化数据、非结构化数据。结构化最常见就是具有模式的数据。非结构化数据是数据结构不规则或不完整、没有预定义的数据模型，包括所有格式的办公文档、文本、图片、XML、HTML、各类报表、图像和音频/视频信息等等。大数据采集，是大数据分析的入口，是相当重要的一个环节。谷尼大数据已经具备亿级信息采集能力，覆盖60个搜索引擎数据、300 家APP 客户端数据、300 万个网站的数据，每天更新的数据超过1 亿条。

2）大数据治理能力

大数据治理是一项系统工程，大到大数据技术平台的搭建、组织的变革、政策的制定、流程的重组，小到元数据的管理、主数据的整合、各种类型大数据的个性化治理和大数据的行业应用，无不需要艰苦细致的工作。谷尼大数据通过人工智能算法实现大规模数据自动化治理的数据产品,并通过人机结合的方式实现高效精准的数据治理，能够大规模自动化地采集、清洗、归类、关联所有数据。谷尼大数据治理平台能够：自动识别人物、组织等命名实体；自动识别文本情感情绪值；自动识别新闻事件的经纬度；自动识别新闻分类；自动识别非新闻非舆情；自动识别敏感信息。

3）大数据分析

大数据分析是指对规模巨大的数据进行分析。大数据分析的产生旨在于IT管理，可以将实时数据流分析和历史相关数据相结合，然后大数据分析并发现它们所需的模型。反过来，帮助预测和预防未来运行中断和性能问题。进一步来讲，可以利用大数据了解使用模型以及地理趋势，进而加深大数据对重要用户的洞察力。也可以追踪和记录网络行为，大数据轻松地识别业务影响；随着对服务利用的深刻理解加快利润增长；同时跨多系统收集数据为各企事业等单位服务。谷尼大数据已经具备画像百亿数据关系、画像知识图谱、画像组织人物的关系、画像信息价值的能力和技术水平。

4）大数据可视化

可视化历史久远，并被广泛地应用于地图、统计等领域。所谓可视化(visualization)是指将数据展现为直观的图形，以帮助理解和记忆的过程。通俗地讲，数据可视化就是将抽象难懂的数据变得直观、可以观察、可以感受，这个改变的过程就是数据可视化的过程。在计算机科学领域，数据可视化的基本思想是，将数据库中的每一个数据项都作为单个元素表示，由大量的数据集汇集成为数据图像；将数据的各个属性值以多维的形式表示，从不同的维度观察数据，进而实现对数据更为深入的观察和分析。数据可视化主要借助于图形化手段，以使信息的传达和沟通更为清晰有效。谷尼大数据可视化平台支持各数据库的数据集成；支持真彩、2D、3D 图型呈现；支持智能仪表板，集合多个数据视图；支持echarts，hightcharts 等。

谷尼行动——系列产品助力大数据战略

目前，谷尼大数据已形成完备的大数据应用产品方案，包括大数据采集平台、大数据中心、大数据治理平台、大数据分析平台及大数据可视化平台等基础平台，以及一系列垂直领域大数据应用产品。由于篇幅有限，此处重点介绍谷尼大数据近期推出的几项垂直应用产品。

1）新媒体大数据管理系统

① 系统概述

谷尼新媒体大数据管理系统是基于人工智能、自然语言处理、大数据技术研发，系统包含数据采集平台、数据治理平台、内容管理平台、自媒体管理平台、新闻推荐引擎、积分奖励系统，可面向不同垂直领域快速构建完整新媒体生态体系。

② 产品价值

● 无技术快速搭建新媒体大数据系统；

● 无数据快速采集新媒体海量数据；

● 无原创快速形成用户生成内容机制；

● 无用户快速通过激励机制集聚用户。

③ 系统架构

新媒体大数据管理系统架构如图3 所示:

图3 新媒体大数据管理系统架构

④ 系统特点

● 覆盖了采集、治理、编辑、推荐、发布、评价全业务流程；

● 设计了阅读、分享、点评赞、推荐积分奖励体系；

● 应用了云计算、大数据、人工智能、区块链技术。

⑤ 功能描述

采集平台：可根据需求采集特定行业数据，也可以根据特定关键词采集行业相关数据。治理平台：治理平台大数据信息自动分类引擎，根据分类规则、机器学习自动识别,并对数据进行分类，为个性化推荐做好数据准备。

内容管理平台：可以满足平台自发新闻、视频稿件的需求，同时也可以对自媒体发布的内容进行审核。自媒体管理平台：实现对入住平台的自媒体账号的审核、管理。

内容推荐引擎：根据用户特征、行为特征、环境特征及文章类别特征，通过机器学习，自动建立信息和用户之间的精准关联，进行个性化推荐。

APP 移动应用：包含资讯、视频、微头条、朋友圈、积分奖励、评论互动、分享等功能。

2）舆情大数据SAAS 服务系统

① 系统概述

谷尼SAAS大数据舆情平台依托大数据采集、治理、存储、分析、可视化及人工智能技术研发，是集定制监测、智能预警、专题分析、一键报告等核心功能于一体的新一代人工智能舆情大数据平台。

② 产品价值

● 满足机关、企业及事业单位舆情业务核心需求；

● 满足24 h 全天侯监测负面舆情信息的需求；

● 满足从海量信息中发现最有价值舆情的需求；

● 满足多维度分析并准确把握舆情态势的需求；

● 满足秒出舆情报告并为科学决策提供支持的需求；

● 满足用户按业务需求层次支付费用的需求。

③ 系统架构

舆情大数据SAAS 服务系统架构如图4 所示：

图4 舆情大数据SAAS 服务系统架构

④ 系统特点

● 舆情价值智能计算技术；

● 舆情智能画像技术；

● 观点智能抽取技术；

● 大数据知识图谱；

● 命名实体识别技术；

● 数据可视化技术。

⑤ 功能描述

舆情监测：用户可定制监测主题词，及时全面掌握舆情动态。

舆情预警：基于舆情价值算法，智能识别价值高的舆情信息，并可以通过短信、邮件等多途径发送预警提示。

专题分析：包含传播分析、媒介分析、热点分析、情感分析、重人物分析、话题分析、观点分析、舆情画像八大分析模块，实现对专题事件的多维度、全方位分析。

一键报告：一键秒出专题分析报告，为科学决策和及时应对提供数据依据。

3）智慧招商项目管理系统

① 系统概述

谷尼智慧招商项目管理系统是为地方政府招商引资业务部门打造的招商项目客户关系管理系统，实现对项目资源、企业资源及招商进度与绩效的集中统一规范化管理。

② 产品价值

● 实现项目管理标准化、规范化；

● 实现招商管理指标化、精细化；

● 实现信息资源数据化、共享化；

● 实现企业管理动态化、科学化。

③ 系统架构

智慧招商项目管理系统架构如图5 所示。

④ 系统特点

● 统一的招商项目管理平台；

● 统一的招商资源共享平台；

● 统一的招商进度和绩效平台。

⑤ 功能摘要

项目管理：包含信息填报、信息审核、信息查询、信息修改功能。

统计分析：包含行业分类汇总、项目汇总统计、应用统计、项目进度跟踪、自定义表单功能。

招商推进：包含招商简报、招商计划、项目协调、项目汇总功能。

资源载体：包含资源载体上传、资源载体查看、资源载体删除、资源载体库功能。

资源共享：包含信息共享、企业名录、政策汇编、通讯录功能。

绩效考核：包含指标管理、周期管理、工作考核、考核汇总功能。

系统管理：包含部门管理、数据字典、角色管理、指标管理、用户管理、通知公告功能。

图5 智慧招商项目管理系统架构

4）智慧党建系统

① 系统概述

谷尼智慧党建系统通过运用大数据技术，促进党务管理、党风治理、党纪监督等工作，加强和改进党的建设，提高党建工作效率，并借助手机端的应用，实现党建工作的快捷化、及时性、双向性和安全性，整体提升党建工作的信息化水平。

② 产品价值

● 创建集低成本、高效率的党建新模式；

● 创建集人性化、灵活性的掌上新党课；

● 创建集移动化、便捷性的党建新平台。

③ 系统架构

智慧党建系统架构如图6 所示：

图6 智慧党建系统架构

④ 系统特点

● 集党务管理、培训等业务于一体；

● 集PC 端和手机端应用于一体；

● 集在线学习、考试、评价于一体；

● 集智慧党建、活力党建于一体。

⑤ 功能描述

党务管理：包括组织管理、党员档案、干部管理、党员发展、党务督办、制度建设、党费管理、组织生活管理等功能模块。

党风治理：包括宣传教育、投稿管理、警示教育、问卷调查、主体责任管理、绩效考核、网上党校、党建论坛等功能模块。

党纪监督：包括纪律审查、效能监察、巡视管理、监督责任等功能模块。

移动应用：包括掌上党支部、微党课、微考试、微投票等功能模块。

谷尼对纪检监察工作大数据的主要应用和探索

业务需求是纪检监察大数据应用的驱动力。调研显示，当前各级纪检监察机关正在积极探索大数据运用，借助大数据实施纪检监察工作的精细管理为响应纪检监察部门深化应用大数据的需求，谷尼大数据探索、研发了谷尼纪检监察大数据平台，该平台以监督对象信息、廉政信息等数据为基础，将大数据技术与纪检监察业务需求相结合，通过数据采集、存储、清洗、挖掘和可视化技术，提高廉政线索发现、腐败预防、权力监管等工作的效率和效果，促进纪检监察管理工作的升级。

谷尼纪检监察大数据平台的主要特点是：纪检监察业务管理与大数据技术有机结合；领导干部量化监督与预防腐败的有机结合；定向、定性、定量和定期分析评估的有机结合；考核以量化评价、排名与预防职务犯罪的有机结合。

谷尼纪检监察大数据平台的主要价值在于：实现及时发现违规违纪问题线索；实现整体提升纪检监察工作成效；实现有效提高纪检监察办案效率；实现显著增强腐败预防的前瞻性。

谷尼纪检监察大数据平台主要应用包括廉政档案管理、考核管理、“8项规定”监督管理、基层小微权力监督管理、纠治“四风”监督管理、信访案件管理以及廉政大数据可视化呈现等，如图7 所示。

① 廉政档案管理

廉政档案是对各级领导和党员干部职责履行过程中廉洁与否的实情记录。通过廉政大数据分析，可以直观地观察行政区域内的干部建档人员分布最近几年有无违反“四风”、“8项规定”、公车超标、住房超标兼职取酬、违规经商、礼品礼金超标、隐瞒出入境、诫勉谈话次数过多民主测评过低、提拔有风险等问题,为干部任用避免“带病”提拔提供了较好的参考依据。

② 考核监督管理

考核监督管理主要有落实“2个责任”监督考核和监督执纪“4种形态”监督管理。

落实“2个责任”即习近平总书记在十八届中央纪委第3次全会上指出的“要落实党委的主体责任和纪委的监督责任”。“2个责任”细化分解到各单位,进行可操作的量化管理,每个单位根据要把开展的“2个责任”工作的证据汇集到大数据平台,自动统计、计分、排名,根据设定的分值,自动对各单位亮出“红、黄、绿”灯,在全辖区内排名、亮灯,促使各个单位主动落实“2个责任”,实现了压力层层传导,压实了责任落实。监督执纪“4种形态”，即经常开展批评和自我批评、约谈函询,让“红红脸、出出汗”成为常态；党纪轻处分、组织调整成为违纪处理的大多数;党纪重处分、重大职务调整的成为少数；严重违纪涉嫌违法立案审查的成为极少数。“4种形态”的监督管理重点监督“第1种形态”落实情况,分为“民主生活会”、“述责述廉”、“廉政提醒”3个部分,大数据平台从廉政谈话、提醒谈话、红脸出汗、批评与自我批评、廉政责任落实等方面，针对各单位副科级以上干部,进行有关事项事实汇集、统计分析, 督促“4 种形态”的落实。

③“8项规定”监督管理

落实“8项规定”监督管理包含“三公经费支出”、“公务接待”等内容,对每个单位的“三公经费支出”,通过与财政局的数据分析比对,实现动态监控,对异常支出进行预警，并重点抽查。“三公经费支出”监管覆盖对违规公款吃喝、违规公款国内旅游、违规公款出国境旅游、违规配备使用公务用车、楼堂馆所违规问题、违规发放津补贴或福利、违规收送礼品礼金、违规大办婚丧喜庆等问题的监管。大数据平台通过对“三公经费支出”、公务接待数据进行汇总, 并与财务系统进行联动, 及时发现状态异常现象, 能够从全局把握公务接待的费用比例, 预警不健康的财务支出。

图7 谷尼大数据纪检监察平台

④ 纠治“四风”监督管理

纠治“四风”监督管理包含“纪检督查”、“反四风一键拍”、“工作纪律”3个部分。各级纪委(纪检组)可以通过纠治“四风”数据平台对本单位“四风”问题进行督查,公众可以通过微信随时发生在身边违反“四风”的问题发送到纠治“四风”监督管理平台。“工作纪律”功能对单位所有互联网办公电脑进行监督管理,“工作日工作时”,利用用网络流量数据监控可以直接屏蔽与工作无关的上网行为，利用监控摄像头和人脸识别技术可以抽查“脱岗”情况,从而提高办公效率, 改变为民服务形象。

⑤基层小微权力监督管理

通过对每一项应办事项的法律法规依据、范围界定、行使流程等一些具体要求,制定规范操作规定及“小微权力”运行流程，并及时进行公开,引导群众熟知权力运行过程。构建农村“小微权力”监督体系。通过大数据平台畅通各种监督渠道,建立群众监督、村监会监督、上级部门监督组成的3级监督体系。

⑥ 信访件案件管理

信访件案件管理大数据平台实现了信访件的电子化、无纸化、网络化的管理,实现信访件通过网络在各部门之间工作流转，实现快速的查询和统计,提高了信访工作人员的工作效率，提升了案件统计工作信息化水平, 提高了案件监督管理工作的科技含量。

此外，通过对信访件的大数据分析,可以实现按举报方式、举报人所在区域、被举报人职级、违纪政治纪律行为、违纪组织纪律行为、违纪廉洁纪律行为、违纪群众纪律行为、违纪工作纪律行为、违纪生活纪律行为等进行分析,为政府职能部门的管理决策和政策制订者提供工作指导。通过对案件管理的大数据分析,可以直观地从多个维度多个角度对办案情况进行梳理、分析、统计和对比,围绕重点工作,定期对案件进行全局分析、过程分析、结果分析及纵横分析, 可以直观反映案件流程及发展态势, 査找办案过程中存在的问题和薄弱环节, 更好地为领导决策和查办案件服务。

⑦ 纪检监察大数据呈现

随着社会信息化的高速增长, 大数据可视化呈现需求也日益扩大, 特别是一些监控中心、指挥中心、调度中心等重要场所,大数据大屏幕显示系统已经成为信息可视化不可或缺的核心基础系统。大数据可视化呈现可以帮助各纪检监察管理者从业务管理、事前预警、事中指挥调度、事后分析研判等多个方面提升智能化决策能力。也可实现对行政区域内干部人员分布、廉政情况等多个维度的分析和可视化呈现，为干部任用、提拔提供有效的参考依据。

谷尼愿景——为人类提供有价值的信息

谷尼大数据研究院（Goonie Institute of Big Data Research）是谷尼国际软件旗下的大数据研究机构，整合了政府、学术和市场3方面资源，旨在建成全国一流的大数据应用、科研创新和产业化平台，创建促进大数据产业发展的知名智库。

谷尼大数据研究院以满足政府、社会需求为导向，运用大数据助力提升国家治理现代化水平。谷尼大数据研究建立健全大数据辅助科学决策和社会治理的机制，推进政府管理和社会治理模式创新，实现政府决策科学化、社会治理精细化、公共服务高效化。目前，已在网信、传媒、纪检、党建等领域形成成熟的大数据平台。同时，谷尼大数据研究院致力于运用大数据促进保障和改善民生，在教育、就业、社保、医药卫生、住房、交通等领域形成了大数据解决方案。

谷尼大数据研究院高度重视技术研究与创新，在大数据并行计算、分布式存储、知识图谱画像、命名实体识别、网页超链接分析、主题词自动提取、文本自动聚类、文本自动分类、社会网络和语义分析等技术方面有10年的积累，形成了以大数据、人工智能、深度学习、自然语言处理、区块链为核心的先进技术研发体系，以及涵盖大数据平台架构、采集、治理、分析、挖掘、可视化等能力在内健全的大数据能力体系。

让信息创造价值、让数据成为资产、让技术驱动变革，让技术助力大数据应用及大数据产业发展，是谷尼大数据研究院孜孜不倦的动力源泉。不忘初心，方得始终,依托谷尼大数据与人工智能技术，让信息创造价值、让数据变成资产、让技术驱动变革，用务实的态度、精湛的技术推动大数据产业的健康发展，为人类提供更有价值的信息，努力成为全球领先的大数据应用服务商。