金控担保项目数据可视化平台的设计和开发

段卫江

（甘肃金控融资担保集团股份有限公司 甘肃省兰州市 730000）

2019 年12 月至今突如其来的疫情迅速蔓延全球，给世界经济和社会治理带来巨大冲击，以云计算、人工智能、大数据、物联网、5G 等新技术应用为代表的数字经济异军突起，表现出强大的生命力，成为对冲疫情影响、促进经济企稳回升的重要力量。融资担保行业机构肩负社会责任，在扶小助微主业发展中充分感受到数字化转型的必然性、重要性和迫切性。 建设大数据可视化平台是从精准营销、智能评审、流程优化、智能风控等多方面进行的有益尝试，实践证明可大大协助担保行业提升服务精准性，提高风险评估水平，提升业务进行效率。

1 金控担保项目可视化平台需求分析

1.1 基于担保业务的需求梳理

1.1.1 通过资源整合构建面向主题的数据资源

实时集成总公司和分公司一体化业务系统数据。现有总公司和分公司一体化业务系统数据总量为 40T，每年数据预计增量为 15T，且有在某些时间点数据变化异常频繁的特点，数据交换平台应具备对原有业务生产系统影响小、且能实时捕捉和采集数据增量的能力。

结合我公司金控担保业务以及分析体系建设需求，建立受理项目、意向保函、出具保函、银行放款等主题库。主题数据库要求对主要指标项进行梳理，同时能够实现数据更新，且能够实现主题数据库与业务数据库数据的共享和交换，系统应能按照用户需求进行主题库的扩充和修改。

在数据资源获取上，以业务数据为核心，并充分结合其它部门数据，形成一系列综合分析主题。为了保证数据的准确性和一致性，结合业务需求，进行数据抽取、清洗、匹配、转换后，装载到数据库中，并确立统一的数据统计口径标准，构建全面、丰富的数据指标体系。

1.1.2 建立数据交换系统，实现内外互联互通

为应用系统之间的集成提供信息交换及共享、数据处理和数据传递服务，包括业务内部应用系统之间、担保系统与外部其他部门应用系统之间的数据交换，实现数据共享，解决信息孤岛问题。

1.1.3 建立数据加工处理系统

通过数据加工处理系统，把获取的数据按照规定格式，统一进行抽取、转换、清洗、对比、加载等，做好分析维度的对应关系，提高数据处理的准确性、及时性、可靠性、科学性。

1.1.4 其他需求

所开发的应用程序开放所有数据接口并兼容常见数据格式，不在应用软件中设置程序暗锁及隐形加密，同时可视化平台的程序应具备以下特性：

（1）安全性。应建立严密的身份认证体系，杜绝非法用户的使用；

（2）容错性。应全面捕捉用户的操作错误，并给出友好提示。不能因为偶尔的操作失误导致数据的不一致和其它异常的发生；

（3）扩展性。充分考虑业务信息化建设与发展的可持续性需要，数据平台应提供标准的二次开发接口，实现与担保业务员其他业务系统的对接，加强系统设计的前瞻性，具备良好的可扩展性，能够进行系统的平滑升级。数据平台采用三层体系结构和 J2EE 标准，可做到灵活扩展；

（4）标准化。在设备编码、设备类型等关键数据的设计上，应遵循国际、国家和行业的有关标准；

（5）人性化。界面。简洁、亲切、易用、人性化，提供良好的人机体验；

（6）通用性。数据采集及报表格式、数据分析处理方法可用户自定义；

（7）个性化。能够根据工作需求的变化，添加或调整相关功能模块与应用服务。

1.2 可视化平台功能需求

根据前面基于担保业务的需求梳理，可进一步得出我公司金控担保项目数据可视化平台的主要功能需求。

1.2.1 展示数据

按照以下10 个方面进行统计、分析和展现：

（1）总体数据的展示，按照：项目受理、意向保函、正式保函、银行放款，这四个阶段来显示出整体项目数据在各个阶段的数量和金额；

（2）区域数据的展示，按照公司划分的区域来展示项目数据，数据内容包含：项目受理、意向保函、正式保函、银行放款，这四个阶段的业务数据和当前项目对省内扶贫工作的开展情况，能够显示带动脱贫人数、带动脱贫户数、带动合作社数，在显示累计数据的同时，还能按照每周、每月、每年的方式统计出相应时间段新增的数据；

（3）按放款银行进行进行数据的展示，能够显示所有有业务的银行与各个银行办理业务的数量和金额；

（4）按区域地区的不同来展示数据，能够展示当年新增的业务数据与历年累计的业务数据，并且可以显示出该地区扶贫工作的开展情况，显示带动脱贫人数、带动脱贫户数、带动合作社数的相关信息；

（5）按月度统计数据的展示，通过时间的推进能够直观的看出每个月各个项目的完成情况；

（6）反担保措施落实情况的信息查询，能够查询到各个项目详细的反担保措施；

（7）银行统计报告，显示各个有业务银行的业务金额对总体的占比情况；

（8）期限统计报告，能显示各个担保期限的业务具体有多少，能够直观的察觉风险；

（9）区域统计报告，能显示各个市州地区的项目金额与金额占比；

（10）部门统计报告，能直观的看到各个部门当年的任务目标和完成情况。

1.2.2 效率要求

要求可视化平台能够做到对业务数据的实时收集，实时同步，实时展现。能够让使用者对项目的管理更加智能化、便捷化、高效化。能实时导出周报日报等需要的内容，协助日常业务的顺利开展。项目数据的统计、分析和展现包含但不仅限于以上几个方面，在项目实施中可根据业务工作需要进行拓展、补充或细化。

2 数据可视化平台功能设计

数据可视化平台的整体架构设计如图1 所示。

图1： 金控担保数据平台四层架构设计

2.1 预警监测大屏展示

本项目涉及到两个终端：一个是用于大屏数据展示的PC 端，另一个是用于平台操作的移动端。预警监测大屏展示功能模块可用于展示动态监控模块集团查看整体的收费情况、开票情况、保后工作、以及各部门的收费情况、临期项目情况、风险预警项目、以及项目逾期情况。

大屏展示中的所有项都可以点击查看。例如，点击“保费”可查看各部门保费情况。并且点击部门可以直接查看到项目收费明细。通过保费监控可查询、查看所监测的全部项目的保费收取情况和欠费情况，并支持各种条件查询。该功能严格按照权限划分，集团高管可以看全部项目。二级单位只能看自己公司项目情况，项目经理只能看到自己负责的项目。

其他功能项设计与“保费”项保持一致。

2.2 短信提醒

业务进行过程中不可避免地会有临期、突发情况等实际问题。针对这类问题，可视化平台会提前发送短信提醒项目经理，并且在项目进一步临期时，会提醒部门负责人以及高管。具体推送时间通过动态配置来确定，实用、智能且灵活。短信提醒功能作为主动推送的一种方式，可以及时通知业务负责人，从而完美解决这类问题。

2.3 权限配置

不同的用户登录后查看的是不同的数据，比如首页的按月度汇总，集团和陇南的用户看到的是不一样的。尚未的用户即使知道可视化平台的域名部署地址，也无法直接访问业务数据。只有通过登陆获得用户权限验证后才可以访问对应的页面。从权限层面对不同业务的人员进行逻辑隔离，可以保证业务数据保密性。

2.4 其他功能项

项目统计。用于展示各担保项目的汇总信息，为方便查看，设计有纵览、按区域、按银行、按市州、按月度五种视角，并且可以展示反担保措施实施情况。

统计报告。用于展示各担保业务的统计数据，基于业务需求，可以分别查看银行情况、期限情况、区域情况、部门情况的统计数据。

GIS 地图。用于以地图形式直观展示分地域业务情况，可以点击地图区域查看对应区域业务数据。

项目管理模块。用于担保项目的管理，包括查询、增加、修改、删除等等。

3 数据可视化平台开发

系统采用 B/S 架构，分为前端展示层、应用服务层、后端数据层，实现应用系统了逻辑与业务逻辑的分离，利于系统的开发与维护，能够提供丰富、及时响应支持的用户界面，便于操作人员方便快捷的操作。支持多种主流平台，如 WINDOWS 、Linux、HP UX、IBM AIX、SUN SOLARIS等，支持这些平台的 32 位及 64 位操作系统；支持多种主流 的 数 据 库， 如：Oracle Database、DB2、SQL Server、MongoDB、SQLite 等；支持多种主流的浏览器，如 IE11 以上浏览器、360 安全浏览器、Chrome 浏览器、搜狗浏览器等。

金控担保项目管理平台应支持主流 PC Server，部署实施满足以下要求：

安全性：系统安全可靠，符合国家保密要求。充分考虑系统内部、系统平台用户管理等各方面的安全性要求，提供方便有效的安全控制手段，提高应用软件的安全强度，并配合物理安全、网络安全、主机安全、应用安全和数据安全等其它方面的安全措施，达到信息安全、攻击防护、访问控制的目的。

高效性：系统高效运行，响应速度快，能够实时采集和展现数据。

稳定性：必须保证系统运行稳定、安全可靠、权限可控。

规范性：保证系统结构设计的规范性，包括系统内部程序设计、系统各模块间接口、系统内部与外部数据接口、系统用户界面等规范。

标准性：依据政策法规，符合国家和担保部门相应标准规范。

集中性：基于统一的数据库和统一的软件平台，所有业务数据和软件程序统一集中存储和管理，易于安装、维护和升级。

适应性：业务流程可灵活定制，易于适应机关内部部门的变化和业务的调整，在系统运行过程中可根据需要随时进行修改。

易用性：为管理人员提供功能全面的系统管理工具，便于对整个系统进行维护和操作，为业务人员提供使用简单、清晰、方便、统一、标准、美观、符合用户习惯的操作界面，按照人机工程学原理进行界面设计，提供详尽的联机帮助和向导信息。

从技术层面讲，可视化平台的整体设计遵循一般WEB程序的范式。前端展示页面发送HTTP 请求给后端程序，后端程序通过对应的控制器接收请求，控制器调用开发者所编写的业务层处理程序，逻辑层程序向持久层程序发送操作请求，然后由持久层与数据库进行交互后将结果返回给业务层程序，业务层程序将处理逻辑反馈给给控制器，控制器再将逻辑层处理后的数据通过HTTP 协议发送至前端展示页面，最终由前端展示页面进行结果展示。

3.1 前端展示层开发

前端的开发涉及跨终端的问题，在保证多终端体验一致性的前提下，需要尽可能减少开发工作量，这样也能保证日后运行、维护成本。HTML5+JavaScript+CSS3 技术组合刚好可以满足需求。

使用HTML5+JavaScript+CSS3 技术进行开发，采用自适应布局策略，让移动端展示页面主动适配终端，获得展示效果和体验效果的跨终端一致，且不需要对多终端分别进行开发，真正做到“一次开发，多平台运行”。响应式布局可以为不同终端的用户提供更加舒适的界面和具有一致性的用户体验，随着目前大屏幕移动设备的普及，响应式布局技术已经成为主流。

3.2 应用服务层开发

可视化平台的后端技术采用SSM 技术组合，即Spring+SpringMVC+mybatis。

Spring 作为一个开放源代码的J2EE 应用程序框架，可对Java Bean 进行自动的生命周期管理。 Spring 为开发者解决了J2EE 应用程序开发中遇到诸多常规问题，提供了功能强大Web MVC、IOC（控制反转）和AOP 等功能。其中IoC 是Spring 的核心理念，即不再需要程序员去显式地创建对象，而是让Spring 框架完成代码生命周期的管理。开发者通过修改配置文件，即可使用Spring 进行业务逻辑开发，而无需过多关注程序本身的管理，保证应用程序健壮性的同时也大大提高了开发者的开发效率。

SpringMVC 在项目开发中起到拦截用户请求的作用，它的核心Servlet 即DispatcherServlet 扮演请求拦截和分发给对应处理程序的角色，将用户请求通过HandlerMapping 去匹配对应的Controller 程序。Controller 就是具体对应请求进响应处理的程序片段，由开发者进行功能开发。

mybatis 是对数据库链接管理程序JDBC 的封装，它自动调用JDBC 进行数据库操作，对开发者屏蔽了数据库的底层操作，允许开发者不用过多关注数据库操作。开发者通过修改mybatis 的配置文件来使用它，它将自动关联到各实体类的Mapper 文件，Mapper 文件中配置了每个类对数据库所需进行的sql 语句集合的映射。在处理程序每次与数据库进行交互时，均是通过sqlSessionFactory 拿到一个sqlSession，再通过sqlSession执行sql命令操作数据库进行增、删、改、查等数据存取处理。

3.3 后端数据层

数据层的开发主要分为3 个阶段：

（1）构建数据集成和交换平台，对包括数据一体化业务系统在内的各种业务数据库进行实时的汇总、清洗、转换和加载。

（2）搭建 hadoop 数据仓库，对清洗后的数据加载到hadoop 数据平台中。

（3）搭建数据挖掘模型，对多个来源的数据用 R 语言算法进行建模分析和挖掘。

后端数据的处理和存储的管理主要依托于Hadoop 技术进行开发。数据仓库分析平台的设计如表1 所示。

表1： 数据仓库分析平台设计

4 总结

调研发现融资担保行业数字化转型正在大规模进行，同时也存在很多困难和挑战，比如部分机构认知深度广度不足、行业机构技术基础普遍薄弱、人才瓶颈成本约束制约发展、治理水平转型要求难以适配。金控担保项目数据可视化平台成功建设和投入使用并且取得实质性成效，提升业务进行效率，降低系统性风险，作为全国担保行业数字化转型背景下的重大尝试，对同行业具有较大的参考价值。