商业信用风险管理大数据平台设计
2020-09-10史蔷曾陈萍钟昆
史蔷 曾陈萍 钟昆
摘 要:商业信用风险的管理一直是国内外金融界关注的焦点,而其中高质量的信用风险管理大数据平台的建立是信用风险管理的关键。本文以提供商业信息及风险管理服务的企业商安信公司的大数据平台设计为实例,具体分析如何根据商业信用风险管理的特点,建立商业信用风险管理大数据平台,并详细论述其总体架构:包括认证层、服务层、消息层和数据层,整个平台采用模块化功能管理方法,主要包括查询模块、统计模块、监踪模块、管理模块、分组模块、筛选器模块等6个模块。
关键词:商业信用;信用风险;大数据技术;基础平台建设
1 引言
商业信息及信用风险管理大数据平台是整合与分析商业信息的数据库管理软件以及提供精细化的风险量化、集中风险管控及决策支持引擎等应用软件的总和[1]。它通常由若干个子功能模块组成,如统计模块、分组模块、查询模块、管理模块等[2]。平台首先采集数量巨大且种类繁多海量信息源,同时实现全面处理各种类型的信息[3]的平台功能,包括数据处理、分析与管理、数据挖掘、数据可视化及数据深度应用等大数据增值功能。
一般情况下,平台以公开的方式将所处理的信息提供给各级用户,以此作为商业信用风险评价依据,为用户提供在线实时风险控制的全套解决方案[4]。同时,有些信息作为商业秘密而被企业保存起来,企业非常注重这部分信息其的安全性及保密性[5]。因此,商业信用风险管理大平台又必须为数据提供安全可靠的保障,保证秘密数据的完整性和安全性,确保这些数据不因被盗窃而遭受经济损失[6]。
随着世界各国经济与贸易快速增长,商业信息数据量以指数级方式增长,用户的新需求源源不断地出现[7]。在短时期内用户就可能提出更高的动态目标需求,这就需要大数据平台具有高度可维护性,易于扩展,便于尽可能地延长平台的生命周期,避免开发项目的经济效益受损[8]。由此可見,建立高效的、系统的商业信息及信用风险管理平台迫在眉睫。因此基于信息技术,通过全面的、整体的系统分析和设计,建立合理的、完善的商业信息与信用风险管理大数据平台,可使商业信用风险管理更加科学和有效[9]。
2 平台的基本组成
任何平台软件在开发设计与实现之前,开发人员首先必须要清楚的是将要开发的软件需要实现哪些功能,需要做什么与怎么样去做[10]。即开发人员在平台设计与实现之前必须先进行详尽的目标平台的现状与需求分析,并确切地了解“所要建设的大数据平台需要解决现状所存在的哪些问题,必须采用哪些分析与管理方法来达到所需要达到的目标”这一问题[11]。商业信用及风险管理大数据平台应用模块化方法将目标分解为各个子模块,用来解决用户各个具体目标的需求[12]。
本平台是基于上海商安信公司的信息及信用风险管理之需求而进行的大数据平台开发与设计。商安信是信用信息提供商和信用风险管理服务机构,具有欧洲信用信息服务机构Credit reform的SI信用风险评估体系的全面技术支持,依托全球24个国家超过6000万家企业的信用数据资源,结合中国市场特点,助力企业识别优质商业伙伴、规避潜在商业风险,推动社会诚信体制的建设。
商安信以客户实际需求为导向,提供商业信用及风险管理的支持和优化服务,包括信用报告、信用评级、认证咨询、商账催收、商业信息研究、商业法律顾问、企业信用风险管理培训等。商安信助力海外企业在中国寻求贸易伙伴,同时也服务于中国出口商,运用广泛的网络和国际资源,帮助其有效地拓展国际贸易,并提高应对商业风险的能力。
开发人员在商安信公司的商业信用及风险管理大数据平台设计之初,首先对商安信的数据管理现状及其存在的问题进行了全面而系统的研讨与分析,详细报告如下:
大数据平台的开发人员同时对商安信公司的建设目标进行了整体的、详尽的了解与深入的分析:
2.1 总体设计
商业信用风险有两个重要特点,即不确定性和损失。因此在进行商业信用风险的分析与管理时,最主要的是量化不确定性的程度,并且具体评估出与每个风险相关的损失程度[13]。基于以上风险特点,开发人员致力于为商安信公司设计一款能够提供一站式信用风险管理大数据平台,为信用风险管理企业系统地提供基本信息查询检索功能、各类维度统计、及对重点关注对象进行监踪的功能。本平台采用B/S的软件体系结构,浏览器要求采用IE10版本。
2.2 结构说明
应用架构
平台系统整体采用前后端分离的方式进行架构,前端采用VUE,后端采用springboot,便于扩展。
系统整体分为认证层、服务层、消息层、数据层。
(1)认证层:主要对用户进行录入、角色管理、权限分配,鉴权;
(2)服务层:对外提供查询服务、统计服务、监控服务、分组服务、筛选器服务;
a)查询服务分为模糊查询、分类查询、查询分类信息;
b)统计服务根据用户所选维度进行统计分析;
c)监控服务提供用户新增监控企业、监控预警服务;
d)分组服务提供用户结果集保存。
(3)消息层:进行预警通知及其它推送信息,确保消息按序消费。
(4)数据层:进行索引同步、IEM数据库及数据中心数据查询。
3 总体结构
商安信大数据平台主要分为六大模块,具体包括:查询模块、统计模块、监踪模块、管理模块、分组模块、筛选器模块。
用户通过查询模块获得结果集,可将结果集进行分组以便导入其他应用模块进行处理,并且可将我的分组中结果集通过共享文件夹分享到同一层级的人员。
4 模块设计说明
4.1 查询模块
用户登录系统之后,有两种检索模式可选:模糊检索和条件检索。
4.1.1 模糊检索
模糊检索:可通过输入单个或多个以空格为分隔符的多关键字/词组合检索,并可以对初次检索的结果进行二次有效条件检索。
4.1.2 条件检索
条件检索的搜索条件固定,可在给定的检索条件内进行多条件组合筛选。
4.1.3 查询结果及明细
通过模糊检索或条件检索得出的查询结果可进行监踪、分组、编辑、导出,通过对单个公司Id(crefoNo)对数据中心进行相关数据明细查询,显示相关公司信息。
4.2 统计模块
可通过分组管理导入该模块数据,进行表格及饼图、线图、柱状图、及组合图的展现。
4.3 监踪模块
信用风险管理大数据平台就好比是一道警戒线。企业的信用风险存在于各个业务环节中,一套完备的信用风险管理大数据平台必须具备全程监控和的追踪的功能,以确保整个平台对外部环境的变化作出较快的反应。
采用定时轮询的方式,加入监踪到已有API中;从API定时抽取预警公司相关信息到预警池。
通过用户定义的监踪明细与预警池中数据做比对发起预警,并加入消息队列通知用户。
4.4 管理模块
由系统管理员创建合作单位公司相关信息及管理员相关信息息,并授予该管理员公司层级的相关权限信息(具体分配权限根据业务条件而定),并授予管理员是否允许向下授权:
1.公司层级管理员可对该公司用户进行授权管理。
2.所有人员的操作及消费均会计入相应的操作日志及操作日志。
4.5 分组模块
分组管理模块中的结果集可以被选择性的勾选字段信息,并以excel的形式导出系统。
若需对任何结果集进行统计,可将该结果集导出至统计模块,利用统计模块自带的统计方法,或者用户自定义的方法,用于进一步统计数据分析。
4.6 筛选器模块
通过“查询模块”中的“条件筛选”完成创建,当用户在“查询模块”进行“条件筛选”筛选企业时,可以选择将该条件筛选保留在筛选器管理模块中,以便日后再次使用。
筛选条件可修改,可通过筛选器选择筛选条件运行自动跳转至查询模块检索,并可将筛选后的结果集导入分组管理模块。
5 结论
伴随着数字化、信息化的社会发展,大数据平台、“云计算”等一系列信息技术的出现,转变了人们对传统信息业的观念。从最初的信息互动上的质疑,到现在的认可和重视。
以商安信基于大数据相关技术平台系统为案例,开发人员首先对构建大数据平台系统进行可行性分析、平台的业务需求和功能需求和非功能需求分析等不同维度的分析。根据系统需求对系统进行了设计,包括平台架构设计,对平台的应用进行了介绍。研究了基于大数据技术的商业信息和信用风险管理系统的理论模型,构建基于大数据技术实现信用风险管理系统的六个功能子模块,满足大数据环境下商业信用风险管理平台对业务和功能方面的需求。
应用大数据管理与分析平台来有效支持企业从大数据中整理和积累知识,并为企业用户提供知识的智能搜索,提升企业对于大数据的应用水平和方法。商安信基于大数据平台的信用风险管理系统的成功实施和运行,可以给其它相关企业的基于大数据平台的风控系统建设提供实践参考,也可以给其它公司的大数据平台建设提供借鉴。
参考文献
[1] 赵刚.大数据:技术与应用实践指南[M].北京:电子工业出版社,2013.
[2] Junqueira F.Zookpeeper:Distributed Process Coordination[M].O'Reilly Media,2013:210-333.
[3] 卢湘江,李向荣,宴子.My SQL高级配置和管理[M].北京:清华大学出版社,2001:8-9.
[4] Dean J.Ghemawat S.Map Reduce:Simplified Data Processing on Large Clusters[J].Communications of the ACM,2008,51(1):107-113.
[5] Han Jiawei,Micheline K.數据挖掘概念与技术[M].范明,孟小峰,译.北京:机械工业出版社,2007.
[6] Rajaraman A,Ullman J D.大数据:互联网大规模数据挖掘与分布式处理[M].王斌,译.北京:人民邮电出版社,2012.
[7] Gantz F,Reinsel D.The 2011 Digital Universe Study:Extracting Value from Chaos.[EB/OL].[2012-07-26].www.emc.com/collateral/demos/microsites/emc-digitaluniverse-2011/index.htm.
[8] Fouche P.A competitive intelligence implementation mode [Dissertation].South Africa University of South Africa,2006.
[9] Pamela Johns,Doris C.Van Doren.Competitive intelligence in service marketing:A new approach with practical application[J].Marketing intelligence & Planning,2010(3):538-550.
[22] Saayman A,Pienaar,De Pelsmacker P,et al.Competitive intelligence: construct exploration,validation and equivalence[C]//Aslib Proceedings. Emerald Group Publishing Limited,2008,60(4):383-411.
[10] Craig S.Fleisher.Using open source data in developing competitive and marketing intelligence[J].European Jouranl of Marketing,2008(7): 852-866.
[11] Ebner K,Buhnen T,Urbach N.Think Big with Big Data:Identifying Suitable Big Data Strategies in Corporate Environments[C]//System Sciences(HICSS),2014 47th Hawaii International Conference on Publication Year:2014,Page(s):3748-3757.
[12] Big data:the next frontier for innovation,competition and productivity[R].Mc Kinsey Global Institute,2011.
[13] Labrinidis A,Jagadish H V.Challenges and opportunities with big data[J].Proceedings of the VLD B Endowment,2012,5(12):2032-2033.