基于大数据思维的财务数据挖掘及应用研究

2019-12-24朱有婧

国际商务财会 2019年11期

朱有婧

江苏舜天国际集团有限公司成立于1996年，主营进出口和国内贸易及国际招标、生产、仓储和实物租赁等业务，是集技工贸于一体的省属国有外贸集团。面对国内外复杂严峻的经营环境，舜天国际集团始终将财务管理放在集团管控的核心位置，推动构建风险防范文化。集团高度注重财会队伍建设，专门成立集团层面的理论研究小组，组织财会人员进行理论研究，以理论促实践，促进财会队伍提档升级，将实践经验转化为理论成果。在全国及江苏省商务系统财会论文评选中多篇论文获奖，本刊特选登集团财会人员撰写的对商务财会工作实践中新问题进行分析和思考的文章，供转型中的外贸企业财会同行借鉴参考。

【摘要】大数据一词由来已久，如今人们一般用它来描述大量类型各异的数据。数据的爆炸性增长，对于企业未来发展的帮助变得越来越显著，尽管许多企业可能还没意识到数据的急速扩张带来的隐患，但是随着大数据的蔓延，人们将会越来越需要数据、重视数据。如何在短期内快速处理大量不同类型的数据，生成对决策有参考价值的有效信息，数据挖掘便应运而生。文章论述了大数据思维以及数据挖掘的背景与特征，以S企业为案例，运用数据挖掘对自动化财务分析，以及动态监控预警、风险评估方面的财务数据分析进行了应用探讨。

【关键词】大数据思维；财务数据

挖掘；数据分析

【中图分类号】F275

一、大数据时代背景及特征

直到2009年，“大数据”的概念才逐渐在西方国家流行，引起了全世界的极大关注。“大数据”思维和技术开始进入我们的工作和生活。

（一）总体性思维

自19世纪以来，研究社会现象的整体特征，收集数据的主要手段一直是抽样方法，通过抽样获取数据对于无法访问聚合数据的人来说是一种无助的选择。

这是因为过去数据的记录、储存和分析手段较落后，难以搜集大量数据进行储存和分析。而现在人们可以通过各种算法分析数据，甚至可以分析与之相关的所有数据，而不只是依赖于抽样分析，可以更全面地了解样本中隐藏的细节或关键信息。在大数据时代，数据采集、处理、存储和分析技术的发展取得了重大突破，使我们能够轻松、快速、动态地获取与研究对象相关的所有数据，我们的思维方式也从以前的样本思维转向整体思维，这使我们对整体的理解更加全面、立体和直观。

（二）容错率思维

过去由于收集的信息不充分，来源又相对单一，因此有必要确保样本数据尽可能结构化和精细化。否则，分析出的结论就很可能会有所偏离，导致数据不准确，从而将导致分析出的结果与实际情况相差甚远，因此人们十分注重数据样本的精确思维。然而，由于大数据技术的突破，可以存储、处理、计算和分析大量不同类型的数据，这对传统的精确思维提出了挑战。当今时代，我们的思维方式需要转变，不能再完全是精确性思维，而应该转向容错性思维。精度的绝对性不再是我们追求的主要目标，如果能适度忽略精确性，允许一定可控范围之内的错误，反而能在宏观层面上收获更多的知识信息。

（三）相關性思维

在过去，人们常常坚持这种现象隐含的因果关系，试图根据有限的样本数据来分析事物的内部关系。但是，有限的样本数据并不能反映事物之间的普遍联系。大数据时代，使用数据挖掘技术发掘和分析各个事物间的隐藏关系，帮助我们捕捉现状并预测未来。通过关注线性关系和复杂的非线性关系，可以帮助人们看到许多以前从未发现的数据联系，使我们发现了解这个世界更好的视角（图1）。

二、数据挖掘的定义及特征

（一）数据挖掘的背景及挑战

在过去十几年的时间里，人们使用信息技术生成和收集数据的能力急剧增加，这一势头仍将持续发展下去。于是，出现了一个新的挑战：在这个信息爆炸的时代，信息的高度过载几乎是每个人将要面对的问题。在广阔的信息海洋中，我们需要及时发现有用的信息，并有效提高其利用率。为了使数据能够真正成为一个企业的可用资源，就要充分利用它来帮助企业进行业务决策，同时服务于企业的战略性发展，否则这些数据很可能会成为企业的负担，甚至变成垃圾数据。因此，面对这种种的挑战，数据挖掘技术得以产生并蓬勃发展，其强大的生命力标志着它在现今时代的重要性越来越显著。

（二）数据挖掘的定义

数据挖掘通常可理解为数据勘探，是指从大型、模糊、不完整和有噪声的算法中搜索隐藏在其中的潜在有效信息的过程（图2）。大数据时代的来临，使得数据挖掘的研究领域也越来越深入和广泛。

（三）数据挖掘的特征

一是数据的来源是庞大、丰富、有效、内容真实和不确定的；二是提取的数据内容是为了满足用户的需求，是用户重点需要关注的对象；三是数据挖掘的结果在特定的领域有一定的商业价值，通常是相对的；四是用户可以理解、描述和使用挖掘出的内容。

三、案例分析

外贸企业S主要从事进出口贸易，进出口产品包括：成套设备、机电产品、化工原料、木材和轻工、工艺品、工农业设备等。自ERP系统上线以来，制作业务合同11 074个、申请客商6 453个、收款17 330笔、付款51 177笔、收付金额合计超过180亿元，建成承接业务数据的财务自动凭证模板112个，生成会计凭证8.55万份，新增会计记录81.87万条，自动化凭证率已稳定在90%以上，业财一体的信息化建设目标已经初步实现，ERP系统在内部控制、业务管理、风险防范和财务管理等方面取得了立竿见影的效果。S企业基于业财数据，建立了财务分析自动化、财务预警平台、财务风险评估平台等模块，以下进行案例分析探讨。

（一）财务数据分析存在的问题

1.海量数据缺乏准确性

S企业数据量巨大，从海量数据中查找有用信息不仅需要实时收集、组织和存储数据分析，还需要提取出有利于企业决策的信息数据。对于S公司和所有企业来说，识别这些数据是一个巨大的挑战。如果不能准确筛选和识别数据，企业将难以获得有价值的信息，数据垃圾越来越多，带来的将是“大数据灾难”。S企业在建设客户评审、财务分析等模块过程中，发现数据冗余繁多，传统思维模式的分析方式已经不适用。

2.数据分析缺乏科学性

企业面临的市场环境变得越来越复杂，特别是“线上+线下”的商业模式，使得企业财务数据呈指数级增长。在获取数据时，通过数据分析，得出的结论往往带有指向性，主要是由于来源数据未必会全面客观，很多数据可能已被提供者事先处理。因此，即使数据本身没有错，但数据分析的过程不一定正确，比如对一些信息断章取义，那么分析出的结论有可能与事实大相径庭。

3.数据分析持续滞后性

S企业经营中面临的情况不断变化，以该企业财务分析的编制为例，从经营实际到生成财务报告，不仅要经过一个会计系统的加工，更需要一个生成周期。因此，根据财务报告计算出来的财务指标天然是滞后的，并且财务分析中罗列的各种数据需要经过不同的分析算法，如果没有数据的自动分析，工作量将很大，制作周期也会很长，更容易造成财务分析的持续滞后。

（二）建立大数据思维挖掘模式

1.各类数据交互整合

S企业财务数据里包含企业各种经营数据，财务分析很大程度上早已超出了以前资金管理、成本控制的范畴。这些财务数据庞大而繁琐，如果不能整合，不能相互关联，将会影响S企业的经营管理和价值数据的挖掘。因此，如何对现有ERP系统中的数据进行科学分类整理是重要的第一步。根据S企业的管理精细度可以从不同用途将数据分为预算、战略、核算、税务、资金管理、绩效考核等几部分进行数据提取，建立模型、数据验证等，真正将财务部门转型为财务管理部门。目前，S企业各部门和各业务公司形成的“信息孤岛”已经被打破，业财一体化打破了传统的财务管理界限。

2.海量数据“提纯”

大数据的本质是还原用户的实际需求，因此在使用大数据思维技术分析财务数据时，应该找出这些数据背后的真实关系，并恢复数据的真实面貌。将海量数据进行“提纯”，这是数据挖掘中至关重要的步骤。现今，S企业可以通过各种渠道获取所需要的数据信息，但信息的真实性和时效性并不能得到保证，在会计工作中，数据挖掘可用于查找数据背后的真实隐藏价值，以确保数据的有效性和合理性。

3.挖掘财务数据本质

根据业务特点，应用大数据知识和数据挖掘技术，探索财务数据的本质。在企业的经济业务中有些数据并没有真实反映业务情况，这就需要会计人员根据企业的业务特点具体分析财务数据，用生产数据倒推财务数据，找出真实联系。比如，若原材料占比较大，我们就可以根据企业购买原材料的数据来分析该企业的生产情况，从而推测该企业的经济效益；若对电力需求非常大，我们就可以根据企业的车间月用电量来推测企业的生产情况，例如财务数据显示企业生产状况很好，但企业的用电量却减少了，说明数据是有问题的。会计人员在分析数据时就要了解本企业的经营情况，根据业务特点和业务数据清理虚假数据、挖掘数据本质。

（三）建立数据挖掘应用模型

如今，数据挖掘方法层出不穷，在财务领域应用较多的有几种分析模型，分别是统计分析、决策树分析、聚类分析、关联规则、人工神经网络等。本文仅关注S企业目前应用的分析模型，如下：

1.统计分析模型

统计分析模型是数据挖掘中最基础的分析模型，在许多分析模型中都有统计分析的身影，并且以统计分析为基石。例如，在聚类模型算法中，使用了统计分析的平均值计算方法，在关联算法中使用了统计分析的置信区间作为基础。S企业销售决策中对于客户价值细分方面，在客户评级模块中，通过辨别分析法根据一个阈值来判断客户具有的价值究竟属于哪个区间；使用回归建模来预测财务数据的潜在价值，有助于管理者进行决策。

2.决策树模型

决策树是对海量数据进行整理归类，通过剪枝的方法剔除无关数据，根据分析数据后的结论达到预测目的。通过先设定归纳值的集合形成决策树，若此决策树未能对全部数据对象给出准确的划分，采取重复训练的方法，依据这些数据继续提取新的数据集，重复放到原始数据集中，并重复循环此过程直至所有训练数据精确归纳处理，S企业将决策树分析算法运用在财務人员日常工作考核模块中。

3.关联规则模型

如今，在数据挖掘和分析中广泛应用了关联规则的方法，关联规则分析的是数据因果关系之外的自身关联性，从数据反映出的事实出发，挖掘出具有决策意义的结论。也就是说，如果两个或者多个事物的属性间存在某种关联，则可以通过依赖其他不同种类的属性值来预测当中一个的属性。

（四）财务数据挖掘的实现机制

如今财务数据分析的理论基础已经非常成熟，但由于受到经济和社会环境的影响，对财务数据分析的发展有了更高的要求。在这个信息爆炸的时代，信息即资产，企业需要从庞大的财务数据中通过关联规则发掘出有潜在价值的信息，为管理者提供可靠的决策支持，实现过程见图3。

1.数据全面预处理

S企业ERP系统中财务的初始数据并不是完全无噪声的、精准的，需要对初始数据进行清理。噪声数据的处理是最典型的，并且可以通过分箱、聚类、回归等来完成清理。例如枚举型的数据如账务类型、记账部门、业务组属性等，如果出现枚举以外的结果，则应作为噪声数据过滤。可能出现空值的地方有很多，主要是由于收集数据的时候缺少样本信息。有很多方法可以处理空值，例如最大频率填充、平均数值填充、随机数填充等。但是，填充空值必须根据实际业务情况和变量本身的特征进行处理，不能随意填写。

通常在严格把关财务数据生成过程情况下不会出现很不符常理的噪声数据，但是在财务分析数据抓取时，为了能尽量考虑最大可能性，需要对数据进行全面预处理，保证抓取数据的准确性。

2.自动化财务分析

S企业已实现自动化财务分析，运用了关联规则中的交互挖掘算法，并通过接口实现了从ERP系统中自动生成财务分析文档。

（1）数据定向指标分析

S企业对财务数据指标的分析，延续了传统财务数据分析的概念和计算公式。财务分析的重点在于指标体系的确立，常规包括图4分析层次树的各项指标，并根据这些指标的确定，建立了各种分析查询，如经营指标完成情况、营业收入情况、营业成本及毛利情况、资产情况、负债及净资产情况等。定向指标的分析方式根据企业的经营管理模式来展开，在设置指标时需要注意的是：

a.指标要素齐全适当。在财务数据分析之初，指标不能随意确立，指标要素应齐全，要求所设置的财务指标能够体现企业的盈利能力、经营能力以及偿债能力等诸多方面的总体情况。

b.主辅指标功能协调匹配。在建立分析指标的过程中，首先要弄清楚整体结构中指标的主要和辅助状态；其次，不同类别的主要评估指标应从不同方面和层面反映公司的业务状况和财务状况，揭示企业管理的实际表现。

c.满足多方面财务信息的需求，并为企业管理者提供多层次、多角度的信息，是设置财务分析指标的最终目的。财务分析指标的健全有效，不仅能满足企业内部管理决策的需求，还能支持政府经济管理机构实施宏观调控。

（2）建立分析层次树

建立分析层次树可结合决策树模型（见图4），根据不同的需求对财务数据进行层层分析。在构建层次树的时候，要将确立的财务指标体系充分考虑在内。按照广度优先建立各层分支，通过高低层次之间的概念替换来体现数据的泛化操作，直到每个子结点包含相同的类标志为止。根据财务数据分析的实际需要，可将树设立为0到多个不同的层次域，最高层为0层即树的根节点，根据层级的递进，财务数据分析的内容会更为细致。第一层可分为定量和定性分析，第二层定量可分为盈利情况分析、资产运营分析、成长情况分析、偿债能力等，定性可分为有形资产、可持续发展力等。

（3）自动生成分析文档

数据挖掘的方法力求打破各系统间的数据交换，直接从源头获取数据，随时响应分析需求，实现从事后分析到实时分析。S企业根据建立的分析层次树的各项指标，运用财务计算方法计算各项指标数据，并将各项分析情况展示在ERP系统中。同时，在进行定向数据度量分析之后，基于各项指标的分析结果，并根据S公司财务分析的格式模板，自动生成S企业的财务分析文档，财务人员从财务分析平台上可直接导出文档格式的财务分析。

S企业实现的财务分析自动化，大大减少了财务人员制作财务分析的工作量，提高了财务分析生成的效率，将财务人员从密集、繁琐、手动的工作中释放出来，同时也提高了财务分析数据的准确性和有效性。

（五）实时动态监控预警

传统财务数据的分析，无论其变化的方式如何，仍然无法摆脱事后评估的内在局限性，并且所获得的结果不可避免地存在滞后。S企业基于数据挖掘方法，动态实现了对关键性指标的跟踪和预警，运用一定的规则对指标进行实时测算，一旦超出设定的阈值，将会及时作出预警提示。图5为S企业预警管理模块的实现流程。

1.财务预警管理平台

基于数据思维的相关性，财务数据的生成不可避免地受到业务数据的驱动，通过分析出的各种已经存在或即将有可能发生问题的数据，要追本溯源，从源头分析和解决问题。

S企业建立了财务预警管理平台，旨在让财务人员能够及时发现财务数据中的问题数据，及时推送到业务端核对分析，最终将形成原因及解决措施反馈到财务端，做到每条存在风险或问题的数据有迹可循、有法可依、有方可解。具体的预警有：对往来账和库存等科目按照账龄分析、逾期情况、贬值风险等不同的维度进行数据列示，将到期、逾期、欠款、账龄、减值等方面的财务数据抓取后制作成数据监控平台，财务人员在该模块可直接查询到超出设定范围的问题数据，同时经业务反馈的形成原因或解决措施会立即同步到该问题数据的记录中，显示在监控平台中已收到反馈的分类下面，方便财务人员及时查看业务端返回的信息。

2.预警信息自动推送

财务人员在预警管理平台查询到的问题数据，可以以两种方式推送到业务系统中：一是利用分析模型，直接在系统执行定时任务的方法，每天晚上定时批量的将问题数据推送到业务系统；二是财务人员自定义推送，主要针对需要立即解决的问题数据，财务人员查询到此类数据后可以直接在预警平台批量点击推送，将数据推到业务端去。推送数据根据一定的规则分组打包成问题反馈单，例如同公司同业务组的多条数据打包成一张单据，自动从财务系统将数据推送到业务端，该单据的待处理信息会直接在业务系统的首页显示，提示业务端发现并处理问题。

3.业务反馈预警模块

业务系统接收到财务推送的问题数据后，在系统首页能直接查看问题单的信息，并可穿透到明细单据信息中填写形成原因和解决措施，经过业务领导的审核后，会自动反馈回财务系统中。同时，业务端可在反馈平台查询到已反馈回去的数据情況。

S企业预警模块的设立，实现了数据信息的有效利用和深度挖掘，为管理决策提供强有力的信息支撑。并且，在加强数据稽核的基础上，动态实现指标的测算和预警，实现了财务数据监控预警的可视化、流程化和系统化，集内部监控、预警和决策支撑于一身。

（六）财务风险评估

数据挖掘不只是一种分析方法，它本身其实是一个知识发掘的过程。通过对财务数据的分析，不仅可以实现自动化财务分析和动态监控预警，还可以通过分析财务数据来评估财务风险，帮助管理者经营决策之用。

S企业的财务风险评估，建立在财务分析定向指标设立的基础上，运用决策树分析的模型进行了风险评估功能的开发。

1.构造风险决策树

在自动化财务分析的层次树设立的基础上，进一步构造风险指标的决策树，基于相关性的关联规则，财务分析的层次指标在风险评估中可以充分使用，原理是利用二叉树的结构来执行数据的统计分析，构造过程通常是：生成一个多层次、多节点的树，通过构造树节点以产生一系列子树，我们可以选择合适大小的树来统计分析不同层次的数据（见图6）。

风险指标的树结构是财务风险评估实现的基础，通过设置的风险树将风险的层级确立下来，按照广度和深度向外延伸，最终构成风险评估的完整体系。

2.确定指标风险阈值

风险指标构造完成之后，需要确定每个指标达到风险的范围，在指标阈值设置平台上，根据企业的经营管理制度要求，财务人员可设置每个风险指标的阈值，当该指标的分析结果超出阈值，则进行建模分析，并显示该项指标具有财务风险（见图7）。

3.设置风险层级权值

数据挖掘方法作用于财务风险评估，重点在于打破连续性的财务数据，使其呈现出离散化的分布特点。考虑到财务指标数据在取值方面的差异，根据区间的不同，可基于维度的分解来进一步划分财务风险指标。

根据树的构造和修剪过程中每个分支的重要性，确定每个层级对风险树的影响程度，即每个风险层级的权重。可依据重要性原则对每个指标进行权值分配，该权值的设定目的在于得出综合风险评估的可量化和可视化结果。在分析财务风险评估的结果时，将风险层级的权值参与计算，一级风险50%、二级风险30%、三级风险20%。在风险评估平台展示风险各层级的指标分析情况，并根据权值计算出最终风险评估的结果。

（七）数据挖掘方法延伸

S企业根据自动化财务分析、动态监控预警平台以及风险评估的实现，在ERP系统中拟开发经营驾驶舱平台。驾驶舱的建立是为了了解企业管理的状况，并通过驾驶舱了解和深化公司的潜在问题，帮助管理者进行调整。企业经营驾驶舱的本质是将企业财务分析的结果变得更加清晰、直观。因此，驾驶舱中使用的数据指标也是财务数据分析中的各种财务指标。

构造经营驾驶舱除了基于数据挖掘技术生成的各项财务指标，还需通过BI（商业智能）实现，是基于数据挖掘的延伸。在保证数据准确性的前提下，核心数据通过转换合并形成数据中心，通过数据中心使用合理的查询和分析工具，以及数据挖掘技术进行统一的数据分析和处理，成为企业决策者的辅助工具。

四、结束语

在大数据时代，虽然数据挖掘分析技术的运用时间不是很长，但是它在提高企业的商业价值方面起着至关重要的作用，不仅为企业的财务数据分析提供了更准确的数据，还提高了财务人员的工作效率，使财务工作更加便捷。

企业应根据大数据重新定位财务管理的角色，利用数据挖掘分析方法对资金流、风险管理、资源配置等进行深入分析，帮助管理者做出经营决策，同时优化企业的资源分配，为企业创造更大的价值。

主要参考文献：

[1]陈小莉.基于大数据的计算机数据挖掘技术在档案管理系统中的研究应用[J].激光，2017（2）：142-145.

[2]赵春.基于数据挖掘技术的财务风险分析与预警研究[D].北京化工大学.

[3]肖明.大数据时代下数据挖掘技术在企业中的应用[J].中国管理信息化，2015，18（2）：58-58.

[4]林琛.关于大数据在财务管理领域中的应用[J].现代经济信息，2017（16）：186-187.

[5]崔颖.大数据时代下的财务管理创新[D].

[6]朱晓虹.企业财务大数据与财务管理[J].国际商务财会，2018（02），73-75.

[7]孙梦阳.大数据时代企业财务管理信息化建设的研究[J].现代经济信息，2018（14）：185+187.