大数据审计：现状与发展

陈伟 居江宁

一、引言

传统手工环境下，审计人员常用的审计方法包括检查法、观察法、重新计算法、外部调查法、分析法、鉴定法等。随着信息技术的发展，被审计单位的运行越来越依赖于信息化环境。信息化环境下审计工作发生了巨大的变化，以查账为主要手段的审计职业遇到了来自信息技术的挑战，利用信息技术开展审计工作成为必然。这种情况下，审计工作的内容和方法发生了变化，电子数据审计成为近年来审计信息化领域的热点问题。审计人员若不掌握电子数据审计技术，将面临无法胜任审计工作的挑战。目前，随着信息技术的发展，大数据（Big data）时代的到来使得审计工作将不得不面临被审计单位的大数据环境，如果不研究大数据环境下如何开展审计工作，审计人员将再次面临无法胜任审计工作的挑战。

二、大数据审计概述

（一）审计与大数据的关系

信息化环境下，审计人员一般根据审计任务的需要，到被审计单位现场采集电子数据，然后对这些电子数据进行预处理并完成数据分析，获得审计证据，这种开展电子数据审计的方式可称之为现场电子数据审计，这是目前电子数据审计的主要方式，其原理如图1所示。由图1可知，目前电子数据审计工作中，数据对审计人员非常重要，审计的过程也是一个“用数据说话、用数据决策”的过程。

信息技术的发展使得审计信息化向持续、动态、实时的方向发展，持续审计（或连续审计）（Continuous auditing，CA）成为审计信息化的一个重要发展方向（CICA/AICPA，1999；Lambrechts等，2011；Vasarhelyi等，2012；Gonzalez，2012；Rutgers Accounting Web，2017）。目前常用的联网审计也是持续审计的一种方式，其原理可概括为如图2所示（国家863计划审计署课题组，2006；陈伟，2012：Chen，2012；杨绮，2014；陈伟，2017）。不难发现，相对于现场电子数据审计，联网审计的原理可以看成是一个采用远程联网方式从被审计单位采集电子数据，并对其进行分析，获取审计证据的过程。联网审计技术的应用为审计单位积累了大量的电子数据，这为开展审计大数据分析提供了条件。

目前，被审计单位信息化程度高，信息系统复杂，需要采集的数据类型较多，不仅仅是数据库中的结构化电子数据，还包括一些会议记录、会议决议、办公会通知、办公文件，以及一些政策、内部控制手册、各个系统使用手册等非结构化化数据。因此，审计工作与大数据之间已经密不可分。

（二）大数据审计的内涵

大数据审计是随着大数据时代的到来以及大数据技术的发展而产生的一种新的计算机审计方式，其内容包括大数据环境下的电子数据审计（如何利用大数据技术审计电子数据、如何审计大数据环境下的电子数据）和对大数据环境下的计算机信息系统进行审计两方面的内容。大数据审计所包括的主要内容可简要归纳为如图3所示。其中，大数据环境下的电子数据审计问题是目前研究与应用的热点。

三、国外大数据审计的相关研究与应用情况

（一）学术研究

目前，国外学术界关于大数据的研究较多，但对大数据审计的相关研究成果还较少，主要研究情况如下：

Earley（2015）分析了大数据技术给审计工作带来的机遇和挑战，研究了大数据技术在CPA审计中的应用；Wang（2015）调查发现：数据审计在审计工作中具有重要的作用，但社会审计和内部人员对数据审计重视和应用还不够。目前对社会审计和内部人员来说，在开展数据审计时存在以下困难：难以获得合适的数据、缺少训练有素的员工、不愿意在数据审计方面投资、不知道从哪里开始、审计收益与成本不确定，并建议学术界从8个问题出发，研究数据审计问题。PwC（2014）的调查发现：在实际的审计工作中，计算机辅助审计技术（CAATs，Computer Assisted Audit Techniques），特别是数据审计技术的使用要比预期的低。Brown-Liburd（2015）认为要多关注审计人员处理大数据的能力，比如如何对审计人员进行大数据审计方面的培训，如何开发大数据审计工具或借助其他领域的软件工具来开展大数据审计。

大数据时代产生的数字数据量常常会超过许多组织的数据存储能力，另外，在本地存储系统中管理如此大量的数据也是很困难的，因此，云计算成为解决大数据存储与管理的一种重要方式。但由于这种方式使得组织缺乏对其数据的控制和物理占有，因此，这些存储在云计算系统中的外包数据的完整性和安全性仍然是数据所有者担心的主要问题。为了解决这一问题，Sookhak（2017）提出了一种有效的远程数据审计方案，以验证存储在云计算中的数据的完整性。Zhang（2016）提出一种基于ID的外包数据审计方法，以确保存储在云计算系统中的外包数据的安全性和完整性。Li（2017）提出了一种名为SA-EDS模型的智能加密方法，用来确保云计算中分布式大数据存储的安全性。这类研究可以看成是对大数据环境下的计算机信息系统进行审计。

（二）实务应用

国际内部审计师协会（IIA）2011年8月发布了全球技术审计指南《数据分析技术》，分析了审计数据分析技术，如分类分析、重号分析、断号分析、Benford定律等（Lambrechts等，2011）。AICPA（2014）于2014年8月发布了一份名为《Reimagining auditing in a wired world》（在数字世界里重构审计）的白皮书，分析了大数据环境对审计工作的影响，并指出：可以利用相关大数据作为实际被审计数据的辅助数据，通过数据分析技术，识别和发现被审计数据中的关联关系，从而发现审计线索。比如，报表、会计欺诈、破产、或持续经营问题等和从公司的一些文件和数据源得到的一些指标是有关联的，因此，通过分析从公司获得的一些文件和数据源，可以发现相关审计线索。这为开展大数据审计打下了基础。

美国证券交易委员会（SEC）使用大数据分析来确定内幕交易和会计欺诈，运用大数据策略来监督金融市场活动，比如，他们利用自然语言处理程序和网络分析来帮助识别违规交易活动。美国联邦住房管理局（FHA）运用大数据分析来帮助预测违约率、偿还率和索赔率，利用大数据技术为可能出现的场景构建现金流模型，以确定维持正向现金流所需的保费。美国社会保障局（SSA）利用大数据技术来分析海量的非结构化伤残索赔数据，通过更快、更高效地处理医学分类和预期诊断，重塑整个决策过程，更好地识别可疑的不实索赔。

图1 电子数据审计原理

图2 联网审计的实现原理

图3 大数据审计的主要内容

普华永道2015年2月在《Data Driven： What Students Need to Succeed in a Rapidly Changing Business World》中指出：高校应该为审计、会计专业的学生提供大数据审计方面的课程，对相关审计人员提供大数据审计方面的培训工作，教会他们使用大数据分析程序语言与工具（如R语言、Python、Java等）、数据可视化分析工具，从而满足审计人员开展大数据审计的需要（PwC，2014）。

麦肯锡认为，目前已有经典技术可用于大数据分析之中，这些技术如：关联规则挖掘、数据聚类、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、模式识别、预测模型、回归、信号处理、空间分析、统计、监督式学习、无监督式学习、时间序列分析、时间序列预测模型等；此外，也有一些可专门用于整合、处理、管理和分析大数据的关键技术，主要包括：Big Table、商业智能、云计算、Hadoop、HBase、MapReduce、Mashup、元数据、非关系型数据库、关系型数据库、R语言、可视化技术等，其中，可视化技术是大数据应用的重点之一（Manyika，2011）。

（三）国外政府开展大数据审计情况

2017年4月18日，世界审计组织大数据审计工作组第一次会议在南京召开。来自美国、中国、英国、印度、巴西、奥地利、挪威、俄罗斯、泰国、印度尼西亚等多个国家的代表分别介绍了本国开展大数据审计的情况。主要相关情况概括如下：

英国国家审计署（NAOUK）的大数据审计重点是增加价值，减少成本。目前是借助开源工具R语言、Shiny软件和可视化软件，应用统计、机器学习、文本挖掘和可视化等技术开展大数据审计。

印度审计署（CAG）于2016年9月设立了数据管理和分析中心，广泛使用来自审计署内部、被审计单位和第三方的各类数据，采用统计、可视化等技术开展大数据审计。

巴西联邦审计署（TCU）审计信息管理办公室自2006年以来一直注重审计数据的采集与应用工作，目前，已采集了巴西56个最重要的政府部门相关数据库，汇总了7TB的审计数据，供审计部门根据需要使用这些数据开展审计。审计人员可以使用SQL、审计软件 ACL、R语言等软件与工具（CAATs）开展数据分析。

奥地利审计法院（ACA）对简单的数据分析使用Excel，对于复杂的数据分析，建模和大数据审计则采用R语言进行，对文本分析采用词云技术。

厄瓜多尔审计署从民政局、全国选举委员会、劳动部、财产登记、国内收入服务、社会保障国家机构等部门收集信息，并采用数据挖掘技术和开发相关APP（手机软件）利用这些大数据。

尽管爱沙尼亚审计署（NAOE）在审计中没有使用大数据分析的经验，但其国家的一些大学和科研机构正在开展一些大数据方面的应用研究。

芬兰国家审计署（NAOF）高度重视大数据审计的应用，目前所有国家部门和机构都使用相同的会计系统，会计数据已电子化，审计人员已系统地使用CAATs相关分析工具开展电子数据审计，审计的对象包括传统的财务数据、电子邮件、社交媒体、视频、声音等。今后计划把机器人技术、可视化技术应用于审计之中。

印度尼西亚设计了CRISP-DM系统来开展大数据审计，采用该系统进行数据分析的步骤为：业务理解、数据理解、数据准备、建模、评价、部署。

挪威审计署（OAGN）采用IDEA、Excel等工具开展数据审计，目前主要分析结构化数据，下一步准备对非结构化数据进行分析，现在正在建立数据科学和数据分析的能力，今后将使用微软的数据仓库技术（SQL Server Analysis Services）、可视化技术、开源工具R语言、Shiny等开展大数据审计。

泰国目前是采用审计软件ACL来分析从被审计单位采集来的电子数据。

四、国内大数据审计的相关研究与应用情况

目前,国内学术界也越来越重视大数据审计相关问题的研究，但目前大数据审计的相关研究成果还较少，主要研究情况如下：

1.研究了大数据审计方法的原理

研究了大数据环境下电子数据审计的重要性，分析了电子数据审计的内涵及原理；在此基础上，重点研究了大数据环境下电子数据审计面临的机遇与挑战，并结合大数据的特点以及目前已有的大数据分析技术与工具，研究了大数据环境下开展电子数据审计的方法。此外，综合现有文献的分析，比较了大数据环境下的电子数据审计方法与现有电子数据审计方法（陈伟，Smieliauskas，2016）。

2.研究了大数据环境下基于模糊匹配的审计方法

大数据环境下从不同地方采集来的被审计数据中可能含有相似重复的数据，这些相似重复数据可能就是审计过程中要查找的可疑数据，如何对这些相似数据进行关联分析是大数据分析过程中的一个重要问题。目前常用的电子数据审计方法，如SQL数据查询、数值分析（重号分析）等，只能查找完全符合查询条件的数据。为了查找被审计数据中的相似重复数据，解决SQL数据查询技术的不足，针对大数据环境下电子数据审计的需要，提出了一种基于模糊匹配的审计方法，并在电子数据审计模拟实验室软件中设计并实现了这种审计数据分析方法（陈伟，2016）。借助该软件，以某税收数据审计为例，分析了该方法的应用。

3.大数据环境下基于数据可视化技术的电子数据审计方法

大数据环境下，采集来的审计数据在数量和复杂度上都对审计数据分析带来巨大挑战，审计过程中，枯燥的数字和难懂的结论严重影响了审计效率以及审计人员对审计工作的热情。信息技术的发展促进了数据可视化技术（Simeon，2008）的发展，这为解决以上大数据环境下电子数据审计面临的问题提供了机遇。数据可视化技术有助于审计人员对审计大数据的直观分析，有助于审计人员探索、分析和解释复杂的海量数据。因此，大数据时代，如何让审计人员能够“洞察”被审计单位的大数据，数据可视化成为必然。陈伟（2017）研究了大数据环境下基于数据可视化技术的电子数据审计方法，并结合案例重点研究了基于数据可视化技术的电子数据审计方法，并与目前常用的基于SQL的数据查询方法，以及基于审计软件的分析方法进行了对比分析。

五、大数据审计的发展与建议

由以上本文的研究可知，大数据审计对审计工作越来越重要，审计实务界和学术界目前都高度重视大数据审计的研究与应用，但相比于审计实务界，学术界目前对大数据审计的相关研究还较少。另外，今后在开展大数据审计时应注意以下问题：

（一）开发通用、易用的大数据审计软件

相对于传统的审计数据分析，审计大数据分析要更复杂一些，目前大数据分析技术还处于发展阶段，现有的大数据技术和工具还不能完全解决目前所有的大数据问题，还需要政府、企业、学术界的共同努力，从软硬件方面出发，研究解决大数据问题。因此，如何设计高效、实时的审计大数据分析系统是今后开展大数据审计的一项重要任务，这需要不断地创新审计技术和审计思路。在开展大数据审计时，应该充分利用大数据技术带来的优势，回避大数据技术带来的风险，根据需要和实际情况选择最佳实施方案。在开发大数据审计软件时应注意以下问题：

1.针对不同的需要设计系统架构

传统的信息系统架构设计不能满足大数据系统设计的需要，好的大数据系统要有高层次的系统架构设计，但另一方面，即使是一个好的大数据系统架构也不能适合所有的大数据应用。因此，在大数据系统设计初期，针对不同的大数据应用系统，需要设计不同的、合适的系统架构。比如，为了满足大数据实时分析的需要，需要采用NoSQL技术，为了满足大数据批处理分析的需要，需要采用Map/Reduce技术。

2.合理使用不同的大数据分析平台

每一种大数据分析平台都有自己的优势和局限性，没有一种大数据分析平台能够解决所有审计问题，如果审计人员通过使用不同的、合适的大数据分析平台来解决不同的审计数据分析问题，便可充分发现审计证据，降低审计风险。

3.能够支持多种审计大数据分析方法

目前审计任务多种多样，如企业审计、海关审计、银行审计、税务审计、社保审计、固定资产投资审计等，不同的审计任务需要不同的审计数据分析方法，因此，为了满足不种行业、不同种类电子数据审计的需要，所设计的审计大数据分析平台需要能支持多种审计大数据分析方法。

（二）加强数据可视化技术在大数据审计的应用

大数据环境下，采集来的审计数据在数量和复杂度上都对审计数据分析带来巨大挑战，传统的电子数据审计方法，如SQL数据查询、统计分析、断号分析、重号分析等虽然也能解决目前电子数据审计的基本需要，但审计过程中，枯燥的数字和难懂的结论严重影响了审计效率以及审计人员对审计工作的热情。信息技术的发展促进了数据可视化技术的发展，这为解决以上大数据环境下电子数据审计面临的问题提供了机遇。数据可视化技术有助于审计人员对审计大数据的直观分析，有助于审计人员探索、分析和解释复杂的海量数据。数据可视化技术借助图形化的手段，可以清晰有效地传达与沟通信息，帮助审计人员从审计大数据中快速发现问题。通过数据可视化，可以提高审计效率，使被审计大数据的分析结果更有意义。因此，大数据时代，如何让审计人员能够“洞察”被审计单位的大数据，数据可视化成为必然。

（三）加强大数据审计教育与培训

如前文所述，PwC (2015)认为高校应该为审计、会计专业的学生提供大数据审计方面的课程，对相关审计人员提供大数据审计方面的培训工作。由此可见，大数据审计的相关教材建设对高校来说非常重要。因此，我们在出版的《计算机辅助审计原理及应用（第三版）》以及《计算机审计》中增加了大数据审计的相关知识，从而满足大数据时代计算机审计课程教学的需要。除了开展理论教育与培训之外，实践操作对提高审计人员的大数据审计能力也非常重要，掌握常用的电子数据审计方法。因此，我们基于自主研发的电子数据审计模拟实验室软件，并出版了《电子数据审计模拟实验》，从而满足大数据时代审计人员掌握和学习电子数据审计方法的需要，为开展大数据审计打下基础。

（四）大数据审计促进CAATs的发展

1.重新定位经典CAATs方法

Earley（2015） 的 研 究 表明：大数据时代的到来使得审计人员再次认识到了计算机辅助审计技 术（Computer Assisted Audit Techniques，CAATs）的重要性，比如Benford定律的应用在大数据环境下可以重新发挥重要作用。Benford定律适用的三个经验条件为：（1）被审计数据量具备一定规模，能够代表所有样本。一般而言，应用Benford定律进行分析的数据集规模越大，分析结果越精确。这特别适用于大数据审计。（2）被审计数据没有人工设定的最大值和最小值范围。（3）要求目标数据受人为的影响较小。基于以上大数据审计的需要以及Benford定律的优势和特点，我们在所研发的电子数据审计模拟实验室软件中设计了这一方法，供审计人员学习和应用。

2.在审计软件中扩展经典CAATs方法

Earley（2015）的研究还表明：大数据环境下，传统的CAATs存在一定的不足，如缺少对文本文件、社交数据等数据的分析功能，不能满足大数据环境下数据分析的需要。因此，审计软件中应该增加文本文件、社交数据等数据的分析功能，从而扩展经典的CAATs方法，满足大数据审计的需要。

（五）尽快制定大数据审计的相关审计准则、规范与指南

审计准则与规范是审计人员开展审计工作时必须遵循的行为规范与要求，是审计人员执行审计业务，获取审计证据，形成审计结论，出具审计报告的专业标准。审计指南可以为审计人员提供指导性的审计操作规程和方法。为了满足信息系统审计的需要，国外制订了一系列的信息系统审计相关审计准则、规范与指南，如COSO内部控制框架、信息系统审计与控制协会（ISACA）制定的信息及相关技术控制目标（COBIT）、国际内部审计师协会（IIA）发布的全球技术审计指南（GTAG）等。尽管大数据审计越来越重要，但目前仍缺少大数据审计的审计准则、规范与指南，这限制了大数据审计的广泛应用。因此，尽快制定大数据审计的相关审计准则、规范与指南成为今后大数据审计研究与应用的一项重要任务。