第七届国际数据挖掘与应用统计研究会学术综述

第七届国际数据挖掘与应用统计研究会学术综述

李勇1，陈新华2，朱建平3

(1.重庆工商大学 舆情研究中心； 2.广西财经学院； 3.厦门大学 数据挖掘研究中心)

第七届国际数据挖掘与应用统计研究会于2015年7月27-30日在广西南宁隆重召开。本届会议的主题是“大数据时代统计学方法及应用研究”，由国际数据挖掘与应用统计研究会主办，广西财经学院、厦门大学数据挖掘研究中心、美国耶鲁大学、台北医学大学和重庆允升科技大数据研究中心联合承办，来自于国内外60余所高校、政府和企事业单位180多位专家学者莅临参加。会议入选论文46篇，分为大数据理论、大数据应用、统计理论和应用统计4个专题进行交流讨论。

一、大数据时代统计的机遇与挑战

曾五一教授在《大数据时代统计学面临的挑战和机遇》报告中，梳理了“数据”、“大数据”和“统计数据”几个概念之间的联系与区别，由此指出：大数据科学不等于统计学。统计学只有在很好地应对大数据在思维方式、数据规模和复杂性等方面带来的挑战，重新构建大数据时代的统计学，才能抓住大数据时代为统计学带来的新机遇。

广西调查总队杨锡虹副总队长从政府数据质量、大数据有助于政府有效决策以及数据安全等方面，阐述了当前我国充分重视大数据的发展和把握这一历史机遇的重要性和迫切性。

云南财经大学张波针对大数据时代统计所面临的机遇与挑战，提出建设“数据中国”的一些应对策略。

二、大数据时代的统计思维和复杂细节

林共进教授在《Statistics for Internet of Things》报告中，探讨了后大数据时代(所谓物联网世界)应具备的统计思维。认为大数据“4V”特征中的第4个V常指Value(价值)是不可取的，应该是Veracity(真实)。统计应主要注重的两个方向：探索有意义的问题(Do something matter)和为未定义的问题提供结构性方向(Structure for poorly defined problems)。在后大数据时代，物联网将成为大数据后的另一波主流，面临着由互联技术架构起来的这个快、大而复杂的数据世界，我们应为统计这门数据科学该扮演的角色提供一些思考的方向。

马双鸽博士在《Big Data:Devil in detail》报告中指出，在大数据研究中小数据不存在的一些重要细节问题，已严重影响更有效的数据分析。其团队研究了如果用网络分析的方法描述变量及样本之间的复杂关系，如何用整合分析的方法解决样本异质性的问题；如何评估大数据分析的优越性(相对于小数据分析)，以及如何用＂切割+整合＂的方法解决大数据分析中的计算复杂化等问题。这些问题的研究将从根本上推进大数据分析方法的设计及在实际问题中的应用。

三、基于大数据的模型理论及应用

陈建伟教授在《Mixture Transparent composite model for discrete cosine transform(DCT) in signal processing with Big Data》报告中，构建了基于大数据信号处理的离散余弦变换系数的混合通透合成模型，指出由于指数衰减速度过快，拉普拉斯和广义高斯分布对离散余弦变换系数中的厚尾现象的建模效果不理想。基于TCM模型，将离散余弦变换系数的主要部分和尾部分离开，分别使用参数分布和均匀分布建模，构建了一个基于截尾分布的混合通透合成模型和多段通透合成模型。采取极大似然方法、EM算法和动态规划方法进行模型参数估计，运用卡方准则和KL发散距离准则对模型精度进行检验，该模型具有更高的效率和精度。

黄名选教授在《基于项权值变化的完全加权正负关联模式挖掘研究》报告中，提出了两种基于项权值变化的完全加权正负关联模式挖掘新算法：基于SCPIRCI(Support-Conditional Probability Increment Ratio-Correlation-Interest)和SRCCCI(Support-Relevancy-Correlation Coefficient-Confidence-Interest)评价框架的正负关联模式挖掘，构建新的项集剪枝策略，从频繁项集和负项集中挖掘完全加权正负关联规则模式，解决了基于项权值变化的负关联模式挖掘技术问题。

江西财经大学章贵军和曹正凤等对大数据的统计整理工作进行了探讨。贵州财经大学吴宁博和杨帆针对图书馆业务数据特征改进了Apriori算法。天津财经大学杨贵军、于洋和孟杰构建基于AIC的粗糙集选择算法结合误判率，具有较高的预测准确度。齐鲁师范学院的宋廷山等研究了基于Hadoop的大数据描述统计分析。杭州电子科技大学付荣等对大数据背景下CPI中自有住房计价方法进行了探析。

(责任编辑：杜一哲)

【学术动态】