基于相似度的软件工程中软件成本估算问题研究①

王 楠, 余建坤

(云南财经大学 信息学院,昆明 650021)

软件工程过程是指开发或维护软件及其相关产品的一系列活动. 一个完整的软件工程开发过程包括软件概念提出、前期需求分析、软件结构设计、软件详细设计、编码过程、软件测试过程6个过程[1]. 随着科技的发展,软件的系统规模也在不断扩大,复杂程度日益加大,需求分析作为整开发过程的基础,在软件工程中的重要程度和地位越来越被人们所认可. 据统计、有超过半数以上的软件工程项目存在前期需求分析不当的问题,许多项目也因此导致延期或失败[2]. 软件成本估算问题作为前期需求的重中之重,也越来越被人们所重视.

如何对软件项目进行精准成本估算,一直是软件工程和软件项目管理中最为重要且最具挑战问题之一.软件成本估算是进行有效的项目计划、跟踪和控制的基础. 依照合理的估计结果,不仅能够制定切实可行的目标,还可对软件的成本、进度与质量进行权衡,实施有效的风险管理,并为项目管理者的决策提供有力的支撑和依据. 不准确的估计则会造成软件工程项目的延期、超支甚至项目失败,严重的还会损害企业的商业形象和信誉.

图1 软件工程流程

Standish组织在 1995 年公布的软件工程报告显示,在来自国际上350个组织的 8000个软件工程项目中,只有16.2%项目被定义为“Succeeded”,即该项目在预算和预期内完成; 31.1%的项目被定义为“Falied”,即该项目未能按时完成或者被取消; 剩下的52.7%被定义为“Challenged”,即虽然该项目被完成,但预算超出或者项目完成不达标[3]. 2004 年,Standish组织的再次公布其统计数据,统计项目数累计超过50000多个,根据其公布的结果显示,“Succeeded”项目所占比例为29%,“Falied”项目所占比例为 29%,有所下降,而“Challenged”项目比例仍有53%[4].

虽然有许多学者和专家认为在Standish组织公布的报告中关于软件成本预算超支89%的数据被过分夸大,但有一点却能够取得共识,即不精准的软件成本估算与需求不稳定并列,是造成软件工程项目失败和超期的最主要的的两大因素.

软件成本估算和方法和理论有很多种类和形式,最早的软件成本估算是上 60 年代提出的SDC (System Development Corporation)方法,一直到如今,关于软件成本度量方法主要有两种方法：① 基于模型的软件成本估算方法; ② 基于类比估算软件成本估算方法[5].

图2 Standish组织统计数据

基于模型的软件成本估算方法是通过将影响软件工程项目的相关因素如项目复杂性、相关管理经验、团队经验等与软件项目的相关指标例如工作量、工作环境、工作时长等之间存在着可用公式表示的确定关系,并判定它对工作量所产生影响的程度,再从参数得到成本估算的一系列规则、公式. 以期得到最佳的模型算法表达形式,然而基于模型的软件成本估算方法难以用在没有前例的场合,并且不能处理异常情况等的问题. 而且算法复杂度往往比较高,所以基于模型的软件成本估算方法存在一定缺陷[6].

基于类比的方法是是采用基于相似性度量的方法进行软件成本的估算. 即通过对一个或多个已完成的软件工程项目项目与新的项目之间的对比来预测当前项目的成本与进度. 在软件成本估算中,需要当前问题抽象为待估算的项目时,每个实例即指已完成的软件项目,通过案例识别、案例检索以及案例适配3个步骤进行软件实例之间成本相似性估算. 在软件成本估算问题上,经常采用的相似性度量方法有欧式距离、熵度量、模糊度量等,例如文献[7]提出一种基于基于协同过滤方法的软件成本度量方法,通过用户评分来定义属性权重,然而这种方法依然是一种基于专家评论的方法,然而软件工程十分复杂,单一的专家定义权重精确度并不高,用户的个人偏好、经验差异与专业局限性都可能为估算的准确性带来风险,文献[8]提出一种基于相似度的软件成本度量方法,根据不同属性的类型采用不同的度量公式,例如欧式距离,余弦公式等,然而这种方法依然是采用单一的度量公式来度量软件成本相似性,而且单一的采用欧式距离等公式在软件成本度量方面精度比较低. 文献[9]借鉴改进了Sheperd等人关于类比估算的方法,提出来采用提取相似项目、决定最相似的项目等4个步骤来进行软件成本相似性度量,并根据不同的属性类别选用不同相似性度量方法,然而其依然是采用单一的度量公式进行软件成本相似性度量、并没有考虑如何使度量最优化的问题,其方法精确度并不高[10].

本文采用类比估算方法,提出一种采用皮尔逊相关系数的度量方法,并结合TOPSIS决策方法,采用专家评估和客观权重综合的方法,提出一种的基于皮尔逊相关系数的软件成本相似性度量方法,来进行软件成本的相似性估算,通过并通过Desharnais数据集进行了实验验证,证明本方法在软件成本估算问题上相对欧式距离和其他方法在检测精度上具有一定优势.

1 理论背景

1.1 相关系数

相关系数(Correlation Coefficient)又称皮尔逊相关系数. 是由著名英国数学家卡尔·皮尔逊于首次提出的一个统计学指标. 相关系数是用于反映所求变量之间相关关系密切程度的统计指标. 相关系数是按积差方法计算,同样以两变量与各自平均值的离差为基础,通过两个离差相乘来反映两变量之间相关程度. 皮尔逊相关系数并不是唯一的相关系数,但是却是最常见的相关系数. 皮尔逊相关关系是一种非确定性的关系,它是用来描述变量之间线性相关程度的量.

定义1. 假设存在随机变量X,Y是两个随机分布,为X,Y的期望,则X与Y的协方差Cov(X,Y)被定义为：

定义2. 相关系数 ρxy为：

相关系数 ρxy取值在-1到1之间,ρxy=0时,称X,Y不相关;时,称X,Y完全相关,此时,X,Y之间具有线性函数关系;时,X的变动引起Y的部分变动,的值越大,X的变动引起Y的变动就越大,时称为高度相关,当时称为低度相关,其它时候为中度相关.

1.2 TOPSIS

最优劣解距离法(Technique for Order Preference by Similarity to an Ideal Solution,TOPSIS)是由C. L.Hwang和K. Yoon于1981年首次提出. TOPSIS是处理真实世界中的多属性或多标准决策(MADM/MCDM)问题的主要技术之一[11]. 它帮助决策者组织待解决的问题,并对替代品进行分析,比较和排名. 从而进行合理的选择.

Topsis方法的具体过程如下：

1)对特征矩阵进行规范化处理,得到规格化向量nij,建立关于规格化向量nij的规范化矩阵.

2)通过计算权重规格化值vij建立关于权重规范化值的vij权重规范化矩阵

其中,wij是第j个指标的权重.

3)确定正理想解Z+和负理想理Z-

其中,J1为收益性指标集,表示在第i个指标上的最优值.J2是损耗性指标集,表示在第i个指标上的最劣值.收益性指标越大,对评估结果越有利; 损耗性指标越小,对评估结果越有利. 反之,则对评估结果不利.

4)计算距离尺度,即计算每个目标到正理想解和负理想解的距离：

5)计算目标与理想解之间的的相对接近度.

6)排列偏好顺序.

2 一种基于相关系数的相似性度量方法在软件成本评估中的应用

在软件成本的估算过程中,不同指标之间权重的确定问题尤为重要,大多数相似性度量方法一般根据专家的判断或者由先验经验来确定[12-15],但这种方法主观性太强,本文采用基于主观权重和客观权重的混合权重确定方法,既通过专家判断,又采用基于信息熵的权重确定方法. 具体方法如下.

假设评估体系中具有n个评价对象,m个评估指标,评价矩阵为：

1) 首先,对评价矩阵A进行标准化处理.

2)确定各个指标之间的权重. 在此我们采用熵权法进行客观权重的确定,采用熵公式计算每个属性的平均信息量

3)设m个评价指标的主观权重分别为θ1,θ2,···,θj,则第i个指标的真实权重被定义为：

5)计算距离尺度,即采用相关系数计算每个目标A到正理想解和负理想解之间的的距离

3 实验验证

为了检验基于本文采用的相关系数度量方法的软件成本估算方法,设计试验,并采用公开数据集Desharnais进行本测评实验,Desharnais数据集是由加拿大软件行业的统计结果数据,它最早是在1989年由Jean-Marc Desharnais在对项目开发功能点数据的统计分析中应用. 在Desharnais数据集中有12种项目属性.

表1 Desharnais数据集的项目属性

在本实验中,省略了4个数据不完整的项目,只利用其中77个完整的项目的数据进行试验.

选取数据集中Team Exp、Manager Exp、Length、Transact、Entities、Points ajust、Envergure、Points non ajust、Langage 9种属性做为本文软件成本估算的属性,Effort属性作为估算的目标属性对预测结果的误差进行计算.

为了验证成本估算的有效性与准确性,需要引入适当的评价标准. 常用的评价标准有许多,我们采用以下两种作为标准：

① 平均误差率(MMRE),用于评估软件成本估算的平均误差情况,计算公式如下：

② Pred(x),用于评价成本估算的补充标准,用于计算标准误差低于x的项目数量在整个数据集中所占的比例.x的值通常设置为25%. 计算公式如下：

其中,k为标准误差低于x的项目数量.

为了验证本文所提方法在软件方法估算中的准确性,与经典的欧式距离和文献[16]所提及的相似性度量方法进行比较实验,比较结果如表2.

表2 实验结果

从上述实验结果可以看出,本文提出的基于相关系数度量方法的软件成本估算方法,在结果上优于经典的欧式距离和文献[16]提出的相似性度量公式.

4 结论

本文针对软件工程项目中需求分析阶段软件成本估算问题进行研究,在皮尔逊相关系数的基础上,综合考虑了主观权重和客观权重,采用TOPSIS方法建立相关模型,提出一种基于相关系数的TOPSIS方法用于软件成本估算问题研究,并采用公开数据集Desharnais进行试验验证. 实验结果表明,本文所采用基于相关系数的相似性度量方法较以往的方法有更高的准确率.然而,本文所提出的方法和研究工作只是单纯聚焦于处理与工作量相关的项目特征而没有忽略团队特性、员工发展等主观因素方面的考虑. 因此,在未来的研究中,会应将包括软件工程成员的性格、潜力、团队氛围等诸多特性充分考虑在内以更加准确地进行软件成本估算.

1 史济民,顾春华,郑红. 软件工程：原理、方法与应用. 北京：高等教育出版社,2009.

2 杨芙清. 软件工程技术发展思索. 软件学报,2005,16(1)：1-7.

3 The Standish Group. CHAOS report. http：//www.standish group.com. 1995.

4 The Standish Group. 2004 the 3rd quarter research report.http：//www.standishgroup.com,2004.

5 李明树,何梅,杨达,等. 软件成本估算方法及应用. 软件学报,2007,18(4)：775-795.

6 Boehm BW,Valerdi R. Achievements and challenges in software resource estimation[Technical Report]. No.USCCSE-2005-513. http：//sunset.usc.edu/publications/TECHRPT S/2005/usccse2005-513/usccse2005-513.pdf,2005.

7 任雪利. 协同过滤在软件成本估算中的应用. 计算机系统应用,2014,23(6)：246-249.

8 任雪利,代余彪. 软件相似度在成本估算中的应用. 计算机应用与软件,2015,32(6)：34-36,112.

9 曹冬生,王强军,张元忠,等. 基于类比的软件成本估算及其一种改进方法. 计算机工程与科学,2009,31(5)：102-106.

10 何慧,张宏莉,张伟哲,等. 一种基于相似度的DDoS攻击检测方法. 通信学报,2004,25(7)：176-184.

11 朱永松,国澄明. 基于相关系数的相关跟踪算法研究. 中国图 象 图 形 学 报,2004,9(8)：963-967. [doi：10.11834/jig.200408184]

12 何晓阳,王亚沙. 基于模型的软件成本估计方法. 计算机研究与发展,2006,43(5)：777-783.

13 Jahanshahloo GR,Lotfi FH,Izadikhah M. An algorithmic method to extend TOPSIS for decision-making problems with interval data. Applied Mathematics and Computation,2006,175(2)：1375-1384. [doi：10.1016/j.amc.2005.08.048]

14 Shih HS,Shyur HJ,Lee ES. An extension of TOPSIS for group decision making. Mathematical and Computer Modelling,2007,45(7-8)：801-813. [doi：10.1016/j.mcm.2006.03.023]

15 周启超. BP算法改进及在软件成本估算中的应用. 计算机技术与发展,2016,26(2)：195-198.

16 赵雪芬. 基于未知度的Vague集相似度量方法研究. 计算机工程与应用,2013,49(14)：130-132,216. [doi：10.3778/j.issn.1002-8331.1111-0518]