卷烟市场状态综合评价指数构建

许 泓 秦 琴

(1.厦门市烟草公司思明分公司，福建 厦门 361000;2.福建省烟草公司厦门市公司，福建 厦门 361000)

0 引言

随着国内卷烟销售工作市场化进程不断深入，区域卷烟市场状态在卷烟货源组织、策略制定、销售引导等方面的作用越发显著。在此背景下，准确评价卷烟市场状态是实现卷烟市场可量、可控的基础，如何有效提高卷烟市场状态评价精度，并依此对不同的卷烟市场状态采取针对性的合理措施，成为一个重要课题。

2012年，上海网建会对卷烟市场状态提出松、稍松、平衡、稍紧、紧的五级状态评价标准并在全国广泛推广使用。烟草行业近几年对卷烟市场状态进行了许多研究，漳州市烟草公司提出以五要素分析法为基础的市场状态调控方式，在上海的市场状态五级评价标准的基础上引入了订足率的指标，提出了卷烟市场状态的判定与卷烟策略执行状态的对应问题，提升了卷烟市场状态在货源投放衔接上的有效性。赵峰等[1]根据卷烟品牌的特点，借鉴品牌生态的相关理论，构建基于生态学的品牌竞争力评价指标体系，并运用层次分析法和模糊综合评价模型对广西中烟的“真龙”品牌进行实证分析。张红梅等[2]提出了使用粗集和熵值的卷烟市场状态评价方法，并构建了简单的评价模型，提高了评价质量。李智文等[3]使用灰色层次分析法，从卷烟市场品牌维度、零售客户维度、市场维度，提出了卷烟市场状态评价的新思路。

上述公司与部分学者对我国的卷烟市场状态评估研究与应用做了许多积极的贡献，但是，已有研究还存在许多明显不足，如卷烟市场状态的评价仍属于定性评价，难以对统一状态内的卷烟进行横向对比；卷烟市场状态评级划分以经验判断为主，缺乏客观的评价标准；对卷烟市场状态的长期观测跟踪存在难度。对此，本文首先使用Lasso变量选择法在国家局指标库中选择与卷烟市场状态相关的指标，再分别使用熵值法、变异系数法将指标降维为量、价、存三个分指标，最后以几何平均原则构建卷烟市场状态综合评价模型，并最终得出卷烟市场状态综合指数定量评价区域卷烟市场状态，以期提升卷烟市场状态评价准确性。

1 模型方法概述

构建市场状态综合指数分为两个步骤，第一步是选取和构建分项指标，第二步是利用分指标构建市场状态综合指数。本节介绍市场状态综合指数构建所用到的模型和方法。

1.1 分项指标构建方法

1.1.1 Lasso变量选择方法

Lasso变量选择方法是Tibshirani[7]在1996年提出的一种方法。这种方法是利用模型的系数绝对值函数作为惩罚来压缩模型系数，使取值较小的系数压缩为0，从而能够做到同时进行变量选择和参数估计。相比于零回归，这种方法能够将不重要的变量压缩为0，因此Lasso方法对变量的解释能力更好。相比于子集选择的方法，Lasso对于具有多重共线性数据的解释能力更强。

Lasso方法的基本思想是在回归系数的绝对值之和小于一个常数的约束条件下，使得残差平方和最小，从而达到变量选择与参数估计同时进行的一种方法[6]。这种方法实际上是在对线性模型进行参数估计时采用如下(1)式的方法，在普通最小二乘估计的基础上添加了一个惩罚项，常数s的大小能够决定参数压缩的程度。在本文中，我们采用的是基于Cp准则来决定压缩常数s的值。

(1)

(2)

1.1.2 SCAD变量选择方法

SCAD变量选择方法[8]是Runze Li提出的一种方法，这种方法的罚函数是对称且非凹的，并且可处理奇异阵以产生稀疏解。此外，这种方法提出了一种算法用于优化对应的带惩罚项的似然函数。这种方法具有广泛的适用性，可以应用于广义线性模型、强健的回归模型。借助于波和样条，还可用于非参数模型。更进一步地，本文证明该方法具有Oracle性质。模拟的结果显示，该方法相比主流的变量选择模型具有优势。并且，模型的预测误差公式显示，该方法实用性较强。

1.1.3 逐步回归法

逐步回归分为前向逐步回归、后向逐步回归以及双向逐步回归。本文采用的是基于AIC准则的后向逐步回归。这种方法在效率上优于最优子集回归，我们只需要测试1+p(p+1)/2个模型。该方法的基本思想是首先将变量全部引入模型，然后每次删除一个变量，每次删除一个变量都要检验AIC值的变化，若删除变量可以使AIC明显减小，则删除这个变量，以确保删除变量后回归模型中只包含显著性变量。直到没有新的变量从回归方程中剔除为止。这种方法的特点是变量选择所保留下来的都是影响显著的变量。

这种方法的优点是效率高，能够筛选出影响显著的变量。缺点是对共线性明显的变量有时不能准确筛选，同时对于每个变量的删减或者保留会受到原模型的影响，从而导致不重要因素的保留。另一方面，逐步回归还存在不稳定缺点，当数据发生微小改变时，对于回归模型的变量选择改变很大。

1.1.4 最优子集选择法

最优子集选择是拟合多元线性回归模型的一种方法，这种方法是将所有解释变量的子集全部进行试验，并依据多种信息准则选取最佳的模型。这种方法的计算量大，在变量过多时无法使用，属于N-P难问题。

这种方法的优点是能够考虑到所有可能的模型，相比于逐步回归的方法更为准确，并根据多种信息准则来筛选变量，但缺点是效率低，同时对存在多重共线性的变量不能准确选择。

1.2 分项指标选择准则

1.2.1 调整后拟合优度

拟合优度是指回归直线对于观测结果的拟合程度，通常情况下用R2来度量，反映了回归方程能够解释的因变量所占的百分比，范围在0到1之间。然而采用这一准则来进行模型比较存在明显不足，因为在这种标准下，增加解释变量的个数会明显增大R2的值，但是通常情况下，并不是解释变量的数量越多模型越好，在建立模型的过程中，我们希望得到的是用一种尽可能简单的模型来尽可能包含所有信息。因此这里采用调整后拟合优度来进行选择，这一指标是指经过自由度修正后的拟合优度，这种方式可以剔除变量个数对于拟合优度的影响，调整后拟合优度的公式为：

R2=SSR/SST

1.2.2 Mallows Cp准则

Mallows Cp准则是马洛斯1964年提出的一种选择回归自变量的方法，是一种考虑了当前模型以及当前变量个数的一种信息选择准则，通常情况下判断Cp值达到最小的模型为最优模型。计算公式为：

其中k为当前模型的自变量个数，n表示样本个数，SSEk表示当前模型的残差平方和，SSEf表示全回归模型的残差平方和。

1.2.3 贝叶斯信息准则

贝叶斯信息准则也称为BIC准则，是Akaike于1976年提出的一种信息准则，修正了AIC准则中拟合模型不收敛于真实模型的不足。这种信息准则同样是在考虑拟合残差的同时，依自变量个数施加“惩罚”。公式为：

其中k为当前模型的自变量个数，n表示样本个数，SSEk表示当前模型的残差平方和，SSEf表示全回归模型的残差平方和。

1.3 分项指标的降维方法

1.3.1 熵值法

熵值法是信息论中的一种经典算法，熵是对不确定性的一种度量。信息量越大，不确定性就越小，熵也就越小；信息量越小，不确定性就越大，熵也越大。根据熵的特性，我们可以通过计算熵值来判断一个方案的随机性及无序程度，也可以用熵值来判断某个指标的离散程度，指标的离散程度越大，该指标对综合评价的影响越大。因此，可根据各项指标的变异程度，利用信息熵这个工具，计算出各个指标的权重，为多指标综合评价提供依据。熵值法确定各指标的权系数步骤如下：

(1)原始数据的非负数据化处理

由于熵值法计算采用的是各个方案某一指标占同一指标值总和的比值，因此不存在量纲的影响，不需要进行标准化处理，若数据中有负数，就需要对数据进行非负数据化处理。此外，为了避免求熵值时对数的无意义，需要进行数据平移：

(2)计算第i项指标下第j个方案占该指标的比重

(3)第i个评价指标输出的熵:

计算各目标的熵权系数:

1.3.2 变异系数法

变异系数法(Coefficient of variation method)是直接利用各项指标所包含的信息，通过计算得到指标的权重，是一种客观赋权的方法。此方法的基本做法是：在评价指标体系中，指标取值差异越大的指标，也就是越难以实现的指标，这样的指标更能反映被评价单位的差距。由于评价指标体系中的各项指标的量纲不同，不宜直接比较其差别程度。为了消除各项评价指标的量纲不同的影响，需要用各项指标的变异系数来衡量各项指标取值的差异程度。各项指标的变异系数公式如下：

该式中，Vi是第i项指标的变异系数(也称为标准差系数)，σi是第i项指标的标准差，avg(xi)是第i项指标的平均数。

1.4 综合指数的构建方法

1.4.1 综合指数的构建原则

指数的构建需要遵从科学性原则、普适性原则、系统性原则，下面分别从这三个方面论证本文所提出的市场状态综合指数的合理性。

首先，指标体系的构建应遵循客观规律，采用科学的方法和手段。选取的指标必须是能够通过观察、测试等方式得出明确结论的定性或定量指标，指标体系需较为客观和真实地反映产品状态。我们选取的指标，根据客观的评价准则，经实证检验，证明是能有效反映市场状态的指数体系。

第二，指标体系的构建应具备普适性，适用于所有的卷烟产品(某一具体的品牌规格)或产品类别(某一类产品，如进口烟)、所有的客户(某一个采购单位)或客户群(按等级、区域划分的客户群体)。构建市场状态指数的重要目标是反映市场全貌，以实现投放量在产品、客户之间的合理调配。如果一套指数构建的方法只适用于一部分卷烟产品，无法衡量全部卷烟产品的市场状态，或者只适用于一部分客户，无法衡量全部客户的市场状态，那么市场状态综合指数的价值就十分有限。因此，市场综合指数的成分必须有普适性。我们选取了“量”“价”“存”三个维度，这三个维度具有高度的普适性。比如需求满足率，既可以计算某一产品的需求满足率，也可以计算某一区域的需求满足率，需求满足率对所有的产品、产品类别、客户、客户群体都适用，符合普适性原则。

第三，指标体系的构建应综合平衡各要素，要考虑周全、统筹兼顾，通过多参数、多标准、多尺度的分析、衡量，从整体的联系出发，注重多因素的综合性分析,获得一个最佳的综合效果。本文所构建的市场状态综合指数将10个细分指标预处理成“量”“价”“存”三个大类指标，并按照几何平均法构建综合指数，符合系统性原则。

1.4.2 综合指数的合成方法

对“量、价、存”指数与市场状态的影响关系分析发现，这三者之间存在相互影响、互为校验的关系，由于行业内仍未有关于市场状态量化的成功案例，在参考了行业外其他综合指数的构建方式并排除了几种明显不符合行业实际的算法后，我们找到了两种较为可行的方案：加法合成法和乘法合成法，它们分别适用于不同场合，详见表1。

表1 综合评价指数合成法比较

综上表所述，乘法合成法不仅能够反映指标之间的相关性、减弱权重的影响，而且能够灵敏反映指标变动的影响，促进市场状态的均衡发展，因而我们采用乘法合成法构造市场状态综合指数，计算公式如下：

市场状态综合指数的理论取值范围为0～100，指数越大，表明市场状态越紧，指数越小，表明市场状态越松。

2 实证分析

2.1 数据来源及分布

在实证方面，我们采用了福建省厦门市烟草公司2015—2016年能够采集到市场状态的26款卷烟产品，以每周的实际销售数据作为样本，如表2所示。数据主要来源于烟草公司数据库，数据库内包含各规格104个时间节点的29个指标。

表2 样本情况

2.2 分项指标的选取

在构建市场状态过程中，需要对采集到市场状态的这26款卷烟产品的29个不同指标进行筛选，去除重复变量的同时选出对市场状态有较大影响的指标，全部29个指标如表3所示。市场状态的值采用上海烟草公司市场状态给定的5个不同区间，将这五个不同的状态区间离散化处理，使其按照紧俏程度由紧到松量化为1、2、3、4、5等五个序数型数据。

表3 指标选取

将所有指标以及已有的上海市市场状态指数值分别带入Lasso变量选择模型、SCAD变量选择模型、逐步回归以及最优子集选择模型当中，然后取该集合的并集作为最终选择的指标，共选出需求满足率、策略订足率、动销比、重需率、消化率、脱销面、上柜率、价格指数(条)、价格指数(包)、客户存销比等10个重要指标。

2.3 分项指标的构建

2.3.1 指标分类

考虑到市场状态主要由“量、价、存”这三个最主要因素决定，在指标构建方面，我们将这10个指标进一步分类，具体分为销量指数、价格指数、库存指数，并将这些指标进行调整与合并。

表4 指标分类

2.3.1.1 销量指数

销量指数是通过熵值法将与“量”有关的指标赋以不同权重得到的，首先在烟草商业公司数据库中选取所有反映卷烟销售表现的指标，经过相关性分析，去除了相关性过强的重复项，最终保留了需求满足率、策略订足率、动销比、重需率、消化率、脱销面、上柜率等5个指标来计算销量指数。再通过熵值法获取每个变量的权重。

2.3.1.2 价格指数

在价格指数方面，经过分析，主要采用零售价格指数(条)、零售价格指数(包)来量化这一指标，并通过变异系数法将这两个指标综合起来，从而构建价格指数综合指标，即：

(i=1,2,…,m)

其中，CV是变异系数，价格指数(包)和价格指数(条)的计算方式为：

式中，Pr为零售价格指数；Qit为卷烟品牌规格i在t周期的市场销量；Pit为卷烟品牌规格i在t周期的市场零售价格；Pi0为卷烟品牌规格i的指导零售价格。

2.3.1.3 库存指数

通过对烟草商业公司数据库各项指标的分析，选取“社会存销比”这一综合指标来量化库存指数，即：

其中，本期样本客户的市场销量为“上期样本客户库存+本期样本客户订单-本期样本客户库存”，人工采集时本期样本客户库存的计算方法为:

这一指标反映了当前社会库存水平可维持销售的程度。

2.3.2 分项指标的构建与标准化

为使市场状态评价与现行市场状态评价标准能有更高的适应性，本文使用了上海临界点数据作为标准化依据，主要包括价综合指数的标准化以及存综合指数的标准化，经过对样本数据的分析，我们用0.9、1.08作为价综合指数标准化的分界点，用0.25、3.5作为存综合指数标准化的分界点。

对于“量”这一指标，采用标准正态分布的标准化方法，将变量值依据其均值与方差进行标准化，具体的标准化过程如下所示：

其中，x表示8个不同的量指标，avg(x)表示样本均值,s2表示样本方差。

2.4 综合指数的有效性

构建市场状态综合指数的目的是客观反映卷烟的市场状态。卷烟零售商是卷烟零售市场的参与者，其对市场状态的主观感受也能反映卷烟的市场状态。实践中，可以以卷烟零售商的主观感受作为参照，来评价综合指数构建的有效性。

具体来说，可以向市场参与者(如客户、消费者)发放问卷，调查市场参与者对市场状态的主观感受，让市场参与者给市场状态打分，然后评估市场参与者的感受与构建的市场状态指数是否吻合。市场参与者的打分基于市场参与者主观标准，与市场状态指数不能直接比较。这里采用Kendall Tau系数比较法来进行比较：先将不同规格、时间的市场状态，按照市场参与者的打分和市场状态指数两种标准分别进行排序，然后计算两个排序的相似性(即Kendall Tau系数)。

按照上述方法，我们设计了实证检验，来评价市场状态指数的有效性。

(1)市场参与者样本

在厦门市烟草专卖局的客户中，按照分层抽样的方法抽取了100家零售网点。在2016年6月、2016年9月、2016年12月，分别向消费者发放了市场状态调查问卷。

(2)问卷设计

问卷涉及28种主要规格的卷烟产品，零售网点(市场参与者)根据问卷发放时对这28种规格的卷烟产品的市场状态松紧的主观感受，按1～10分进行打分。问卷简单介绍了松、紧的定义，即市场状态为紧时，产品供不应求。问卷中没有明确定义某种市场状态所对应的得分，但要求问卷填写人在每次作答问卷时与评分标准一致。

(3)问卷数据的描述性统计量

表5 问卷数据的描述性统计

(4)Kendall Tau检验

我们将每次调查涉及的28个规格按调查结果和市场状态指数分别进行排序，然后计算Kendall Tau系数。Kendall Tau系数检验结果见表6。将三次调查的数据统一排序(即每种规格包含了三个时间点的市场状态感受)，以此来检验市场状态指数和调查所获得的市场状态得分在时间趋势上是否一致。

表6 Kendall Tau系数检验结果

经检验，市场状态指数和人的主观感受符合程度很高，且Kendall Tau值时序稳定。

(5)结论

经以上检验，我们得出结论：综合指数能有效反映卷烟的市场状态。

2.5 信息损失

评价指数构建是否合理的另一个重要方面，是指数的信息损失。构建综合指数的目的是以一个单一指标来描述市场状态，这势必会造成信息损失。但是采取不同的指数编制方法，信息损失的程度也不同。在只用一个单一指标的约束下，如何最小化信息损失是指数构建的核心。

最小化信息损失包含两个方面。第一个方面是指数的敏感度。指数对市场状态反应越敏感，信息损失越小。举例来说，在一个市场投放周期后，我们可以通过市场状态指数的微小变化来判断调整策略是否有效。如果市场状态指数不够敏感，市场状态的意义和价值将大打折扣。所以，市场状态某一方面的微小变动能否被综合指数捕捉，是衡量信息损失的一个重要标准。

本文构建的综合指数对市场状态进行了定量描述，减小了信息损失。现行市场状态评价标准只将市场状态分为了五个大类(松、稍松、平衡、紧、稍紧)，属于定性描述；而本文构建的市场状态评价标准是0～100间一个具体的数字，实现了对市场状态的定量描述，其优点在于，分项指标的微小变化可以被综合指数捕捉，即从敏感性的角度上要优于定量描述，达到了更小的信息损失。

最小化信息损失的第二个方面是信息来源的广度。综合指数的分项指标来自于量、价、存三类10个分项指标，数据来源的广度要优于现行评价体系，因而能捕捉更多信息。因为信息的来源更广，相当于在市场状态的各个方面上都装上了“传感器”。这个多维监测系统的信息损失程度自然也要低于现行体系。

2.6 综合指数的一致性

通过一致性检验来评价综合指数对市场状态的评价标准能否和现行体系保持一致。在设定了松、稍松、平衡、紧、稍紧之间的阈值之后，本文构建的市场状态综合指数也可以对应到原市场状态评价标准的五个大类中去。分类阈值详见表7。

表7 分类阈值

上述阈值是以与现行体系保持最大重合度为依据来设定的。按照这个阈值标准，以2015年、2016年的厦门市卷烟销售数据作为验证，将市场状态综合指数映射到五个大类中去，和现行市场状态标准进行比较，重合率达到85.2%。在不重合的样本中，92.7%的样本偏离程度为1个档位(如紧和稍紧之间差一个档位)，6.8%的样本偏离程度为2个档位，只有0.5%的样本偏离程度大于2个档位。本文构建的市场状态综合指数在实现了比现行市场状态评价体系更低信息损失的同时，又与现行市场状态在评价标准上保持了一致。

3 结论与展望

卷烟市场状态综合评价指数的构建以卷烟市场状态中相关指标的内在性质关联为切入点，通过对量、价、存三个类别指标相互关系的分析，实现对卷烟市场状态的量化评价。在数据选取和指标设定层面去除了主观赋权的过程，评价指标更为客观科学，也避免了因为不同人主观认知的不统一而出现指数的差异。分析结果表明，市场状态综合评价指数能有效反映卷烟市场状态，提高了卷烟市场状态评价的精度，并具有较高灵敏性。根据厦门烟草在实例验证阶段得到的相应数据表现，可以认为市场状态综合评价指数能够较好地反映市场状态，更为有效地指导卷烟货源投放工作，通过分别构建量、价、存三个类别的指标并使用乘法合成法构建的市场状态评价指数在烟草行业是可行的。

卷烟市场状态的评价是卷烟市场化取向改革的重要基础，对市场化的卷烟货源组织、策略制定起到了指导性作用，由此凸显了量化评价卷烟市场状态的重要意义。本文研究案例为卷烟这类销售行为较为特殊的行业，销售指标固定，未对是否适用于其他行业商品的市场状态评价做出分析，应用于其他行业时，笔者建议针对不同的销售指标使用Lasso变量选择后，在类别的选择上需要重新进行判断，不应局限于量、价、存三个类别指标，以免出现偏差。