基于SCAD正则最小一乘回归问题研究

罗孝敏 彭定涛

摘 要：针对损失函数为最小一乘，惩罚项由基数函数定义的稀疏回归问题，用SCAD（smoothly clipped absolute deviation）罚来连续逼近基数罚，得到一个连续的松弛问题，研究SCAD罚问题与原基数罚问题之间解的等价性。首先，证明了SCAD罚松弛模型的下界性质，并借助此下界性质分析了原问题与松弛问题之间解的等价性，证明了在一定条件下两个问题具有相同的全局最优解以及最优值。此外，证明了松弛模型的局部最优解是原问题的局部最优解并且在局部极小值点处松弛模型与原问题的目标值相等。

关键词：基数罚问题;SCAD;解的等价性

中图分类号：O224   文献标识码： A

参考文献：

[1]DONOHO D L.  Compressed sensing[J].  IEEE Transactions Information Theory， 2006，  52（4）：  1289-1306.

[2]CANDOS E J，  ROMBERG J， TAO  T.  Robust uncertainty principles：  exact signal reconstruction from highly incomplete frequency information[J].  IEEE Transactions on Information and Theory， 2006， 52（2）： 489-509.

[3]FAN J Q， LI R Z. Variable selection via nonconcave penalized likelihoodand its oracle properties[J].  Amer Statist Assoc， 2001， 9： 1348-1360.

[4]FAN J Q，  PENG H.  Nonconcave penalized likelihood with a diverging number of parameters[J].  The Annals of Statistics，  2004，  32（3）：  928-961.

[5]LIU H C，  YAO T，  LI R Z，  et al. Folded concave penalized sparse linear regression：  sparsity，  statistical performance，and algorithmic theory for local solution[J].  Mathematical Programming，  2017， 166（1-2）： 207-240.

[6] SOUBIES E，  BLANC-FERAUD L，  AUBERT G.  A unified view of exact continuous penalties for l2-l0 minimization[J].   SIAM Journal on Optimization，  2017，  27（3）： 2034-2060.

[7]ROCKAFWLLAR R T，  WETS R J B.  Variational analysis[M].  Berlin：  Springer， 1998.

（责任编辑：曾 晶）

Smoothly Clipped Absolute Deviation （SCAD） for Least Absolute

Deviation Regession Regularied Problem

LUO Xiaomin， PENG Dingtao*

（School of Mathemetics and Statistics， Guizhou University， Guiyang 550025，China）

Abstract：

For the sparse regression problem where the loss function is the least absolute deviation and the penalty term is the cardinal penalty， we use SCAD（smoothly clipped absolute deviation） penalty to relax the cardinal penalty. We focus on the equivalence of solutions between the relaxed problem and the original problem. Firstly， the lower bound theory property of the relaxed model is proved， and the equivalence between the original problem and the relaxed problem is analyzed under the lower bound property. It is proved that the two problems have the same global optimal solution and optimal value under certain conditions. In addition， it is proved that the local optimal solution of the relaxed model is the local optimal solution of the original problem， and the relaxed module is at the local minimum point. The optimal value of type A is equal to that of the original problem.

Key words：

cardinal penalty problem; SCAD; equivalence of solutions

收稿日期：2020-01-14

基金項目：国家自然科学基金资助项目（11861020）;贵州省高层次留学人才创新创业择优资助重点项目（[2018]03）;贵州省科技计划资助项目（[2018]5781）;贵州省青年科技人才成长资助项目（[2018]121）

作者简介：罗孝敏（1993-），女，在读硕士，研究方向：稀疏优化，Email：lxm2440775499@163.com.

通讯作者：彭定涛，Email：dingtaopeng@126.com.