关于水电移民独立评估抽样跟踪调查的方法论探讨

潘晓泉，冯启林，朱 健，蒋洪明

(中国电建集团华东勘测设计研究院有限公司，浙江 杭州 311122)

1 信息采集方法概述

根据NB/T 35096—2017《水电工程移民安置独立评估规范》(以下简称《规范》)，移民安置独立评估是通过独立于项目建设有关的地方人民政府、项目法人和移民综合设计单位之外的咨询机构，采取调查、对比等方法对水电工程移民安置前后的生产生活水平恢复、建设征地涉及区域经济发展状况、实施管理工作等进行分析评价并提出建议的工作行为。其总体工作思路是，通过建立一套评估指标体系，对比分析本底调查与移民搬迁安置后3～5年的连续监测数据，评价各项评估内容的情况，及时发现移民在生产生活中遇到的问题，为后续移民安置工作提供建议，也为后期扶持规划提供指导[1]。因而，评估的关键是具体如何采集高质量的连续监测信息。《规范》中提出，信息采集方法宜采用文献法、问卷调查法、访谈调查法和实地调查法。

本研究认为，独立评估具体采取何种信息采集方法是由其承担的功能和评估内容的性质两方面共同决定的。

1.1 评估功能与信息采集方法

综合而言，独立评估首先是水电站整体生命周期中的一个法定环节和流程，侧重程序和评估结论，对方法和技术没有特定的要求；而第二个功能则要求评估工作具有发现问题的能力，其采集的各类信息必须真实可靠。这就对相关技术方法提出了较高的要求。

1.2 评估内容与信息采集方法

根据《规范》，独立评估的内容分为三个方面：一是，对移民安置生产生活水平恢复情况的评估；二是，对建设征地涉及区域经济发展状况的评估；三是对实施管理工作的评估。水利行业虽然不单独开展评估工作，但根据SL716—2015《水利水电工程移民安置监督评估规程》，其移民生活水平恢复情况评估与水电移民独立评估中的移民生产生活水平恢复情况评估内容近似。可见，移民生产生活水平恢复情况一般而言都是整个评估工作的重点。

不同的评估内容对应着不同的评估方法和技术。其中，对移民生产生活恢复情况的评估通常需要开展连续多年的跟踪调查以完成信息采集；因而其普遍涉及抽样(除移民总量极少的项目)、跟踪、问卷调查等信息采集技术，在得出评估结论上依赖统计分析，在整个独立评估中方法最为复杂；而其他的评估内容则可以通过向地方有关部门访谈、收资、实地踏勘等方式获得。

2 独立评估方法

2.1 文献回顾

综上所述，移民生产生活水平恢复评估是评估工作的重点和主体，在报告中所占的篇幅和比重最大，对评估结论具有非常重要的支撑作用；而其信息采集和分析技术最为复杂，调动耗费的人力、物力、时间、精力也最多。评估的信息采集技术决定了得出整个评估结论所需的各类信息的质量，进而决定整个评估工作的质量，因而跟踪抽样调查技术在评估工作中至关重要。然而，笔者通过数据库搜索等方式查找了相关文献，却发现此方面鲜有研究，业内对独立评估信息采集技术也缺乏必要的讨论。

目前，相关文献中数量较多的是对独立评估(监督评估)体制、机制、作用、意义的讨论，这一类文献普遍较为宏观和抽象，不涉及具体技术问题。另一类数量较多的文献是对评估内容和指标体系的研究[4-6]，2013年中国水电顾问集团北京、华东、昆明三大设计院进行了《水电工程征地移民独立评估指标体系研究》，这些研究对于完善评估内容和指标体系具有积极意义，但同样不涉及具体该如何采集这些指标的信息。另有少量文献在探讨定量数据的处理分析[7-9]，这些文件只是探讨对既有数据的统计分析方法，同样不涉及信息采集具体技术问题。其他常见的一类文献是案例介绍，基本都是某一评估项目结束后的工作总结，简单罗列该项目各评估指标和结论。

2.2 独立评估信息采集方法的主要特征

在《规范》信息采集一章中，对移民样本的抽样明确规定了要采取分层多阶不等概率抽样(PPS)的方法，并对样本量的确定方式进行了明确规定。同时《规范》还规定生产生活水平恢复指标信息的采集方法，收支水平宜采用问卷调查法；住房条件、生产就业、基础设施条件、社区服务水平宜采用问卷调查法或实地调查法；民族风俗习惯、社会环境适应性宜采用问卷调查法和访谈调查法。

《规范》对生产生活水平恢复的信息采集方法的规定基本吸取继承了业内多年来的主流实践经验。综合业内多年的实践经验和《规范》的内容，本研究从调查方法论的角度，将独立评估的核心方法概括为“定量化的抽样跟踪调查”，具体有如下三个方面的特征：

资产证券化提供了更加低成本，更加便捷的融资渠道。融资成本的高低取决于信用工具(如证券)的信用等级，信用等级越高，资产证券的发起人给予投资人的利息也就越低，从而使得融资成本降低，这也是资产证券化市场融资要比通过银行等其他融资渠道成本低得多的原因。同时，资产证券化也扩宽了投资人的融资渠道，而不是仅仅局限于股权和传统债券两种投资方式。

(1)在外业调查中，评估工作的时间、精力、人力、物力主要用在搜集定量数据上，评估人员在外业调查时大多数时间都奔波于各个安置点寻找移民样本户开展问卷调查，以及根据评估细则搜集一些专项、城集镇迁复建等方面的数据资料。可以将评估工作的重点概括为“标准化定量数据采集”。

(2)从最终报告文本来看，报告主体部分的绝大部分内容都是对定量数据的描述与统计分析，把样本中的移民户、非移民户在不同跟踪年份的均值、百分数等指标进行对比。可以将评估分析过程概括为“标准化定量数据描述和对比”。

(3)从对评估结论的支撑来看，定量数据的分析结果对于最终的评估结论有着十分重要的支撑意义，即只有移民人均纯收入等定量数值得到增长或达到相关标准的情况下，才能给出移民生产生活水平得到恢复的结论。即“标准化的以定量数据为依据的评估结论确定方式。”

这种定量主导的评估方法成为主流的评估方法和技术主要有如下原因：首先，相比于更加依赖于评估人员个人能力和经验的无结构访谈、踏勘走访、观察等定性调研方式，定量化的方法技术路线可操作性更强，易于标准化，易于形成稳定的易于复制推广的工作模式，相对而言更易上手，有利于各个评估单位推广评估业务并进行质量管控。其次，无论是外业现场使用问卷进行调查，还是在报告中进行详尽的数据分析，都有利于在移民、基层干部等非专业人群中塑造评估工作专业负责的良好形象，同时也能使报告文本更加厚实充实。第三，这样也符合一种常见的观点，即认为由定量数据得出的结论比完全由评估人员主观判断下结论的定性方法更加真实客观、有说服力，通过数值对比得出结论也更为简单直观、不易引起争议。

3 跟踪、抽样、调查的理论探讨

能否获得高质量的连续监测数据(资料)是评判评估工作质量以及评估方法是否合适的关键。定量化抽样跟踪调查因其标准化程度高、易复制推广、简单直观等特性，得到了各评估单位的青睐及广泛使用。然而，跟踪抽样调查的本质是一种工具，其服务于评估工作的目的要与其内容相适应。同任何其他方法技术一样，没有哪种方法会因自身的某些抽象属性而天然地保证质量。能否通过使用这种方法获得真实客观的资料、能否通过这种方法得出可靠的评估结论，最根本的还是要看该方法与特定应用场景的适配程度，以及在该情境下是否得到了正确合适的应用。因而，在独立评估中，是定量化跟踪抽样调查影响了独立评估的工作质量；而这种定量化跟踪抽样调查的影响主要体现在抽样、跟踪和现场调查三个方面。

3.1 抽样——能否以小见大

抽样调查是相对于全面调查而言的。其通过对取自总体的一部分样本进行调查，从而通过样本认识总体。除移民总量较少的评估项目外，评估工作都要采取该方式。使用抽样调查方法主要是希望能在实现调查目的和调查成本之间取得平衡，是一种以小见大、以低成本获得全面认知的方法。因而，评估时抽取的“小”能否真实准确地代表总体这个“大”就成了决定评估质量的关键之一，而这主要与抽样方式和样本量有关。

(1)抽样方式。在统计学上，抽样可分为概率抽样和非概率抽样。概率抽样又称随机抽样，是严格依照概率论原理进行的抽样，总体中的每一个成员都具有同等的被抽中的可能性；非概率抽样不是按照概率均等的原则，而是根据人们的主观经验或其他条件来抽取样本，其样本的代表性往往较小，误差有时相当大，而且这种误差又无法估计[10]。也就是说无论某一群体内部构成多么复杂，按照随机抽样抽取的样本大概率是与总体类似的。因而，原则上讲，只有随机抽样获取的样本才能准确地代表总体。所以在对移民数量较多的水电工程进行独立评估时，原则上也要使用随机抽样的方法。需要强调的是，随机抽样的随机是等概率的意思，绝非随便抽样的意思。例如，在街上随便寻找行人进行调查常就不是随机调查，实际上是非概率抽样调查，因为调查时上街的人被抽中的概率很大，而当时在家的人则完全没有被抽中的概率，除非该调查的总体本身就是此刻的行人。

(2)样本量。在统计学中，随机抽样的样本具有高代表性是建立在大样本的基础上的，大样本的要求是超过30个；但在实际的社会调查中，30个一般是不够的[10]。特别是在类似独立评估这种需要内部分组的调查时，样本都需要加大，样本量的增加有助于提升样本的代表性。但是，这只在一定程度上正确，因为随着样本规模的扩大，由调查工作本身带来的误差就会越来越大，如问卷和选项设计，不同调查人员及其在不同时间地点的个人理解、现场表述的差异，被访者的理解差异，对回答的记录误差等等。因而样本量越大、使用的调查人员越多、持续的时间越长、涉及的地点越多，这种在统计学上被称为非抽样误差的误差就会越多；当样本规模超过一定数量后，这种误差就会大到超过该样本规模对样本代表性的贡献，是一种得不偿失的做法。所以，除了小规模总体和人口普查之类的特例外，基本都不会进行全面调查。因为它虽然不存在样本代表性问题，但其非抽样误差会非常大，最终的质量会低于抽样调查。

3.2 跟踪——纵向对比有无意义

无论是采取全面调查还是以小见大的抽样调查，评估结论的得出都依赖于不同年份之间的数据对比。而这种纵向对比必须是建立在样本群体构成不发生较大变化的前提下，如果每年调查的样本或调查对象都不一样，那么这种对比就是无意义的，就不再是同一群人在不同年份的纵向对比，而成了不同人群在不同年份的对比。因而，确保每一个(至少是大多数)样本或调查对象在每一次调查时都能被调查到，成为影响数据对比质量以及评估结论可靠性的重要因素。

3.3 调查——搜集的数据是否真实

独立评估最终还是需要落实到具体的问卷调查中，评估工作人员能否全面、真实、有效地从被调查者那里获取数据和信息。如果搜集到的信息和数据不完整或者不真实，或者搜集到的信息数据真实但评估人员无法有效地进行记录和应用；那么评估的结论也不可能全面、真实、有效。因而，除去基本的人员培训外，现场调查时的诸多因素都会影响调查质量。如，现场是否有足够的时间完成问卷调查、调查人员的疲劳度和敬业程度、被访者被访问时的态度和状态、调查人员是否共享同一种语言(方言)、调查选择的时间季节等，都可能造成极大的非抽样误差。

4 实际应用中的问题与建议

4.1 存在的问题

(1)独立评估的具体应用场景问题。独立评估所针对的移民多数是农村移民，而当前我国城镇化和人口流动十分频繁，特别是水库工程多在山区，往往又是经济欠发达的地区，移民外出务工非常普遍，留守的多是老人妇女和儿童。因而评估人员常常需要面对大量移民不在家的情况，而独立评估贯穿多年的跟踪调查属性又使情况更为复杂。这就会造成三个问题：首先，大量不在家的青壮年劳动力以及年轻的家庭基本失去了被调查到的可能性，而留守农村的移民被抽中概率则会大幅增加。即便按照花名册进行严格的随机抽样，在实际调查中也不得不因大量样本无法找到而进行调整。因而，等概率抽样在绝大多数评估中是很难实现的。其次，即便某一户家中的部分成员可以调查到，但不同家庭成员对家庭情况的了解程度是不一样的，特别是收入方面，老年人和家中年轻劳动力掌握的情况就会很不一样；从而会使搜集到的家庭情况与实际情况产生极大的误差。第三，跟踪调查中的情况更为复杂。跟踪往往要连续进行多次，非常可能遇到移民户其中几次在家而另外几次调查时外出务工的情况，或者不同调查时遇到的不同家庭成员的情况；因而会使调查结果产生不正常的波动。

(2)工作安排方面的问题。首先，根据目前《规范》中对抽样比例的规定和一定范围内存在的样本量越多越好的观念，对于一些移民数量较多的项目，普遍会定下较大的样本规模；而由于评估单位都有其成本核算的考虑，或是采取增加人员和分组来压缩工作时间或是通过延长时间安排来控制人工投入，但分组和人员的增加会使不同工作人员之间在调查方式和相关理解、表达、记录等方面很难统一，会成倍地增加调查的非抽样误差，而过分延长时间也会超出评估人员的工作极限，同样会增加非抽样误差。两者都会严重影响评估质量。其次，按照独立评估的功能定位来说，除了满足项目验收外，还应该承担起发现问题、解决问题、为后期扶持等后续事宜提供帮助和参考的功能。这就需要评估人员具有调研的意识和发现问题的敏感性。然而，在定量化的评估方法下，对样本户的评估主要是依托定量的结构化问卷调查，这种问卷操作简便，提问清晰，但却也引导和束缚了人的注意力。在现实中，很多需要注意的问题是无法全部预见的，更不可能全部纳入到调查问卷中，过分强调定量数据搜集会削弱独立评估发现问题的能力。这一是由于强调大样本量，以及由此带来的紧凑的进度安排会导致评估人员疲于完成问卷调查，根本无暇顾及其他；二是定量化的评估方法虽然降低了对评估人员的要求有利于评估工作的标准化和规模化开展，但同样也使很多评估人员缺乏相应的问题意识。

4.2 建议

(1)随机抽样与代表性问题的建议。在理论上，只有随机抽样的样本才有代表性，独立评估也应该严格实行随机抽样才能保证，对此《规范》中也规定，“移民样本应采用分层多阶不等概率抽样(PPS)”，PPS抽样在统计学上属于概率抽样的一种。这里使用的是“应”字，根据《规范》的用词说明，“表示严格，在正常情况下均应这样做的：正面词采用‘应’，反面词采用‘不应’或‘不得’”。本文认为《规范》使用“应”字而非“必须”的表述是较为明智的，因为考虑到当前城市化进程、人口流动的现状以及跟踪调查的特点，严格的随机抽样在很多评估项目中都是无法做到的，绝大部分的评估单位也不具备执行严格随机抽样的技术能力和客观条件，甚至很多评估人员都不能准确理解随机抽样的含义。如果强行使用“必须”的字眼，要么会使该条款成为得不到执行的“废纸”，要么造成大量评估项目无法合格。尽管无法做到严格的随机抽样，但可以通过以下方法加以弥补。即，在现场调查时有选择性地抽取样本，确保所有类型的移民户都有被调查到。可以事先根据移民花名册、移民安置规划报告等资料根据家庭人数、年龄、性别、职业、居住地点等属性估算不同类型移民和家庭的比例情况，在实际调查中根据这些资料有意识地控制被调查对象的数量，如当发现调查的纯老人户太多时，就要有意识地减少对这类家庭的调查、增加其他类型样本的数量，实践中必须严格避免为了完成样本量随便找移民凑数造成某一类型占比过大的情况。

(2)跟踪问题的建议。对于独立评估来说，独立评估的质量最需要解决的还不是样本代表性问题，而是能否跟踪到位的问题。如果样本跟踪质量较高，那么其即便无法准确代表全部移民的前后变化情况，也可以十分准确地反映样本群体的变化情况。否则，即便样本很有代表性，每年的被访者都有较大变化，也无法反映其生产生活状况的变动。因而，评估最重要的是跟踪的质量。在实践中最难的也是保障跟踪质量。对跟踪难的解决思路是，结合控制样本量，可以尝试以确立小样本量、大实际调查量的思路来增大样本冗余度。报告编写时可以只使用前后两年都跟踪到的样本。

(3)样本量确定问题的建议。首先要合理制定确定样本规模的方式。要减少非抽样误差、保障跟踪质量以及使评估人员具备发现问题的时间精力，就必须控制样本规模。《规范》中5.2.7给出了确定样本量的计算方式，采取的是随着总体规模增大而逐步减少抽样比例的方式。这种非线性的样本量确定方式是较为科学合理的。因为，首先在无法做到随机抽样的情况下，一味强调样本规模已经没有意义，无论多一些还是少一些本质上该样本都是无法代表总体的；与其低质量地增加工作量和非抽样误差，不如减少样本量做精样本。因而，建议在未来修订《规范》时，可以进一步缩减对样本量要求。特别是，当样本量超过1 000后，非抽样误差就会成倍增加。这在没有做到严格随机抽样的情况下是得不偿失的。

(4)控制非抽样误差方面的建议。要明确树立起控制非抽样误差的意识。以往工作中，评估人员仓促上岗、分组过多、参与人员过多、人员变动频繁、对有关问题的理解、现场提问记录标准不统一等现象较为普遍。这些都会产生巨大的非抽样误差，因而严重影响花费巨大人力、物力、时间、精力所搜集到资料的质量。而且，目前业内从业人员也并没有很好地意识到非抽样误差问题的重要性。在日常工作中应对此予以强调和重视，加强人员培训，合理安排工作计划，如避免在某些单独的地点和工作日安排过大的样本量。要使评估人员在采集数据之外有余力和时间做更多的调查和了解，这样才有可能在问卷内容之外发现更多未知的有价值情况。在每次实地调查开始前，应做好准备工作，加深对评估地点的了解，包括在出发前完成对问卷的修改工作，要使问卷的问题和各个选项符合工程及其所在地的特点；同时评估细则的编写等工作都要仔细梳理，避免直接照搬照抄以往评估项目。

(5)避免以过于定量化的方式得出评估结论。在无法保证抽样的随机性又无法较好控制非随机抽样的情况下，评估所获得定量数据对总体的代表性是可疑的，是有可能与实际值发生较大偏差的；因而还是要强调补充结合定性观察等其他方式获得的资料，避免单方面根据某个均值得出结论。评估工作的功能决定了独立评估是需要将成果反作用于现实世界的。从发现问题的功能定位来看，评估工作不能仅是依靠数据的采集和运算，评估单位和评估人员要树立起调研的意识，积极发现问题，为后续移民工作提供建议和参考。特别应避免在得出结论时采用将多个单项指标通过某种方式计算为综合指数的评价方式；这种方式通过将一些偏定性的定类、分层信息转化到定量化的综合指数中，看似更加客观、精确，实际会使结论更加偏离现实。因为在对各项数据的复杂运算中，一些单项问题就会被高度脱离现实经验层次的综合指标所掩盖，沦为纯粹的数字游戏。

(6)树立结构意识。应当意识到，移民群体并不是一个铁板一块、内部没有差异的同质性群体，同样的移民搬迁对不同移民的影响是可能完全不一样的，某些移民可能会从中受益，而另一些移民也可能因此而处境变得更糟，这些局部的现象不应被忽视和掩盖。因而，评估人员都应树立起结构意识，尤其是最后的报告编写中，虽然在非随机调查中无法保障样本对总体的代表性，但在后期数据分析中仍可以通过对不同样本的分类分组分析挖掘数据的价值。通过树立结构意识、进行分类数据处理，即便各类样本所占比例与总体的结构差异较大，但每类样本自身还是能较好反映这一类群体的特征。在提出后续改进建议时也可以更有针对性，有利于提升评估工作的意义和价值。