基于多维语言学特征变量的汉语二语者写作水平评价研究
2022-09-01张漫莉
写作不仅是语言表达的一种重要产出形式,而且是二语学习者语言水平高低的重要标志之一,因此,它也是第二语言习得研究的重要问题之一。研究表明,汉语二语作文质量与词汇
、句法
两个因素密切相关,词汇、句法维度区别性特征的选择与使用,是第二语言口语测试和写作测试评分的热门议题之一。在大数据时代,以便捷的方式完成二语学习者写作水平(Writing Proficiency)的自动评分,具有广泛的应用价值,也是目前学界研究的热点,选择高效度、高信度的评价指标则是实现写作自动化评分的核心内容。黄志娥等指出,在HSK自动作文评分的研究中,指标选取是关键环节之一,直接影响着评分模型的性能
。不过,在以往的研究中,由于研究角度、目的和语料来源有效性等方面的差异,无论是在指标的操作性定义方面,还是在测量体系的信度、效度方面,均未达成共识。
前景化概念对诗歌的解析具有重要的作用,可以从变异和过分规则化两个角度入手,找出其语音、语相、词汇、句法以及语篇等各个层次上的变异和过分规则化,更好地理解作者的选择,欣赏前景化所带给诗歌的美感,从而为诗歌解释提供有力的依据。
语言表达的复杂度、准确度和流利度(Complexity、Accuracy and Fluency,以下简称“CAF”),是二语表达中既具有协同作用又存在竞争关系的维度
,因此,它们是评价二语学习者书面表达能力的重要特征变量,体现了心理语言的习得、表征和认知加工机制
。近些年来,基于CAF对二语表达水平评分的有效性的研究越来越多,其中,词汇、句法维度的CAF指标更是研究的热点,但已有的研究成果主要集中在英语习得领域。英语与汉语是两种不同类型的语言,英语习得研究的成果无法直接应用在汉语习得与评价研究中,相较而言,汉语二语习得领域的相关研究较为滞后。
针对上述问题,本文将基于中国汉语水平考试(以下简称“HSK”)大数据,采取“大数据小样本”策略,以韩国学生的HSK写作测试语料为研究对象,从词汇和句法维度筛选、界定符合汉语特征的量化指标,进而尝试构建更加优化的、更具普适性的写作评价回归模型,以期完善汉语作为第二语言的写作评价指标体系,为汉语作为第二语言的写作自动评分系统的设计提供借鉴,并为汉语二语写作教学提供参考。
一、研究设计
(一)研究问题
本文所探讨的问题主要包括三个方面:1.词汇和句法维度的29个典型指标与写作成绩的关系如何?2.在词汇和句法两个维度中,哪一个维度对写作水平的影响更大?3.由词汇及句法指标所构建的韩国学生汉语写作评价回归模型中,哪些指标可以有效预测写作分数?回归模型的效度如何?
(二)语料的选取与处理
本研究所用语料来自于参加2010年4月HSK(高等)考试的韩国学生限时独立写作的命题作文《员工八小时以外是否应该自由》,依据HSK作文的标准分,将随机选择的90份(男、女各45份)韩国学生作文语料,划分为低、中、高三个分数段。其中,50—60分为低分段,70—80分为中分段,90分及以上为高分段。通过对语料进行机器分词、人工标注和统计等处理,考察韩语母语者书面写作中词汇维度、句法维度的语言特征表现。
表7需要说明的是,a.预测变量:(常量),零形成分数量,最常用词比率,虚词使用比率,话题链数量,话题链分句数量;b.因变量:作文分数。方差分析结果显示,模型1(
[5,39]=8.543,
<.001)是有效的。回归分析结果表明,虚词使用比率、最常用词比率、话题链数量、话题链分句数量和零形成分数量五个参项,最终进入回归模型,它们能够解释写作成绩52.3%的变异(
R
=.523)。各参项的具体影响,如表8所示:
(三)评价指标的选取
吴继峰将HSK作文评分标准概括为语言特征和内容质量两部分
,其中,词汇维度和句法维度作为语言特征的两个典型性维度,在写作质量评价中起着不可忽视的作用。本研究以Read的词汇丰富性框架为基础,并借鉴王艺璇
、吴继峰
的研究方法,将词汇层面的考察维度操作性定义为词汇多样性、词汇复杂性、词汇准确性和词频概貌,最终选取了19个典型词汇特征作为初始指标体系进行相关研究。其具体指标及计算方法如表1所示:
观察组的肠鸣音恢复时间、肛门自主排气时间以及护理满意度 为(16.56±8.20)h、(22.12±7.85)h、(92.14±2.15) 分;对照组的上述指标为(38.15±14.33)h、(47.96±18.98)h、(81.23±3.65)分。
在句法维度上,Lasagabaster & Doiz认为,“跟那些能力较差的学生相比,能力较强的学生的文章会更长、更复杂也更准确”
。在汉语二语写作研究中,王艺璇
、吴继峰
的研究结果均证实了这一观点。不过,由于已有研究中所选取的句法指标不同,因此,各位学者得出的结论也存在一定差异。基于这一考虑,本研究将句法正确性和句法复杂性作为考察对象,并借鉴井茁
、吴继峰
的研究方法,从句法正确性和复杂性两方面选取了10个特征变量。其具体指标及计算方法如表2所示:
二是实施组织优化方略,推进水资源一体化管理。鉴于水资源的流动性、循环性和基础性等特征,将隔断的水连接起来,推进涉水事务一体化管理。基于流域水资源合理配置,完善流域一体化管理;按照统筹城乡、以城带乡的要求,积极推进城乡供水统筹管理。加强水管理部门内部、水管理部门同环保、城建等部门的协调,进一步提高水资源管理的一体化水平,从短期来看,推进建立水资源统一管理机构;从长期看,建立资源环境一体化管理机构,从根本上改变水资源管理分散和割裂的局面,改善水资源的总体功能。
根据上述指标体系,我们对研究对象的写作语料逐篇进行了指标统计,然后以词汇多样性、词汇复杂性、词汇准确性、词频概貌、句法正确性和句法复杂性这6个维度的29项典型特征为考察对象,进一步对韩国学生作文语料进行数据标注与统计检验,考察韩国学生在词汇和句法维度上的语言表现特征。
(四)研究过程
本研究主要分为三个阶段:首先,对语料进行分词、标注等处理,依次采集本研究所需要的各项评价指标。其次,借助SPSS25.0软件,进行各项写作评价指标与写作成绩的相关性分析,选取显著相关的词汇、句法指标作为原始参项,以被试的HSK考试写作分数为因变量,分别构建词汇回归模型、句法回归模型以及词汇句法综合回归模型。最后,对以上三个回归模型进行效度检验,探究词汇和句法因素对写作成绩的影响程度与预测效果,从而筛选出具有高效度、高信度的汉语二语写作水平评价指标。
二、研究分析
(一)词汇维度
1.词汇指标与写作成绩的相关性
我们首先对词汇维度的19个指标与写作成绩之间的关系进行了Pearson相关分析,结果显示:在上述19个初始词汇指标中,有11个指标与作文分数呈显著相关。其中,词汇多样性特征中的Guiraud指标、总词数、词种数、虚词数量、虚词使用比率和连词数量,均与写作成绩显著相关(
=.563,
<.01;
=.459,
<.01;
=.630,
<.01;
=.490,
<.01;
=.390,
<.01;
=.361,
<.05);词汇复杂性特征中的复杂词数量与写作成绩显著相关(
=.398,
<.01);词汇准确性特征中的无错误词汇数量与写作成绩显著相关(
=.385,
<.01);词频概貌特征中的最常用词比率、常用词数量和次常用词数量,均与写作成绩显著相关(
=-.405,
<.01;
=.479,
<.01;
=.402,
<.01)。其余8个指标与写作成绩的相关性均不显著。
先说园。园因砧木不同分为乔化、矮化和短枝,矮砧又分为中间砧与自根砧两种;园因建在不同地貌分为川地园、塬面园和山地园。应根据砧木、品种、密度、立地、树龄、树势等综合作出修剪研判。如果一个果园已经郁闭,仅在个体上做文章显然是不够的,必须通过间伐才能从根本上解决群体光照问题。同理,在一株树上先要观察并决定大枝的去留,然后才是枝组的精细修剪。
1.句法指标与写作成绩的相关性
表3需要说明的是,a.预测变量:(常量),词种数;b.预测变量:(常量),词种数,虚词使用比率;c.预测变量:(常量),词种数,虚词使用比率,最常用词比率;d.因变量:作文分数。方差分析结果显示,模型1(
[1,43]=28.328,
<.001),模型2(
[2,42]=18.637,
<.001)和模 型3(
[3,41]=16.110,
<.001),均是有效的。回归分析结果显示,词种数、虚词使用比率和最常用词比率三个参项,最终进入回归模型,三者能够解释作文分数54.1%的变异(
R
=.541)。词汇各变量的具体影响,如表4所示:
根据上述分析结果,我们选择与写作水平存在显著相关的Guiraud指标、总词数、词种数、虚词数量、虚词使用比率、连词数量、复杂词数量、无错误词汇数量、最常用词比率、常用词数量和次常用词数量作为初始参项,以被试的作文分数为因变量,采用逐步回归法(Stepwise)进行回归分析。具体分析结果如表3所示:
回归分析的结果显示,词种数(
=3.705,
<.05)、虚词使用比率(
=3.168,
<.05)和最常用词比率(
=-2.515,
<.05),对作文质量的影响均显著。许宏晨指出,标准化回归方程适合用来描述研究结果,但非标准化回归方程的实用性更强
。因此,我们采用非标准化系数来建立词汇回归模型:写作成绩=60.489+0.271×词种数+77.689×虚词使用比率-56.799×最常用词比率。以上三者的标准化回归系数为:0.444>0.357>|-0.301|(词种数>虚词使用比率>最常用词比率)。由此可见,词种数对被试的写作成绩影响最大,虚词使用比率和最常用词比率的影响次之。
(二)句法维度
2.词汇回归模型
为了考察句法特征与韩国学生写作成绩之间的关系,以及句法指标对写作成绩的预测效果,本研究采用SPSS25.0软件,对二者进行Pearson相关分析。相关分析的结果显示:句法复杂性维度中的话题链数量(
=.345,
<.05)、话题链分句数量(
=.513,
<.01)和零形成分数量(
=.483,
<.01),均与作文分数呈显著相关;其余7个句法复杂性指标和句法正确性指标,与写作成绩的相关性均不显著。
2.句法回归模型
(2)分析条件确定定的点,明确需构点.由条件可知△ACD的形状确定,是一个顶角为138°的等腰的三角形,即可以先确定A、C、D三点,故只需构造点B;
由表6可知,以上三者的标准化回归系数由大到小为:0.769>0.343>0.095(零形成分数量>话题链分句数量>话题链数量),即它们对写作成绩的影响程度逐渐减弱。相应的句法回归方程是:写作成绩=53.654+0.633×话题链数量+0.557×话题链分句数量+1.084×零形成分数量。在这三个参项中,只有话题链分句数量对写作成绩的影响显著(
<.05)。不过,出于对回归方程整体性的考虑以及综合相关分析结果,我们仍保留话题链数量、零形成分数量作为模型参项。
表5需要说明的是,a.预测变量:(常量),话题链分句数量;b.因变量:作文分数。方差分析结果显示,模型1(
[3,41]=6.561,
<.01)是有效的。回归分析表明,话题链数量、话题链分句数量和零形成分数量三个参项,最终进入回归模型,它们能够解释写作成绩32.4%的变异(
R
=.324)。三个参项的具体影响,如表6所示:
根据上述分析结果,我们选择与写作成绩存在显著相关的话题链数量、话题链分句数量和零形成分数量作为初始参项,采用强制回归法(Enter)进行回归分析,并建立句法回归模型。具体分析结果如表5所示:
(三)词汇句法综合回归模型
由于写作水平是词汇和句法水平的综合反映,因此,在分别考察了词汇和句法维度对写作成绩的影响后,我们再以两个维度中与写作成绩显著相关的14个指标作为自变量,以被试的作文分数为因变量,采用强制回归法,建立词汇句法综合回归模型,并参考多重共线性(Multicollinear)的分析数据,对相关参项进行了调整。具体结果如表7所示:
通过复习课,学生具备了相对稳固的知识体系,具备了一定的科学探究能力与问题解决能力。教师可以引导学生结合本地资源开展多种形式的科学实践活动,尝试解决现实生活中与生物学息息相关的问题,进行社会责任的渗透。
为了综合评估“一带一路”背景下,东道国各项制度对中国直接投资双边经济增长效应的影响,本文将采用索洛经济增长模型作为实证分析的理论基础。索洛经济增长模型长期以来被用于分析经济增长的理论分析和促进经济增长的政策研究,对经济增长问题研究的影响是广泛和深远的,后期许多经济学家又对该模型不断放宽并加以完善。
从表8可以看出,虚词使用比率(
=3.188,
<.01)、最常用词比率(
=-3.235,
<.01)、话题链分句数量(
=2.102,
<.05),均对作文质量产生显著影响;话题链数量(
=0.936,
=0.355)、零形成分数量(
=0.396,
=0.694)的影响并不显著。出于对方程整体性的考虑以及综合相关分析结果,我们仍保留话题链数量、零形成分数量,并建立词汇句法综合回归方程:写作成绩=88.246+82.658×虚词使用比率-73.041×最常用词比率+0.816×话题链数量+0.464×话题链分句数量+0.274×零形成分数量。回归分析结果显示,五个参项的标准化回归系数由大到小依次为:|-0.387|>0.380>0.285>0.122>0.061,也就是说,最常用词比率>虚词使用比率>话题链分句数量>话题链数量>零形成分数量。这说明词汇指标对写作成绩的影响程度要高于句法指标对写作成绩的影响程度。
(四)回归模型的预测效度研究
为了验证回归方程的预测效度,我们从90份语料中随机选取了45份语料,通过检验回归模型的成绩预测值与实际写作分数之间的相关性,考察词汇回归方程、句法回归方程和词汇句法综合回归方程对学生写作成绩的预测表现。Pearson相关分析结果显示,词汇回归方程和句法回归方程的预测成绩与写作成绩之间存在显著的正相关关系,其中,
r
=.672,
<.001,
r
=.550,
<.001;词汇句法综合回归方程与写作成绩之间则存在显著的高度正相关关系,即
=.729,
<.001。上述数据表明,词汇回归方程的预测效果要好于句法回归方程,而词汇句法综合回归模型的预测效果最好。这是因为在交际表达中,词汇与语法是密切相关、无法分离的,“词语决定具体的特征,语法负责一般的规律,二者相辅相成,共同为表达意义服务”
。作为语言的建筑材料,词汇是意义的载体,是二语能力发展的重要制约因素,学习者之所以能够实现有效的二语交流,是因为掌握了充足和恰当的词汇。句法则是语言的结构规则,只有在具备一定词汇能力的基础上,学习者才能掌握语法规则,从而在语言应用中真正发挥其功能。因此,词汇能力评价在写作成绩评价中具有举足轻重的地位,语法同样也是写作评价和语言习得中不可忽视的重要维度。
三、研究结论
可以说,影响汉语二语作文质量评价的因素众多,本文选取了词汇和句法维度的29个典型指标进行考察。研究发现,在词汇维度的19个指标中,只有词汇多样性和词频概貌的3项指标最终进入了写作评价模型,能够解释写作成绩54.1%的变异。词汇复杂性、词汇准确性等8项指标与写作成绩显著相关,这与已有研究中词汇复杂性和词汇准确性对写作成绩具有显著影响的结论相一致。其中,词汇多样性指标——Guiraud指标和词种数与写作成绩处于中等相关(r
=.563,p<.01,r
=.630,p<.01),这说明汉语二语写作中使用尽可能丰富的语言表达方式是十分必要的。因此,无论是学习者,还是汉语教师,都需要对词汇多样性保持持续关注。
句法维度中,只有代表句法复杂性的话题链数量、话题链分句数量和零形成分数量三个指标显著,三者组合能够解释写作成绩32.4%的变异。这一发现与吴继峰
所得出的语法正确性与写作质量显著相关的结论并不一致。我们认为,研究所选取的样本量、学习者的个体差异及回避策略的使用,都是影响相关显著性的重要因素。
在构建词汇句法综合回归模型时,虚词使用比率、最常用词比率、话题链分句数量、话题链数量和零形成分数量作为有效参项,其标准化回归系数由大到小依次为:|-0.387|>0.380>0.285>0.122>0.061。这说明文本的词汇特征对写作成绩的影响较大,句法复杂性次之。依据Cohen的效应量参照体系,R
的小、中、大效应量标准分别是0.02、0.13、0.26
。如果按照语言维度来统计,词汇和句法指标均达到高等效应量,其中,词汇指标对写作成绩的解释力度更大(R
=.541,R
=.324,R
=.523);综合效度检验结果,二者共同使用时对写作成绩的预测效果最佳(r
=.672,r
=.550,
r
=.729)。
全部入组患者年龄最小50岁,最大80岁,其中男性35例,女性25例,两组患者在年龄,性别等一般资料上无显著差异,P>0.05,具有可比性。
综上所述,本文考察了词汇多样性、词汇复杂性、词汇准确性、词频概貌、句法复杂性、句法正确性等语言特征与写作成绩之间的关系,检验了词汇和句法维度的29个典型指标对写作水平的预测作用。研究发现,最常用词比率、虚词使用比率、话题链分句数量、话题链数量和零形成分数量,可以作为韩国学生汉语写作自动评分的有效参项。这一结论对韩国汉语学习者作文的量化测评、自动评分和写作教学均具有参考价值。需要指出的是,由于相关指标的处理难度较大,本研究所选取的样本量有限,不能称为严格意义的大样本。如果在今后的研究中能进一步丰富被试样本、完善语料体裁,那么其研究成果对第二语言写作评价将更有价值,其结论也更具普遍意义。
[1]吴继峰.语言区别性特征对英语母语者汉语二语写作质量评估的影响[J].语言教学与研究,2018,(2).
[2]王艺璇.汉语二语者词汇丰富性与写作成绩的相关性——兼论测量写作质量的多元线性回归模型及方程[J].语言文字应用,2017,(2).
[3]吴佩,邢红兵.内容、词汇、篇章特征对汉语学习者二语作文质量的影响研究[J].语言教学与研究,2020,(2).
[4]Jiang,W.Y.Measurements of development in L2 written production:The case of L2 Chinese[J].Applied Linguistics,2013,(1).
[5]王艺璇.HSK作文成绩与句子长度、复杂度及语法错误的相关性[A].北京语言大学对外汉语研究中心.汉语应用语言学研究(第4辑)[C].北京:商务印书馆,2015.
[6]吴继峰.韩语母语者汉语书面语句法复杂性测量指标及与写作质量关系研究[J].语言科学,2018,(5).
[7]黄志娥,谢佳莉,荀恩东.HSK自动作文评分的特征选取研究[J].计算机工程与应用,2014,(6).
[8]Norris,J,M. & Ortega,L.Towards an organic approach to investigating CAF in instructed SLA:The case of complexity[J].Applied linguistics,2009,(4).
[9]Crowhurst,M.Syntactic complexity in narration and argument at three grade levels[J].Canadian Journal of Education/Revue canadienne de l’éducation,1980,(1).
[10]Flower,L. & Hayes,J,R.A cognitive process theory of writing[J].College Composition and Communication,1981,(4).
[11]Larsen-Freeman,D.The emergence of complexity,fluency, and accuracy in the oral and written production of five Chinese learners of English[J].Applied linguistics,2006,(4).
[12]吴继峰,周蔚,卢达威.韩语母语者汉语二语写作质量评估研究——以语言特征和内容质量为测量维度[J].世界汉语教学,2019,(1).
[13]Lasagabaster,D. & Doiz,A.Maturational constraints on foreign-language written production[A].In García Mayo,M.P. & García Lecumberri,M.L.(eds.).Age and the acquisition of English as a foreign language[C].Clevedon:Multilingual Matters Ltd,2003.
[14]井茁.从中介语发展分析到高级汉语课程设置——内容依托型教学研究的启示[J].世界汉语教学,2013,(1).
[15]许宏晨.第二语言研究中的统计案例分析[M].北京:外语教学与研究出版社,2017.
[16]王勇,李正林.词汇和语法的关系——几种语法模式的比较研究[J].华中师范大学学报(人文社会科学版),2015,(2).
[17]Cohen,J.Statistical power analysis[J].Current Directions in Psychological Science,1992,(3).