走出搜索迷航:复杂探索式搜索过程中笔记记录的认知导航功能探究

孟高慧 刘 畅

(北京大学信息管理系,北京,100871)

1 引言

随着网络信息量的增长,当前搜索用户处于一个信息富裕且动态密集的信息空间中,用户的问题情境变得更加困难和复杂,搜索任务的层次也由此提升。在此背景下,传统的事实查找型搜索任务已经无法代表用户普遍的任务情境,用户面临的搜索任务经常是开放性的,再加上领域知识缺乏,他们在搜索过程中往往会处于一种信息需求模糊、搜索过程陌生、搜索目标未知的不确定状态。此外,搜索任务也通常会包含多个子任务或子主题,需要用户构造多个查询式、搜索多个信息源,甚至跨越多个搜索会话才能完成。由于搜索任务具有探索性和复杂度,搜索者会在搜索过程中面临多种困难,包括表达信息需求的困难、规划搜索过程的困难、意义构建的困难、控制认知负荷的困难、集中注意力的困难等。这些困难的存在导致搜索者容易出现“搜索迷航(search dis-orientation)”问题,即他们在当前搜索步骤与下一搜索步骤之间迷失,既不知道当前的搜索进展以及下一步的搜索方向,也不知道如何执行下一个搜索步骤。这一概念的界定借鉴了此前学界对迷航(disorientation)问题的定义。迷航问题伴随着超文本技术的出现而产生,Conklin[1]将其定义为用户知道自己在网络中的位置以及如何去他们知道存在于网络中的其他位置的困难;国内学者将其翻译为超文本迷航[2]、网络导航迷失[3]、信息迷航[4-5]等。随着超文本导航技术的发展,超文本迷航问题逐渐被解决,但随着用户搜索任务层次的提升,新的问题随之而来,即“搜索迷航”问题。如果说超文本迷航是指用户在超文本空间中迷失方向,那么搜索迷航则是指搜索者在搜索过程中迷失方向。搜索迷航会产生一系列负面影响,如降低搜索任务完成效率、认知负荷过载、注意力不集中、产生负面情绪等,甚至会影响最终的搜索绩效。可以说,搜索迷航问题在具有探索性或复杂度的搜索情境中普遍存在。

笔记记录(note-taking)是指个体理解一份书面文件或一篇演讲,并通过写下来的方式记录信息的活动[6],笔记记录能够在课堂学习情境下发挥贮藏和编码功能[7],并最终服务于学习效果的提升。除课堂学习情境外,笔记记录也是搜索会话中最为常见的活动之一,尤其在探索式搜索中,搜索者经常会使用手写或电子笔记来收集、管理、组织和分享在搜索时找到的信息[8]。已有研究对搜索情境下笔记记录的功能进行了研究,并发现了笔记记录具有提高搜索绩效的作用[9-13]。但是,对于具有探索性或复杂度的搜索情境来说,最为紧迫的问题不仅在于改善最终的搜索绩效,还在于解决用户在搜索过程中的搜索迷航问题。基于对笔记记录在课堂学习情境中所发挥功能的分析,本文认为,搜索中的笔记记录可以通过支持用户的一系列认知及元认知调节活动来协助他们推进搜索过程,避免出现搜索迷航问题,此即笔记记录的“认知导航(cognitive orienta-tion)”功能。笔记记录的这种认知导航功能是其贮藏和编码功能在搜索情境下衍生出的新功能,目前仍未有学术研究探究这一功能。此外,也仍未有搜索系统工具充分支持搜索过程中的笔记记录来帮助用户解决搜索迷航问题,因此需要进一步探究系统如何支持用户主动的笔记记录过程,以更好地发挥笔记的认知导航功能,从而挖掘笔记记录在支持用户搜索过程中的更大可能性。

为此,本文提出了一种新的“复杂探索式搜索任务(complex and exploratory search task)”作为理想研究情境,在此基础上以“复杂探索式搜索过程中笔记记录的认知导航功能”为主题,尝试探究笔记记录能否在搜索过程中发挥认知导航功能以及不同记录策略的功能区别,最终启发搜索系统在笔记记录环节提升服务,更好地支持具有探索性或复杂度的搜索情境。

2 相关研究

2.1 复杂探索式搜索任务

当前,传统的事实查找型搜索任务已经无法代表用户普遍的任务情境,各种新的搜索情境受到关注。探索式搜索是信息搜索领域不断细分下产生的研究前沿。2006年,Marchionini[14]提出了探索式搜索的概念,即在信息需求模糊、缺乏相关目标知识的问题情境下,用户通过多次交互、多次循环、变化目标,以多种方法不断探索从而达到信息目标的信息搜寻过程,这种过程与学习和调查类活动高度相关。产生探索式搜索过程的典型任务叫作探索式搜索任务,其中,任务的“探索性”属性指用户的主观知识状态[15],即用户处于一种不熟悉、不确定的状态,既不熟悉目标领域、不确定达成搜索目标的路径,也不确定搜索目标[14]。

在对搜索任务进行分类时,任务的复杂度同样受到关注。复杂搜索任务即具有高复杂度的搜索任务,借鉴Liu等[16]对工作任务复杂度定义的分类,本文将不同学者对搜索任务复杂度的定义归纳为以下三个维度:首先,有学者从任务结构出发定义复杂度,强调组成搜索任务的元素数量及相互关系,复杂搜索任务包含较多任务元素且元素之间相互连接,包括考虑子任务的数量[17]、任务主题或分面的数量[18-19]、搜索会话的数量[15]、搜索信息源的数量[15]、搜索步骤的数量[17]、搜索路径和结果的多样性[20-21]等;其次,也有学者从资源需求出发定义复杂度,强调完成搜索任务的人类信息处理过程中所需的各类资源的数量,复杂搜索任务在完成过程中需要投入更多的资源,包括考虑任务定义的充分性(即认知需求的数量)[22-23]、用户参与度[24]等;最后,也有学者从任务和搜索者特征(如先验知识和经验)之间的交互作用出发定义复杂度,强调搜索者对任务复杂度的感知,即考虑用户感知复杂度[25-26]。在这三个维度中,后两个维度上的复杂度均可由“不确定性”所引发,任务缺乏结构所导致的任务本身的不确定性会引发第二个维度上的复杂度,而搜索者缺乏知识所导致的搜索者对任务的不确定性则会引发第三个维度上的复杂度。与此同时,任务本身的不确定性或搜索者对任务的不确定性往往会使搜索者的主观知识处于不确定的状态。因此,这两个维度上的复杂度与探索式搜索任务的“探索性”属性紧密关联。

探索性通常是复杂搜索的一个固有特征[15],而探索式搜索也往往具有复杂度属性[14],搜索任务的探索性和复杂度属性紧密关联。已有一些研究在定义搜索任务时同时关注了任务的探索性和复杂度,例如,Awadallah等[17]将其研究的搜索会话的特征定义为:涉及到学习和发现、浏览感兴趣的主题或者人的信息、解决一个多步骤任务,并且交替地使用探索式任务和复杂任务的术语来表示这种类型的任务;袁红等[27]在定义实验任务时,将搜索任务分为提问应答式和探索式,同时将探索式搜索按照任务复杂度设计了单主题搜索与多主题搜索两组。

在这些研究的基础上,本文提出一种新的搜索任务,即复杂探索式搜索任务,并借鉴Aula等[15]对探索性和复杂度的区分来定义该搜索任务。如图1所示,该搜索任务同时具有“探索性”和“复杂度”属性,其中探索性由任务的不确定性来衡量,即用户知识对搜索目标理解的当前水平到搜索目标可以被执行的距离,这种不确定性是由任务要求模糊或用户对搜索领域不熟悉等引起的;复杂度由任务所包含的元素数量来衡量,即取得搜索目标所需的搜索步骤数量,这种复杂度是由任务本身复杂引起的。复杂探索式搜索任务是指同时包含不确定性和多任务元素的搜索任务,一般以学习或调查某一主题或领域为任务目标。

图1 复杂探索式搜索任务的定义

2.2 笔记记录功能的相关研究

从20世纪70年代开始,国内外关于笔记记录的研究逐渐兴起,这些研究主要集中于课堂学习情境。目前关于课堂学习情境下笔记记录的功能形成了贮藏功能假说(storage function hypothesis)和编码功能假说(encoding function hypothesis)[7]。其中,贮藏功能假说主张笔记记录的作用主要在于对所记笔记的占有,认为笔记是一种外部存储机制、一种记录信息以便日后审查的手段[28];编码功能假说则主张笔记记录的作用主要在于对信息的编码过程,强调笔记是一种知识转化工具、一种知识建构工具。在笔记记录的过程中,学习者向自己叙述和解释一些信息,并组织和建立关系以使它更容易理解[29]。通过这种编码机制,学习者能够在认知层面上深化文本理解[30]、强化信息记忆[31]、建构知识体系[32],在元认知层面上引发积极活动[28,33]、维持注意力[10,34]、计划及监控任务[28,35]。这两种假说本质上是互补的,它们分别从静态和动态角度阐明了笔记记录的功能[36]。无论是哪种假说,课堂学习情境下的笔记记录功能最终均服务于学习效果的提升。

除了课堂学习情境,笔记记录也是搜索会话中最为常见的活动之一[8]。搜索情境下的笔记记录是用户对已获得的信息进行使用的行为,已有一些学者对搜索情境下笔记记录的功能展开了研究。Kauffman等[9]探究不同笔记记录策略在网络学习环境中对信息收集和学习成绩的影响发现,矩阵笔记是一种较好的信息收集和提高学习成绩的工具;Wu等[10]探究笔记记录策略和时间压力对大学生任务无关浏览行为和在线搜索绩效的影响发现,矩阵笔记可以抑制与任务无关的刺激,并可以提高在线搜索绩效;刘畅等[11]根据搜索中的笔记完成度,将用户的笔记记录策略分为早期记录型、平均记录型、后期记录型,发现平均记录型的学习产出质量更高;Wu[12]在考虑使用笔记记录辅助认知的前提下,探究无关言语和沉默状态下用户的工作记忆能力配置对在线搜索绩效的影响发现,无论自由笔记还是矩阵笔记均能够帮助用户控制认知负荷,提高在线搜索绩效;Roy等[13]探究整合到搜索界面中的高亮显示和笔记记录等主动阅读工具对学习导向搜索的影响发现,笔记记录能够改善用户的学习效果。总的来说,已有搜索情境下笔记记录功能的相关研究主要关注了笔记记录对提高搜索绩效的作用,但这仍然是课堂学习情境下笔记记录的贮藏和编码功能在搜索情境下最直接的体现。

2.3 笔记记录在搜索过程中的认知导航功能

根据已有研究,复杂探索式搜索任务是最需要用户进行笔记记录的搜索情境,例如,Aula等[15]提出了一条笔记记录分界线,并指出当搜索任务的探索性和复杂度都充分地强加给搜索者大量的记忆和认知负担时,就需要笔记这种外部存储;Donato等[24]也提出,复杂的研究型搜索任务是收集笔记的正确情境。这也意味着,笔记记录能够在复杂探索式搜索任务中发挥最显著的功能。搜索迷航问题是用户在复杂探索式搜索过程中所面临的最主要问题之一。基于笔记记录在课堂学习情境下所发挥的认知和元认知层面的功能,本文认为,在复杂探索式搜索过程中,笔记记录可以通过支持用户的一系列认知及元认知调节活动来协助他们应对多种可能的困难,推进他们的搜索过程,避免出现搜索迷航问题,此即笔记记录的认知导航功能。具体而言,笔记记录能够发挥认知导航功能的原因可能包括:构建用户的知识体系,协助应对表达信息需求的困难;计划及监控用户的搜索过程,协助应对规划搜索过程的困难;深化用户对结果的理解,协助应对意义构建的困难;外化用户搜索结果的存储,协助应对控制认知负荷的困难;引发用户的积极活动及维持注意力,协助应对集中注意力的困难等。

笔记记录的这种认知导航功能是其贮藏和编码功能在搜索情境下衍生出的新功能,目前仍未有学术研究探究这一功能。此外,已有搜索系统中开发的各类搜索笔记主要充当信息保存和组织的工具[24],大多仅为用户提供最基本的记录功能,或帮助用户自动地保存、组织搜索结果,这种自动化的笔记形成方式是被动的,只能发挥出笔记的贮藏功能,削弱了笔记记录的动态过程所发挥的编码功能。目前仍未有搜索系统工具充分支持搜索过程中的笔记记录来帮助用户解决搜索迷航问题,需要进一步探究如何支持用户主动的笔记记录过程,以更好地发挥笔记的认知导航功能。基于此,本文以“复杂探索式搜索过程中笔记记录的认知导航功能”为主题,研究以下两个问题:

问题一:笔记记录能否在搜索过程中发挥认知导航功能?其认知导航功能主要表现在哪些方面?

问题二:不同笔记记录策略发挥的认知导航功能是否存在区别?主要在哪些方面存在区别?

3 研究设计及数据收集

本文采用实验法收集数据。下面具体介绍用户实验的组内实验、搜索任务、笔记记录条件和所使用的搜索过程表现主观评价初始问卷的设计,以及最终的实验过程和结果。

3.1 实验设计

3.1.1 组内实验设计

为了尽可能控制个体差异对结果的影响,采用组内实验设计,每一被试均接受3种笔记记录条件的实验处理,分别完成3个搜索任务。此外,3个搜索任务、3种笔记记录条件以及任务顺序的组合采用拉丁方设计,在不同被试间进行36(3×2×3×2)种组合的轮换。

3.1.2 搜索任务设计

在任务类型上,设置为复杂探索式搜索任务。一方面,为了操作任务的探索性属性,将任务设置为知识获取型任务[14],特点是具有开放式的搜索目标,没有获得所需信息的确定路径,没有何时结束搜索的明确标准,直到主观满意[37]。另一方面,为了操作任务的复杂度属性,将任务设置为平行任务,特点是信息需求被找到存在于概念层级体系中同一层次的多元概念所满足,属于广度搜索[38]。在任务主题上,选取了大学生比较感兴趣的产品领域,同时为了增强任务的探索性,将搜索主题定为领域中的新兴产品,分别为旅行自行车主题、骨传导耳机主题、电动滑板车主题。在任务表述上,使用模拟真实环境下工作场景的仿真任务情境[39]来构建任务。最终,实验共设置了以下三个复杂探索式搜索任务:

假设你在毕业后应聘成为一家在线杂志的作家。最近,你的编辑希望你就“旅行自行车——专为长途游行而生的自行车”(task1)/“骨传导耳机——贴到太阳穴上就可以听音乐”(task2)/“电动滑板车——轻巧简便的绿色出行工具”(task3)这一主题概念进行写作。在文章中,你需要尽可能地在多个关键的可对比维度上描述旅行自行车、山地自行车、公路自行车/骨传导耳机、入耳式耳机、头戴式耳机/电动滑板车、电动自行车、平衡车的特点,最终形成一篇全面对比三类产品的文章,以方便读者选用。在写作之前,你需要收集写作过程中需要的信息资料,请使用“百度一下”进行搜索,在搜索过程中对有用的信息片段进行采集。请收集尽可能多个关键维度上完整的信息,搜索时间不限,当你觉得已经收集了足够多的信息资料以供写作后,即可停止搜索。

3.1.3 笔记记录条件设计

本文的主要目的在于探究笔记记录能否在搜索过程中发挥认知导航功能以及不同记录策略的功能区别,其中涉及到不同的笔记记录方式,这是研究的自变量。为此,本研究选定提纲笔记和矩阵笔记两种代表性笔记记录策略[40],这两种策略均属于结构化记录策略,能够更好地组织概念并建立连接,且已被广泛证实具有比传统自由笔记更好的学习效果[41],此外,引入无笔记情况进行对比,共设置了无笔记、提纲笔记、矩阵笔记三种笔记记录方式。

(1)无笔记条件:被试在搜索中不记录笔记。(2)提纲笔记条件:被试在搜索中记录提纲笔记。为被试提供word文档作为记录工具,要求在搜索中不断地粘贴采集的信息片段到笔记中,并以“多级标题+列表”的形式组织它们,样例如图2所示。(3)矩阵笔记条件:被试在搜索中记录矩阵笔记。为被试提供word文档作为记录工具,要求在搜索中不断地粘贴采集的信息片段到笔记中,并以表格的形式组织它们,表格的首行及首列作为标题,在单元格中填充文本内容,样例如图3所示。

图2 提纲笔记样例

图3 矩阵笔记样例

3.1.4 搜索过程表现主观评价初始问卷设计

笔记记录的认知导航功能表现为对搜索过程的协助效果,因此需要对被试的搜索过程表现进行测量,进一步通过对比不同记录条件下被试的搜索过程表现来反映笔记记录对搜索过程的协助效果。为了能够全面测量被试在行为、情感、认知及元认知等不同层面上的表现,我们主要通过被试在搜索后的主观评价来测量其在搜索中的表现。但现有搜索过程表现的主观评价工具多为关注某一具体方面的量表,或是没有经过信效度检验的临时问卷,很少有全面的、经过检验的量表。因此,我们尝试自行开发复杂探索式搜索过程表现主观评价量表,并发现测量搜索过程表现的关键子维度,这是研究的因变量。

为了增强问卷的效度,在形成初始问卷时,广泛借鉴了目前已有适用于交互式信息检索的测量工具,这些工具分为四种类型,即情境相关的、测量交互、测量表现和测量可用性[42]。其中,测量搜索情境的工具关注搜索或工作任务的属性,测量搜索交互的工具关注用户的搜索策略,测量系统可用性的工具关注用户对系统的感知以及与系统之间的交互[42],这三类工具虽然没有直接测量用户的表现,但都关系到一个搜索会话成功与否,可以经过适当地调整改为对搜索表现的描述。在形成问卷的过程中,邀请了10名大学生试填问卷,让其就可读性、内容清晰度、格式编排等提出意见,并根据反馈对问卷进行了修改。最终形成的搜索过程表现主观评价初始问卷中的样本项目如表1所示。

表1 搜索过程表现主观评价初始问卷

初始问卷共包含6个子维度,共44个样本项目,6个维度分别是搜索过程的效果(EESP)、搜索过程的效率(EISP)、搜索过程的情感与认知(ECSP)、搜索过程的方向性(OISP)、搜索过程的有序性(ODSP)、搜索过程的监控性(MSP)。所有题目均采用李克特五点量表形式,选项为“非常不同意、比较不同意、一般、比较同意、非常同意”,分别赋值1—5分。

3.2 实验过程及结果

3.2.1 具体实验流程

实验流程如图4所示。被试来到实验室进行实验,实验开始前,被试签署知情同意书,填写背景情况调查问卷并完成TMT(Trail Making Test)测验以检验认知灵活度。然后正式开始实验,实验共包括三个搜索任务。对于每次的搜索任务,在搜索开始前,被试填写搜索前问卷,实验者对被试介绍任务要求并进行信息采集和笔记记录方式培训。接着被试使用计算机进行搜索,要求在搜索中对有用信息资料进行采集,同时以相应的笔记记录方式辅助全过程,当被试认为采集了足够完成任务的信息资料后,即停止搜索。在搜索结束后,被试填写搜索后问卷和搜索过程表现主观评价初始问卷,实验者向被试提供其在搜索中输入的检索式,要求被试回忆检索式的来源并进行有用性打分。一个搜索任务完成后进行下一个,直至被试完成全部任务。全部任务结束后,实验者对被试进行半结构化访谈,了解笔记记录对搜索过程的帮助。访谈结束后,被试填写收据并得到100元被试费。在实验过程中,计算机预先安装有Morae Recorder 3.3,在后台记录被试的交互行为。

图4 用户实验流程示意图

3.2.2 数据收集结果

将招募对象控制在北京大学及附近高校的大学生群体中,通过线上问卷招募被试,筛选出对搜索主题有较少的先验知识、具有一定信息检索能力和笔记记录能力的被试,最终邀请了41位。关于被试的数量,事先使用G.Power软件进行了先验分析,确定所需最低样本量为35(1)具体参数:双尾检验、effect size d=0.5、α err prob=0.05、1-β err prob=0.8、Wilcoxon signed-rank test(matched pairs)。。实验数据收集时间为2022年1月10日—1月20日、3月10日—3月20日,平均实验时长为2.5小时。被试较为均匀地分布在不同的性别、年龄、学院、年级,具有良好的代表性:在来源学校上,北京大学39人、清华大学1人、北京邮电大学1人;在性别上,女性27人、男性14人;在年龄上,分布在17—30岁之间;在来源学院上,社会科学学部12人、人文学部12人、理学部4人、医学部4人、信息与工程科学部4人、经济与管理学部3人、跨学科类2人;在所处年级上,本科生大一7人、大二8人、大三5人、大四(及大五)9人,硕士研究生6人、博士研究生6人。

4 开发复杂探索式搜索过程表现主观评价量表

本文遵循Churchill[52]提出的标准程序来开发量表,具体步骤包括项目开发、量表开发、量表评估三个阶段。其中项目开发阶段已经在3.2节中有介绍,下面主要介绍量表开发和量表评估阶段。

4.1 量表开发

4.1.1 项目分析

首先,采用临界比分析法(总分前27%为高分组,后27%为低分组)检验了各项目的鉴别度,结果显示各项目的显著性均小于0.001,都达到了可接受的水平,不必删除任何项目。其次,计算了CITC和CAID两项指标来检验各项目的关联性。对于CITC系数小于0.4且CAID系数大于总体Cronbach’α系数的项目,应该从项目集合中删除[53],指标结果支持保留全部项目。最终,44个样本项目均通过本阶段检验,进入探索性因子分析阶段。

4.1.2 探索性因子分析

KMO值为0.884,大于参考标准0.5,Bartlett’s球形度检验显著性小于0.001,表明原始变量之间存在相关关系,各项目之间可能存在共享潜变量,可以进行因子分析。采用主成分分析法及方差最大化正交旋转,抽取特征值大于1的因子,对初始问卷进行探索性因子分析。逐次删除不合理的样本项目,原则为删除在所有因子中载荷值均小于0.5的项目;删除同时在两个及以上因子中载荷值均大于0.5且差值小于0.2的项目;删除项目数量不足三个的因子;删除与所属因子含义不一致的项目。整个过程中每次只删除一个项目,然后开始新一轮的因子分析,直到获得最佳因子结构。在删除了EESP3等16个项目之后,最终提取出5个因子,包含28个项目,累计方差贡献率为65.140%,大于40%的标准[54],表明所选因子涵盖了原始数据的较多信息量。在旋转后的成分矩阵中,各项目的载荷值处于0.518—0.787之间,均大于0.5,具体如表2所示。

表2 探索性因子分析旋转后的成分矩阵

在因子1上,10个测度项反映了搜索者在搜索中对搜索方向有良好的自我意识和监控从而避免迷失方向,能够控制认知负荷及保持良好情绪,并对搜索时间进行了高效利用。这些均说明了搜索者成功地应对了搜索迷航问题,故将该因子命名为“搜索过程的迷航表现”,得分越高说明搜索者应对搜索迷航问题时表现越好;在因子2上,6个测度项反映了搜索者在搜索中能够监测整个搜索过程的进展、效果、效率及存在的问题,从而洞悉和评估相关情况并据此快速判断下一步的进展方向及何时终止搜索,故将该因子命名为“搜索过程的监控程度”,得分越高说明搜索者越好地监控了搜索过程;在因子3上,4个测度项反映了搜索者在搜索中有效地使用计划和策略来保持搜索行为有序,并能够清楚地意识到整个行为顺序,故将该因子命名为“搜索过程的有序程度”,得分越高说明搜索者的搜索过程越有序;在因子4上,4个测度项反映了搜索者深入地参与到了搜索中,从而良好地应对了时间压力及其引发的焦虑,故将该因子命名为“搜索过程的沉浸程度”,得分越高说明搜索者对搜索过程越沉浸;在因子5上,4个测度项反映了搜索者在搜索中采集相关和有用信息,充分利用时间以有效地完成搜索任务,故将该因子命名为“搜索过程的任务进展”,得分越高说明搜索者越有效地开展搜索任务。这5个因子是测量用户搜索过程表现的关键子维度。

上述5个因子、28个项目构成了修订后的复杂探索式搜索过程表现主观评价量表。总量表、子量表得分的计算方式为“总分÷相应的项目数”,取值范围均为1—5分。在此基础上对量表进行质量评估。

4.2 量表评估

4.2.1 信度检验

通过测量分半信度、同质性信度、组合信度检验了量表的内部一致性。就分半信度而言,总量表和各子量表的Spearman-brown系数处于0.644—0.897之间,其中“搜索过程的沉浸程度(0.644)”“搜索过程的任务进展(0.667)”子量表的系数小于标准值0.7。这可能是因为测量项较少(4个)引起的,当变量的测量指标少于6个时,大于0.6即表示量表是可靠的[55]。就同质性信度而言,总量表的Cronbach’α系数为0.945,大于0.8,各子量表的系数处于0.768—0.923之间,大于0.7,均符合要求[56]。就组合信度而言,总量表和各子量表的CR值处于0.769—0.967之间,均大于标准值0.7[57]。结果表明,量表的项目体系在构思布局上具有一致性,量表整体及各个构面具有可靠性。

4.2.2 效度检验

检验了量表的内容效度、建构效度。①内容效度:首先,初始问卷的样本项目广泛借鉴了已有适用于交互式信息检索的主观测量工具,保证项目较全面地涵盖了搜索过程表现的各个方面。其次,在形成问卷的过程中,邀请了大学生试填问卷,并根据反馈对问卷进行了修改,保证了项目的表述能够清楚地反映要考察概念的内容。综上,量表的测量项目与目标概念较为吻合。②建构效度:首先,对总量表及各子量表进行相关性分析,结果显示,各子量表与总量表之间显著相关,Spearman系数处于0.645—0.933之间,属于中高度相关,各子量表之间的系数处于0.424—0.711之间,属于低中度相关,明显低于各子量表与总量表之间的相关系数。表明了各子量表测量同一概念,但又存在差异,不可相互替代。其次,利用AMOS软件,将探索性因子分析产生的28个项目作为观测变量,并将划分的5个因子作为潜在变量,构造结构方程模型,结果如图5所示。各项目的标准化因素负荷量处于0.44—0.90之间,均大于最低要求0.3且显著,各子量表的CR值处于0.769—0.924之间,均大于标准值0.7,AVE值处于0.464—0.598之间,均达到了可接受水平0.3[57],都表明了量表具有良好的聚合效度。各子量表的AVE值的平均根均大于与其他子量表的标准化相关系数的最大值,表明了量表同时具有良好的区分效度。综上,量表测量得到的实证数据与目标概念的内在逻辑较为一致。

图5 复杂探索式搜索过程表现主观评价量表的结构方程模型

信效度检验的结果表明,复杂探索式搜索过程表现主观评价量表具有良好的质量,可以在实践中进行应用。

5 探究笔记记录对搜索过程的协助效果

笔记记录的认知导航功能表现为对搜索过程的协助效果。在数据分析时,本文通过对比无笔记、提纲笔记、矩阵笔记三种条件下被试的搜索过程表现,来发现笔记记录对被试搜索过程的协助效果以及不同记录策略的区别,进而反映笔记记录的认知导航功能。

5.1 无笔记条件下的搜索过程表现

在对比不同记录条件下被试的搜索过程表现之前,首先对无笔记条件下被试的搜索过程表现进行了描述性统计。根据统计结果,被试的整体搜索过程表现均值为3.612,略高于理论中间分3分(取值范围1—5分),表明他们在无笔记的搜索情境下表现基本良好,但仅达到一般水平,这表明其遇到了一定障碍。从各个子维度来看,被试在“搜索过程的任务进展(M=4.311)”上表现最佳,均值远超过理论中间分3分及其他子维度的均值,表明他们在搜索中对时间进行了充分利用来有效地完成搜索任务,这一方面由于信息搜索本身经常是以信息需求为导向、目的性比较强的行为,另一方面可能受到实验环境引发的“霍桑效应”[58]的影响。在剩余的四个维度中,表现相对较好的是“搜索过程的沉浸程度(M=3.774)”,表明被试较为沉浸地参与到了搜索中,这可能部分是由于他们处于实验环境中,相对于自然环境更加沉浸,同时实验并未设置时间上限,也部分消除了他们的时间压力及其引发的焦虑。而被试在“搜索过程的有序程度(M=3.512)”“搜索过程的迷航表现(M=3.422)”“搜索过程的监控程度(M=3.419)”上表现最差,这表明他们在保持搜索过程有序、应对搜索迷航问题、监控搜索过程上存在较多的困难。

5.2 对比有无笔记条件下的搜索过程表现

接下来对比三种笔记记录条件下被试的搜索过程表现。我们在实验中采用了组内设计,得到的结果为配对样本,故主要采用配对样本差异检验方法。分别对无笔记与提纲笔记、无笔记与矩阵笔记、提纲笔记与矩阵笔记三组数据进行配对样本差异检验。在选用具体方法时,若两配对样本在各测量项上的差值符合正态分布则使用配对样本t检验,否则使用Wilcoxon符号秩和检验。配对样本差异检验的结果如表3所示。

表3 搜索过程表现的配对样本差异检验结果

对比无笔记和有笔记条件下被试的搜索过程表现。在整体表现上,无笔记的均值显著低于提纲和矩阵笔记,表明相对于无笔记的条件,被试在有笔记条件下的整体搜索过程表现明显更好。

在搜索过程表现的各个子维度上:①在搜索过程的迷航表现、监控程度、有序程度上,无笔记的均值均显著低于提纲和矩阵笔记,表明相对于无笔记的条件,被试在有笔记条件下明显更好地应对了搜索迷航问题,更好地监控了搜索过程,更好地保持了搜索过程有序。②在搜索过程的沉浸程度上,无笔记的均值低于提纲和矩阵笔记,但均不存在显著差异,表明被试在有或无笔记条件下沉浸地参与搜索过程的表现区别不明显。可能原因是,无笔记条件下被试在该子维度上的得分本身相对较高,在沉浸地参与搜索过程中存在的困难较少。此外,结合访谈结果发现,尽管笔记记录能够帮助被试维持注意力,但做笔记本身会消耗他们的时间与精力,从而更快地消耗他们的耐心,使其心态更加急躁,在搜索引擎和笔记工具间来回切换也会干扰沉浸体验。这些都弱化了有或无笔记在该子维度上的区别。③在搜索过程的任务进展上,无笔记的均值低于提纲和矩阵笔记,其中,无笔记与提纲笔记不存在显著差异,与矩阵笔记存在显著差异,表明相对于无笔记的条件,被试在矩阵笔记条件下明显更加充分地利用时间来有效地完成任务,但在提纲笔记条件下与无笔记条件下的表现区别并不明显。同时,尽管被试在矩阵笔记条件下与无笔记条件下的表现区别明显,但区别也较小。可能原因是,无笔记条件下被试在该子维度上的得分最高,表现最佳,在充分利用时间以有效地完成任务上存在的困难很少。此外,结合访谈结果发现,尽管笔记记录能够帮助被试对搜索结果进行更加认真和精细地筛选,但所采集信息的相关性和有用性更大程度上会受到系统所返回的结果集合质量的影响。这些都弱化了有或无笔记在该子维度上的区别。总的来说,相较于其他子维度,被试在有或无笔记条件下,在搜索过程的迷航表现、监控程度、有序程度上的区别最为明显。

5.3 对比提纲和矩阵笔记条件下的搜索过程表现

对比提纲笔记和矩阵笔记条件下被试的搜索过程表现。在整体表现上,提纲笔记的均值显著低于矩阵笔记,表明相对于提纲笔记的条件,被试在矩阵笔记条件下的整体搜索过程表现明显更好。

在搜索过程表现的各个子维度上:①在搜索过程的迷航表现、监控程度、有序程度、任务进展上,提纲笔记的均值均显著低于矩阵笔记,且在搜索过程的迷航表现、监控程度上最为显著,表明相对于提纲笔记的条件,被试在矩阵笔记条件下明显更好地应对了搜索迷航问题,更好地监控了搜索过程,更好地保持了搜索过程有序,更加充分地利用时间来有效地完成任务,前两个方面尤其明显。②在搜索过程的沉浸程度上,提纲笔记的均值低于矩阵笔记,但不存在显著差异,表明被试在提纲与矩阵笔记条件下沉浸地参与搜索过程的表现区别不明显。总的来说,相较于其他子维度,被试在提纲和矩阵笔记条件下,在搜索过程的迷航表现、监控程度上的区别最为明显。

6 结论与讨论

基于复杂探索式搜索任务这一理想研究情境,本文探究了笔记记录能否在搜索过程中发挥认知导航功能以及不同记录策略的功能区别。首先,本文开发出了具有良好质量的复杂探索式搜索过程表现主观评价量表,发现了搜索过程的迷航表现、监控程度、有序程度、沉浸程度、任务进展五个测量用户搜索过程表现的关键子维度。在此基础上,本文对无笔记条件下被试的搜索过程表现进行了描述性统计。结果发现,被试在搜索过程的迷航表现、监控程度、有序程度三个子维度上表现最差,反映出在日常无笔记的搜索情境下,用户可能会在应对搜索迷航问题、监控搜索过程、保持搜索过程有序上存在较多的困难,应对这些困难是他们在搜索过程中遇到的痛点问题。这些结论也表明了在具有探索性或复杂度的搜索情境下,协助用户推进搜索过程、帮助解决搜索迷航问题具有现实意义。

其次,本文对比了无笔记和有笔记条件下被试的搜索过程表现。结果发现,相对于无笔记的条件,被试在有笔记条件下的整体表现明显更好,意味着笔记记录对用户的搜索过程存在着明显的协助效果,从而验证了本文的最初假设,即笔记记录可以通过支持用户的一系列认知及元认知调节活动来协助他们推进搜索过程,也就是笔记记录能够发挥认知导航功能。结果进一步发现,相较于其他子维度,被试在有或无笔记条件下,在搜索过程的迷航表现、监控程度、有序程度上的区别最为明显,意味着笔记记录对搜索过程的协助效果集中表现在这三个子维度上,这些是笔记记录发挥认知导航功能的主要表现方面。同时这些方面也正是用户在搜索过程中容易遇到的痛点问题,这进一步揭示了笔记记录能够在支持用户的搜索过程中发挥重要作用。这一结论可以得到现有研究的解释:已有研究发现,笔记记录具有任务计划和监控功能,一方面,作为知识建构工具,结构化的笔记记录具有较高的生成程度[59],用户在记录过程中自上而下地进行信息选择和整合,能够帮助他们分类计划未来活动[28]。另一方面,作为外部存储机制,结构化的笔记记录可以让用户清晰地看到所有已完成和未完成内容,能够帮助他们随时对目标任务进行进度监控和理解监控[35]。而在搜索过程中,用户总是涉及到三个循环的认知过程[23]:(1)计划,即个体划分待解决的问题为子问题以发展搜索策略,并形式化第一个查询式;(2)评估,即个体通过对比结果信息与待解决问题以评估信息的相关性;(3)控制,即如果查询式没有提供任何相关结果,个体将调整行为、修正策略以找到信息。笔记记录的计划和监控功能很好地支持了这些活动,因此能够帮助他们推进搜索过程。

最后,本文选取了提纲和矩阵笔记两种代表性策略,并对比了这两种记录条件下被试的搜索过程表现。结果发现,相对于提纲笔记的条件,被试在矩阵笔记条件下的整体表现明显更好,意味着矩阵笔记对用户搜索过程的协助效果更好,能够在搜索过程中更好地发挥认知导航功能。结果进一步发现,相较于其他子维度,被试在提纲和矩阵笔记条件下,在搜索过程的迷航表现、监控程度上的区别最为明显,意味着提纲和矩阵笔记发挥的认知导航功能的区别主要存在于这两个子维度上。这一结论同样可以得到现有研究的解释:已有研究发现,相对于提纲笔记这种一维、线性的记录策略,矩阵笔记这种二维、非线性的、图形化的策略在多方面存在优势。一方面,在认知活动层面,矩阵笔记在组织信息、对比信息和编码信息上均存在优势。在组织信息上,提纲笔记以本地连贯、整体连贯两种方式促进概念间的内部连接,而矩阵笔记则同样支持第三种方式,即同时突出跨类别主题之间的关联[41];在对比信息上,不同于提纲笔记的一维结构,矩阵笔记的二维结构允许用户在横向上跨越矩阵,沿着一个或多个类别轻易地比较主题[10,34,60],这也提高了在笔记中定位观点的效率;在编码信息上,提纲笔记仅以语言格式编码信息,而矩阵笔记中的信息同时被编码为语言和视觉格式,能够提供回忆信息的额外检索路径[61]。另一方面,在元认知活动层面,矩阵笔记在维持注意力和引发积极活动上存在优势,在维持注意力上,不同于提纲笔记的列表式结构,矩阵笔记的交叉表结构更能增强用户自上而下的信息整合过程[34,62],从而增加主动的注意力选择[10,12];在引发积极活动上,不同于线性的提纲笔记,矩阵笔记是视觉的、图形化的,这更能使用户的已有成果显性化,刺激用户积极地处理相关材料。相对于提纲笔记,矩阵笔记的诸多优势使其能够更好地支持用户的一系列认知及元认知调节活动,从而能够更好地协助他们推进搜索过程。

这些结论能够启发搜索系统在搜索中的笔记记录环节提升服务以更好地支持具有探索性或复杂度的搜索情境。第一,搜索系统应该增加笔记记录工具,以支持用户在搜索过程中记录笔记,从而协助他们推进搜索过程。第二,所提供的记录工具不能一味地直接帮助用户自动地保存、组织搜索结果,而应该辅助他们主动地、生成式地记录笔记,从而最大化地发挥记录过程所发挥的编码功能。第三,所提供的记录工具应该是适用于搜索系统本身、与搜索系统的数据库相关联的专门工具,而不能仅是独立于系统外的一般工具,从而最大化地降低由于使用外部工具带来的可用性问题,降低用户记录笔记的额外成本。第四,所提供的记录工具不能仅停留在链接和页面层面的信息保存与组织,而应该支持搜索任务层面的信息保存与组织,从完成搜索任务的角度协助用户。第五,所提供的记录工具应该能够支持更加结构化的记录策略,如包括矩阵笔记在内的各类图形化的记录策略,它们会更好地推进用户的搜索过程。第六,结合会话推断机制,在合适的时间将记录工具推荐给用户。当搜索者被搜索任务的探索性和复杂度强加了大量的记忆和认知负担时,其需要笔记这种外部存储[15]。而现有的一些会话推断机制技术[24,63]能够帮助识别出这种复杂探索式搜索情境,这有助于系统在合适时间为用户提供所需的记录工具。

7 结语

搜索迷航问题在具有探索性或复杂度的搜索情境中普遍存在,而搜索中笔记记录的认知导航功能或许可以帮助解决这一问题。为了探究相关主题,本文提出了复杂探索式搜索任务作为理想研究情境,在此基础上深入探究并解答了笔记记录能否在搜索过程中发挥认知导航功能以及不同记录策略的功能区别。本文的研究内容具有重要意义,首先,国内对探索式搜索研究的起步较晚,处于引进、学习和探索阶段,而国外相关研究则相对完整[27,64]。本文提出了“复杂探索式搜索任务”这种新任务类型,并在这种任务中探究了笔记记录的功能,一方面补充了国内有关探索式搜索的研究,另一方面所提出的新任务类型也促进了探索式搜索与复杂搜索两个交叉研究主题的进一步结合,为研究搜索中的笔记记录提供了最佳研究情境,有利于未来相关主题的探索。其次,目前关于笔记记录的研究集中于教育学领域所关注的课堂学习情境,已有搜索情境下笔记记录功能的相关研究也主要关注对提高搜索绩效的作用。本文在搜索情境下关注笔记记录对用户搜索过程的协助效果,提出并探究了笔记记录新的“认知导航功能”,补充了搜索情境下笔记记录的相关研究,也开辟了相关研究的新主题,创新性地探讨笔记记录对搜索过程而非搜索绩效的影响。最后,在探索式搜索的已有研究中,搜索评估仍然是一个研究不足的主题[65],现有用户搜索过程表现的主观评价工具中很少有全面的、经过检验的量表。本文开发出了质量良好的复杂探索式搜索过程表现主观评价量表,填补了已有研究中的空白,为评估用户的搜索过程表现提供了可行工具。该量表具有实际的应用价值,例如,在具有探索性或复杂度的搜索情境中研究用户搜索行为时,可以用来测量用户在搜索过程中的整体表现以及各子维度上的表现好坏,及时发现用户是否存在搜索迷航等困难并为解决困难圈定重点,也可以用来探索用户搜索过程表现的影响因素,从影响因素入手提出改进搜索过程表现的方法;在搜索系统优化的相关研究中,可以用来检验搜索会话层面的系统支持技术或工具的效果,验证其在改善用户的搜索过程表现方面的有效性。

由于本文是对该研究主题的首次尝试,不可避免地存在一些局限性。首先,本文所关注的搜索任务局限于平行搜索任务,笔记记录策略也限定在提纲和矩阵笔记两种策略上,而平行搜索任务在自然搜索环境中并不常见,矩阵笔记在搜索情境下的适用性也相对较窄。未来我们将在更加常见的任务类型中,探究更适用于搜索情境的笔记记录策略的功能。其次,包括个人和任务特征在内的搜索情境特征均会对用户的搜索过程产生影响,从而对笔记记录的功能产生影响,本文并没有加以探究。未来我们将探究不同的情境特征对笔记记录功能的影响。最后,受到实验实施成本较高的影响,本文收集的样本规模对于量表开发而言存在样本量较小的缺陷,这可能会影响所开发量表的科学性。未来我们将进一步使用更多数据对量表进行质量检验,以验证量表的可靠性。