面向动态交互场景的计算模型

黄 进，张 浩，田 丰

面向动态交互场景的计算模型

黄 进1,3，张 浩1,2，田 丰1,3

(1. 中国科学院软件研究所人机交互北京重点实验室，北京 100190；2. 中国科学院大学计算机科学与技术学院，北京 101408；3. 中国科学院大学人工智能学院，北京 101408)

随着人机交互技术不断发展，包含动态内容的交互系统，如虚拟/增强/混合现实、视频监控系统等，逐渐占据主要地位。面向动态交互场景的计算模型受到了越来越多的关注，大量的计算模型被提出，加强了人们对动态用户界面的认识和理解。然而，现阶段，面向动态交互场景的计算模型研究仍在问题复杂度、解释性、交互底层机制描述上存在诸多问题，极大地限制了动态模型研究的发展和应用。本文通过对面向动态交互场景的计算模型的研究现状进行分析，对当前存在且急需解决的问题进行了梳理，并给出了领域未来发展的看法，旨在抛砖引玉，为今后面向动态交互场景的计算模型研究提供参考。

人机交互；界面系统；动态场景；动态交互任务；计算模型

计算建模是一种利用计算机来模拟和研究复杂系统的方法。一个计算模型通常包含许多变量，这些变量是所研究系统的特征和属性。一般来说，计算模型具有3方面的作用：首先，通过模型构建、参数估计和实验验证解释系统内部的复杂结构；其次，基于系统当前的特征和属性，对系统的输出结果做出预测；最后，通过单独或组合调整变量并观察输出结果来进行系统模拟，对系统行为做出仿真。

人机交互经过了多年发展，各方面技术已经非常成熟，然而人们对用户行为规律的研究却相对滞后，一定程度上制约了交互系统的发展。因此，近些年来，越来越多的学者开始利用计算建模的方法来研究人机交互问题，旨在理解用户行为，预测用户表现，并对交互过程进行仿真。2021年，国际计算机协会人机交互特别兴趣小组ACM SIGCHI，在其最主要的学术会议CHI中设立了一个全新的计算交互分委会“Computational Interaction Subcommittee”，专注于利用计算方法研究人机交互技术和设计，显示了人机交互学术界对于计算模型的重视程度。

随着人机交互技术不断发展，包含动态内容的交互系统，例如虚拟/增强/混合现实(Virtual/Augmented/ Mixed Reality，VR/AR/MR)、动画系统、视频监控系统、仿真系统、娱乐教育系统等，逐渐占据主要地位，面向动态交互场景的计算模型受到了越来越多的关注，学者们构建了大量的计算模型，对动态交互场景中用户的时间表现、精确度和行为进行了建模，加强了对动态用户界面的认识和理解。然而，现阶段面向动态交互场景的计算模型研究仍存在诸多问题和挑战，其中包括复杂动态交互问题建模的困难，黑盒模型存在的问题，机制性建模的不足和模型应用时存在的挑战等，制约了动态模型研究的发展和应用。本文通过对面向动态交互场景的计算模型研究现状进行分析，对当前存在且亟需解决的问题进行了梳理，并给出了该领域未来发展的看法，旨在抛砖引玉，为今后面向动态交互场景的计算模型研究提供参考。

1 研究现状

1.1 静态交互场景的计算模型

目标选择和轨迹任务被认为是人机交互中最为基础的交互任务，其计算模型主要包括时间模型和不确定性模型2类，前者预测完成触控任务所需时间，而后者则可以用于计算成功率。对于时间模型，Fitts’ Law[1]被证实是最具鲁棒性和广泛应用的时间模型，完成了如图1所示的1D目标获取，并对运动时间进行了精准的预测，揭示了完成任务时间与目标大小和目标距离的关联[2]，即

其中，MT为完成该任务所需的平均运动时间；A为光标起始点到目标中心的距离；W为目标的宽度；a和b为由指点设备、操作人员和环境因素决定的经验常数；对数项，被称之为难度系数(index of difficulty，ID)。Fitts’ Law最开始建立在一个1D的静态触控任务中，后来又被扩展到了2D[3-4]、3D[5]以及动态任务[6]中。

为了预测轨迹任务的时间表现，ACCOT等[7]对Fitts’ Law进行拓展，提出了Steering Law用于对轨迹任务的运动时间进行预测，在如图2所示的一个笔直的轨道中，任务时间与轨道长度和轨道宽度的比值呈线性关系，即

其中，为通道长度；为通道宽度；a和b是经验常数。

图2 Steering Law中的笔直通道任务

利用微分的思想，Steering Law还可以进一步拓展到任意光滑轨道中，从而能够更好地应对急转弯[8]、边界大小变化通道[9]、以及复杂管道[10]中。经过推导，Steering Law可以拓展到任意有理通道上，在一般情况下，完成任务时间可以表示为无数多个微小的笔直通道的积分。然而，Steering Law的后续研究发现，其仅适用于光滑的轨道，而对严重扭曲或快速变化的轨道预测性能不足。因此，许多Steering Law的后续研究都将主要精力放在处理通道突然发生变化的情况。例如，文献[8]对Steering Law在包含直转角的轨迹任务的中的表现进行了改进，文献[9]讨论了通道大小发生突然变化时的时间预测模型。

对于不确定性模型，国内外学者关注的焦点在于触控目标选择时的落点分布情况，以及由此推算的目标选择成功率。研究者们首先提出了有效宽度和有效距离的概念，即目标选择落点分布中2倍标准差的范围和均值，进而对Fitts’ Law进行修正[11]，提高了特殊情况下Fitts’ Law的预测准确性[12]。WOBBROCK等[13]利用Fitts’ Law和有效宽度，对落点分布规律进行分析，推导出了一个1D目标获取的成功率模型(图3)，揭示了任务难度系数和目标选择成功率之间的关系，即

其中，erf(x)为高斯误差函数；MTe为由有效距离和有效宽度计算出来的目标获取运动时间；a和b是经验常数项。

BI等[14-15]使用双高斯分布假设对小型触屏设备交互中的落点分布规律进行建模，对小型触控交互中运动时间做出更为精确的预测。该思想随后在虚拟键盘和文本输入上面得到了应用，有效地改善了键盘和文本输入的精确度[16-17]。

上述模型均为面向静态交互场景的计算模型，而随着人机交互技术不断发展，动态交互任务，例如VR/AR/MR、动画系统中的交互任务，逐渐占据主要地位，面向静态交互场景的模型的限制越来越明显，无法有效支撑含有动态内容的人机交互界面设计与技术创新。因此，学者们开始着眼于构建动态交互场景中的模型，其主要包括动态交互场景中的时间预测模型、错误率预测模型和用户行为模型。

1.2 时间预测模型

与静态场景一致，动态场景中最基础的交互任务是移动目标选择任务。对于移动目标选择而言，JAGACINSKI的移动目标选择时间模型[6]是最著名的时间预测模型之一。该模型通过改进的难度系数解释目标速度的影响，将Fitts’ Law扩展到运动目标捕获中，即

其中，和的含义与Fitts’ Law一致；为目标移动速度；a，b和c为经验常数。

与Fitts’ Law中的ID相类似，修改后的难度指数反映了目标宽度和速度相互作用与交互时间之间的关系。另一个广为人知的移动目标选择时间估计方法来自文献[18]，该方法通过应用线性控制模型理论来推断运动目标捕获的困难指数，利用稳态位置误差减小目标有效宽度，模拟人体获取运动目标的响应，最终估计完成交互所需时间。通过考虑目标运动对人类时间准确度的影响，文献[19-20]发现目标速度对不同参与者的目标捕获策略(如追踪和命中)有不同的影响。并建议用不同的目标速度函数来估计目标捕获时间，而不是用固定的函数来处理目标速度的影响。HAJRI等[21]还通过应用人类处理器模型[22]来描述运动目标选择，推导了一个2D移动目标选择的时间预测模型。该模型在结合2个2D静态目标选择模型[23-24]的前提下，将横向和纵向的目标移动速度引入ID，实现了2D移动目标选择的时间预测。此外，CASALLAS[25]利用数据驱动的方式分析了多个任务因素与3D移动目标选择时间的相关关系，通过一个线性函数对主要的因素进行加权，得到了一个预测3D移动目标选择时间的模型。

1.3 错误率预测模型

其中，和的含义与式(4)中的含义一致；a，b，c，d，e，f和g为经验常数。

在给定空间选择落点分布的情况下，通过对目标选择区域内概率分布函数的积分即可以得到错误率，如图4所示。

图4 基于落点分布计算选择错误率[27]

与空间域中获取目标错误率类似的，对时间域中错误率的建模，可通过估计时间落点分布实现。文献[28]通过假设用户在目标时间窗口内有一个隐含的时间目标点，推导出一个模型来预测时间指向任务中的错误率。基于该方法，提出了多个衍生模型来预测多线索移动目标捕获[32]，包括运动延迟的移动目标捕获[33]，2D移动目标选择[34]的错误率。

1.4 用户行为模型

尽管上述模型已经能够成功地捕捉用户交互过程中的某些瞬间特性(如完成时间或者整体错误率)，但是并不涉及用户交互过程中的动力学或轨迹的变化[35]。因此，国内外学者提出了一系列用户行为模型，用来描述用户交互行为的演变过程。用户行为模型通常基于观测到的用户表现数据，构建具有预测能力的过程模型。直线-曲线-拐角模型(curves，line-segments，and corners，CLC)[36]将用户输入的手势分割成直线、曲线和拐角的组合。该模型对手势中每个组成部分分别建模：直线由常量、线性或幂函数建模，曲线由曲率的幂律建模，拐角由基于角度的常数函数建模。该模型根据用户预期绘制的形状，尝试将手势演变过程进行分割，以分段预测的形式估计了用户完成手势所需时间。这也是对于手势输入系统性建模与理解最早的工作之一。QUINN和ZHAI[37]通过对用户使用手势键盘输入过程中产生的用户轨迹进行分析，发现手势轨迹的形态和动态特性可以通过最小加加速度模型(minimum jerk model)进行模拟。通过该模型模拟的轨迹在图形形状和动力学特征上都与原始轨迹高度匹配。同时基于最小加加速度模型建立了一个手势生成模型，该模型可以对用户任意手势输入任务所作动作产生的手势轨迹进行预测。

除了对用户手势进行建模外，国内外学者也对不同维度下用户的基础目标选择任务进行了过程建模。OULASVIRTA等[38]使用神经力学模型来模拟用户按下按钮的1D运动过程，模型框架如图5所示。该模型可以模拟4种不同按钮类型下用户的力作用并预测完成按钮任务所需的时间。总体上较好地模拟了用户输入过程的运动学、动力学和用户性能表现。HUANG等[39]基于最优反馈策略，构建了一种2D目标选择的轨迹建模模型。该模型将目标状态作为反馈信息影响对象的运动过程，实现了对2D下静态和动态目标选择任务的轨迹建模。BACHYNSKYI和MÜLLER[40]针对3D空间下的用户目标选择运动轨迹进行研究，探讨了三阶滞后模型来模拟空中用户运动轨迹的可能性。该模型能较好地模拟用户交互过程中的轨迹、速度、加速度等动力学属性。尽管在建模过程重剔除了部分对用户轨迹结果影响较小的2个维度，将三维轨迹映射为一维运动，但这也是最早的对用户3D空间下交互轨迹进行建模的尝试之一。

图5 文献[38]中给出的基于神经力学的模型框架

2 问题与挑战

2.1 复杂动态交互问题建模的困难

静态交互任务是比较简单的。以Fitts’ Law的1D选择任务为例，其仅涉及目标大小()和目标距离()2个变量，而当问题放到2D空间中则变得复杂得多，因为这样需要考虑目标的长和宽对用户表现得影响，对于矩形目标，同样的距离(起始位置到目标中心)的条件下目标处于不同空间方位，实际用户表现也会受到影响[4]。

而对于动态交互任务，问题的复杂性则进一步增加。以2D移动目标选择为例，首先，动态交互场景中，目标可能具有移动速度、形状、朝向和初始位置，这些条件的改变均会导致用户选择策略和表现的巨大差异，因此必须考虑的因素显著增加；其次，在动态交互场景中，目标地移动速度、形状、朝向均有可能随时发生动态变化，这种变化同样会显著影响用户表现；最后，上述各类因素及其随着时间推移而发生的变化将产生无数种无法枚举的情况，且无法利用传统的心理学实验方法将其一一进行测试以寻找规律，这种方法在处理动态任务建模时可能束手无策。本文认为，这些挑战是导致现阶段动态场景下的计算模型鲁棒性差、精准度低的主要原因。

因此，许多学者开始转向数据驱动的方式，希望利用黑盒模型和机器学习手段实现动态交互场景下的用户表现建模。然而，这种方式却会带来模型可解释性差，无法对界面设计给出指导等问题。

2.2 黑盒模型存在的问题

随着交互场景的复杂化，学者尝试用深度学习或复杂的集成模型来解决用户动态交互场景下的行为建模问题。这类黑盒模型通常具有很高的准确性，然而，其同样存在着以下几个主要问题：

首先，黑盒模型的高准确率依赖于大量的数据集合。学者通常需要依靠众包等数据采集手段[41]，收集大量的用户数据，以支撑黑盒模型的参数训练，大规模的数据采集也导致建模成本大大提高。其次，难以挖掘黑盒模型中每个特征与用户行为机制的内在联系。黑盒模型的高准确率与特征个数以及特征参数无法分开，但是通常来讲，黑盒模型的工作原理往往难以解释。由于黑盒模型缺少对数据表现背后的行为机制的推理，这也使得这类模型难以对交互设计给出指导意见。最后，黑盒模型难以泛化和迁移。一个有着高准确率的黑盒模型往往针对特定的交互任务，即使在某个场景中能够应用，该模型也很难在别的交互场景下有着同样高效的建模效率。

因此，能够直接反映变量之间关系的白盒模型虽然预测能力通常有限，但是，由于这类简单模型具有更好的可解释性以及更容易理解的内部工作原理，仍然是用户表现建模的主流工具。

2.3 机制性建模的不足

机制性建模从用户行为数据数呈现入手，采取回归分析、控制理论等建模手段模拟用户的运动机制。常见的机制性模型的目的是基于观测到的用户表现数据，构建具有强大预测能力的计算工具，并不试图模拟内部的生物学原理运动特征。而在运动控制和神经学科领域文献中，人类手部、胳膊的运动建模仿真已经得到了广泛地研究，部分模型尝试从肌肉关节作用[42-43]等更深层次的运动机制中理解和建模用户的交互行为。虽然该领域与人机交互领域下的用户行为有着较高的相似度，但是这种建模方法仍未广泛地应用于人机交互领域用户行为建模的研究中。

此外，目前机制性建模仍停留在单纯的感知-运动控制层次，仍未拓展到认知层次。有大量的数据表明，人的小脑可以参与到高层次的人类认知、运动控制功能中[44-46]。但是目前机制性模型仅仅可以对用户的行为机制进行解释，仍未找到用户行为与用户认知功能间的内部联系。

2.4 模型应用时存在的困难

人机交互计算模型对于交互技术的发展和研究具有重要作用。好的计算模型能够预测用户的行为，提供技术创新支持，对用户界面设计做出指导。近年来，人机交互学者们针对动态交互场景提出的计算模型越来越多，加强了对基础交互现象的理解，然而人们却很少看到这些模型在交互系统中的直接应用，其主要原因有以下几点：

首先，现存模型主要针对少数几种任务如移动目标选择进行建模，对实际交互场景中大量使用的一些任务，如手势、身体姿态、眼动头动、物体操纵、移动或导航等均未有成熟的模型，导致在实际应用场景中存在需求却无模型可用的情况；其次，现存模型的泛化性较低，往往在实际交互条件，例如界面布局、设备尺寸和精度、用户人群等发生改变后无法使用，必须要在特定场景下重新采集数据，对模型参数重新估计方可保证模型性能，而这种要求在实际工程应用中往往是不现实的；最后，现存模型在构建时往往不是以解决实际应用中存在的问题出发的，用其解决实际问题时一般需要对该问题进行小心翼翼地抽象化和形式化以适应模型的使用条件，而一旦这种抽象和形式化操作不当，有可能极大降低模型表现。这一点很大程度上降低了一般人机交互从业者们使用模型的意愿，甚至宁愿依靠自己的经验做出界面设计判断而不愿相信模型预测结果。

本文认为，人机交互计算模型未来是否能快速发展，关键在于其能否服务于实际，因此，解决以上3个问题是当前从事人机交互建模工作的学者们需要优先考虑的事。

3 总结与展望

随着新型用户界面中动态内容的不断增多，面向动态交互场景的计算模型逐渐受到重视，在延续静态任务交互模型的基础上，面向动态交互场景的计算模型对基础交互任务中用户的完成时间、错误率和行为做出了建模，一定程度上解释了动态交互场景中的用户行为，有助于改进动态用户界面的设计。

然而，面向动态交互场景的计算模型研究仍存在诸多问题和挑战，其中包括复杂动态交互问题建模的困难，黑盒模型存在的问题，机制性建模的不足和模型应用时存在的挑战等，极大地限制了动态模型研究的发展和应用。如何有效地解决这些问题可能是每一位计算模型领域的学者们必须深入思考的事。

在此，本文将抛砖引玉，给出动态交互场景中计算模型的3个发展方向和可能的途径，供读者参考。

(1) 模型可解释性的提高鉴于动态交互场景的复杂性，黑盒模型是一种潜在的用户建模有效手段。然而人机交互模型本质上需要研究用户行为背后的行为机制，并最终给出用户界面设计的指导意见。在建模方法选择时，要对黑盒模型的建模准确性和可解释性进行权衡。要解决黑盒模型的可解释性需要从2个方向入手：一是从黑盒模型本身角度出发，研究不同特征参数对模型建模的行为表现的影响，进而分析黑盒模型是如何依赖于每个特征，这也是目前深度学习领域一个活跃的研究方向之一；二是可以从理解用户意图角度出发，在黑盒模型基础上构建可解释性更强的代理模型，用于辅助理解指导人类运动的认知过程，从而构建更为完整的计算模型工具，最终能够为设计者提供更为完整和有用的建模结果。

(2) 用户行为底层机制的建模。要保证用户行为模型在动态交互场景下的准确度，需要进一步分析用户行为下更深层次的用户表现，构建更为底层的用户行为机制模型。还需进一步模拟人类的生物学原理运动特征，甚至构建认知层面的用户行为模型。从用户认知层面出发，要求模型可以模拟用户在动态交互场景下的认知变化，以及不同环境下用户的行为策略，从而在认知层面指导用户的关节、肌肉行为模型，并最终呈现在用户的行为表现中。而这种基于更为底层机制的模型也会在一定程度上提升用户行为模型的鲁棒性，并且可能使得模型具有较强的泛化迁移能力。

(3) 模型在界面设计和交互技术中的应用。正如上文所述，人机交互计算模型未来是否能快速发展，关键在于其能否服务于实际。面向动态交互场景的计算模型在实际交互系统中有着广泛的应用前景，在以下几个方面将发挥重要作用：

首先，在动态用户界面交互设计中，人机交互计算模型能够对包含动态用户界面中的用户表现做出预测，进而对界面的动态因素包括物体的动态、轨迹变化、动画快慢等进行优化；其次，人机交互计算模型允许用户界面通过理解人类行为，将这类模型融入交互系统的研发之中，能使计算系统更好地适应用户偏好，推测用户意图，从而提升交互效率和交互体验；最后，人机交互计算模型能够揭示人类行为规律，其灵活应用能为用户界面、交互技术、交互系统和设备的研发提供启示和支持，加快新型交互系统的产生。

[1] FITTS P M. The information capacity of the human motor system in controlling the amplitude of movement[J] Journal of Experimental Psychology: General, 1954, 47(6): 381-391.

[2] MACKENZIE I S. Fitts’ law as a research and design tool in human-computer interaction[J] Human-Computer Interaction, 1992, 7(1): 91-139.

[3] MACKENZIE I S, BUXTON W. Extending Fitts’ law to two-dimensional tasks[C]//CHI’92: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1992: 219-226.

[4] ZHANG X Y, ZHA H B, FENG W X. Extending Fitts’ law to account for the effects of movement direction on 2d pointing[C]//CHI’12: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2012: 3185-3194.

[5] MYRATA A, IWASE H. Extending Fitts’ law to a three-dimensional pointing task[J]. Human Movement Science, 2001, 20(6): 791-805.

[6] JAGACINSKI R J, REPPERGER D W, WARD S L, et al. A test of Fitts’ law with moving targets[J]. Human Factors, 1980, 22(2), 225-233.

[7] ACCOT J, ZHAI S M, BELIN A E. Beyond Fitts’ law: models for trajectory-based HCI tasks[C]//CHI’97: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 1997: 295-302.

[8] PASTEL R. Measuring the difficulty of steering through corners[C]//CHI’06: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2006: 1087-1096.

[9] YAMANAKA S, STUERALINGER W, MIYASHITA H. Steering through sequential linear path segments[C]//CHI’17: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2017: 232-243.

[10] NANCEL M, LANK E. Modeling user performance on curved constrained paths[C]//CHI’17: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2017: 244-254.

[11] WELFORD A T. Fundamentals of skill[M] London: Methuen, 1968: 1-426.

[12] ZHAI S M, KONG J, REN X S. Speed–accuracy tradeoff in Fitts’ law tasks—on the equivalency of actual and nominal pointing precision[J]. International Journal of Human-Computer Studies, 2004, 61(6): 823-856.

[13] WOBBROCK J O, CUTRELL E, HARADA S, et al. An error model for pointing based on Fitts’ law[C]//CHI’08: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2008: 1613-1622.

[14] BI X J, ZHAI S. Bayesian touch: a statistical criterion of target selection with finger touch[C]//The 26th Annual ACM Symposium on User Interface Software and Technology. 2013: 51-60.

[15] BI X J, LI Y, ZHAI S M. FFitts law: modeling finger touch with fitts’ law[C]//CHI’13: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2013: 1363-1372.

[16] HENZE N, RUKZIO E, BOLL S. Observational and experimental investigation of typing behaviour using virtual keyboards for mobile devices[C]//CHI’12: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press,2012: 2659-2668.

[17] WEIR D, POHL H, ROGERS S, et al. Uncertain text entry on mobile devices[C]//CHI’14: Proceedings of the AVM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2014: 2307-2316.

[18] HOFFNMANN E R. Capture of moving targets: a modification of Fitts’ Law[J]. Ergonomics, 1991, 34(2): 211-220.

[19] TREASILIAN J R, LONERGAN A. Intercepting a moving target: effects of temporal precision constraints and movement amplitude[J]. Experimental Brain Research, 2002, 142(2): 193-207.

[20] TRESILIAN J R. Hitting a moving target: perception and action in the timing of rapid interceptions[J]. Perception & Psychophysics, 2005, 67(1): 129-149.

[21] HAJRI A, FELS S, MILLER G, et al. Moving target selection in 2D graphical user interfaces[C]//2011 IFIP Conference on Human-Computer Interaction. Heidelberg: Springer, 2011: 141-161.

[22] CARD S K, MORAN T P, NEWELL A. The keystroke-level model for user performance time with interactive systems[J]. Communications of the ACM, 1980, 23(7): 396-410.

[23] MACKENZIE I S. Fitts’ law as a research and design tool in human-computer interaction[J]. Human-Computer Interaction, 1992, 7(1): 91-139.

[24] GROSSMAN T, BALAKRISKNAN R. Pointing at trivariate targets in 3D environments[C]//CHI’04: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2004: 447-454.

[25] CASALLAS J S. Prediction of user action in moving-target selection tasks[D]. Ames: Iowa State University, 2015.

[26] WOBBROCK J O, CUTRELL E, HARADA S, et al. An error model for pointing based on Fitts’ law[C]//CHI’08: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2008: 1613-1622.

[27] HUANG J, TIAN F, FAN X M, et al. Understanding the uncertainty in 1D unidirectional moving target selection[C]//CHI’18: Proceedings of the ACM SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-12.

[28] LEE B, OULASVIRTA A. Modelling error rates in temporal pointing[C]//CHI’16: Proceedings of the ACM CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2016: 1857-1868.

[29] ROLIN R A, FOOKEN J, SPERING M, et al. Perception of looming motion in virtual reality egocentric interception tasks[J]. IEEE Transactions on Visualization and Computer Graphics, 2018, 25(10): 3042-3048.

[30] HUANG J, TIAN F, LI N L, et al. Modeling the uncertainty in 2D moving target selection[C]//The 32nd Annual ACM Symposium on User Interface Software and Technology. New York: ACM Press, 2019: 1031-1043.

[31] HUANG J, TIAN F, FAN X M, et al. Modeling the endpoint uncertainty in crossing-based moving target selection[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 1-12.

[32] LEE B, KIM S, OILASVIRTA A, et al. Moving target selection: a cue integration model[C]//2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 1-12.

[33] LEE I, KIM S, LEE B. Geometrically compensating effect of end-to-end latency in moving-target selection games[C]//2019 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2019: 560: 1-560: 12.

[34] PARK E, LEE B. An intermittent click planning model[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 9: 1-9: 13.

[35] VIVIANI P, FLASH T. Minimum-jerk, two-thirds power law, and isochrony: converging approaches to movement planning[J]. Journal of Experimental Psychology: Human Perception and Performance, 1995, 21(1): 32.

[36] CAO X, ZHAI S. Modeling human performance of pen stroke gestures[C]//2007 SIGCHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2007: 1495-1504.

[37] QUINN P, ZHAI S. Modeling gesture-typing movements[J]. Human–Computer Interaction, 2018, 33(3): 234-280.

[38] OULASVIRTA A, KIM S, LEE B. Neuromechanics of a button press[C]//2018 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2018: 4099-4112.

[39] HUANG J, PENG X L, TIAN F, et al. Modeling a target-selection motion by leveraging an optimal feedback control mechanism[J]. Science China Information Sciences, 2018, 61(4): 044101:1-044101:3.

[40] BACHYNSKYI M, MÜLLER J. Dynamics of aimed mid-air movements[C]//2020 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2020: 67: 1-67: 12.

[41] SWEARNGIN A, LI Y. Modeling mobile interface tappability using crowdsourcing and deep learning[C]//2019 CHI Conference on Human Factors in Computing Systems. New York: ACM Press, 2019: 75: 1-75: 11.

[42] CAMPOS F M M O, CALADO J M F. Approaches to human arm movement control—a review[J]. Annual Reviews in Control, 2009, 33(1): 69-77.

[43] SHADMEHR R, WISE S P. The computational neurobiology of reaching and pointing: a foundation for motor learning[M]. Cambridge: MIT Press, 2005: 1-573.

[44] MIDDLETON F A, STRICK P L. The cerebellum: an overview[J]. Trends in Neurosciences, 1998, 21(9): 367-369.

[45] TAMADA T, MIYAUCHI S, IMAMIZU H, et al. Cerebrocerebellar functional connectivity revealed by the laterality index in tool-use learning[J]. Neuroreport, 1999, 10(2): 325-331.

[46] KAWATO M. Internal models for motor control and trajectory planning[J]. Current Opinion in Neurobiology, 1999, 9(6): 718-727.

Computational model for dynamical interaction scenarios

HUANG Jin1,3, ZHANG Hao1,2, TIAN Feng1,3

(1. Beijing Key Lab of Human-Computer Interaction, Institute of Software Chinese Academy of Sciences, Beijing 100190, China;2. School of Computer Science and Technology, University of Chinese Academy of Sciences, Beijing 101408, China;3. School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing 101408, China)

With the development of human-computer interaction (HCI) technology, interactive systems including dynamic content, such as virtual/augmented/mixed reality, video surveillance system, etc., gradually becomes the mainstream. Computational models for dynamic interaction scenarios have attracted more and more attention. HCI researchers proposed numerous models that significantly improve our understanding of dynamical user interfaces. However, there are still many challenges in the research of computational model for dynamical interaction scenarios. The problems of complexity in dynamic interaction scenarios, lack of interpretability, weakness in descripting interaction mechanisms greatly limit the development and application of computational models for dynamical interaction scenarios. We review related work and recent advances in the computing model for dynamic interaction scenarios, summarize existing problems, and offer our predictions for the future development in this field. The purpose of this paper is to provide references for future research on computing models for dynamical interaction scenarios.

human computer interaction; interactive system; dynamic scenarios; dynamic interaction task; computational model

TP 391

10.11996/JG.j.2095-302X.2021030359

A

2095-302X(2021)03-0359-08

2021-04-21；

2021-05-19

21 April 2021；

19 May，2021

国家自然科学基金项目(61802379)；中国科学院前沿科学重点研究项目(QYZDY-SSW-JSC041)；中国科学院青年创新促进会项目(2020113)

National Natural Science Foundation of China (61802379); Key Research Program of Frontier Sciences CAS (QYZDY-SSW-JSC041); Youth Innovation Promotion Association CAS (2020113)

黄 进(1985-)，男，广西玉林人，助理研究员，博士。主要研究方向为人机交互理论、模型和方法。E-mail：huangjin@iscas.ac.cn

HUANG Jin (1985-), male, assistant professor, Ph.D. His main research interests cover human-computer interaction theory, concepts and models. E-mail: huangjin@iscas.ac.cn

田 丰(1976-)，男，陕西延安人，研究员，博士。主要研究方向为人机交互、虚拟现实等。E-mail：tianfeng@iscas.ac.cn

TIAN Feng (1976-), male, professor, Ph.D. His main research interests cover human-computer interaction, virtual reality, etc. E-mail：tianfeng@iscas.ac.cn