采用认知标架的人机学习情境矢量化方法

杨 升，刘长勇，程仁贵，余文森，孟世敏，2，肖钟捷，郭 磊

(1.武夷学院 图形图像研究所，福建武夷山 354300;2.东方潜能软件公司脑认知结构成像实验室，福建武夷山 354300)

学习科学是综合性学科，包括认知，教育，认知心理学，计算机科学(人机交互、人工智能)等领域。2004年美国国家科学基金会批准了教育和心理研究领域有史以来的最大拨款，启动学习科学专项研究计划——学习科学中心项目，并组建“国家队”，将学习科学研究上升为国家战略。2008年，美国政府把赛博学习列为经济振兴战略的组成部分。赛博学习是“以网络化计算和通讯技术为中介的学习”(NSF task force on cyberlearning)，其思想基础是诺伯特·维纳的控制论。赛博设施是个由高速互联网、先进计算资源、各种应用软件建构的大型教科平台。“赛博学习”概念的兴起表明学习科学已进入以大规模信息技术基础设施为基础，以控制论、混沌和复杂性科学为战略发展指南的新阶段［1］。

从认知心理学角度看，学习是认知结构的变化。认知结构概念从形成至今，虽然不同心理学家对其概念界定和内涵分析有所差异，但都认可其对学习的重要作用。认知结构的理论和实证一直是研究热点［2］。瑞士心理学家、哲学家皮亚杰(Piaget)是认知结构理论的代表性人物之一。他认为，儿童的智慧(智力)是一种认知结构，儿童的思维、认识、智力的发展就是认知结构不断重新组织的过程。认知结构包括4个要素:图式、同化、顺应、平衡，采用群、格、态射和范畴等来研究［3］。但是，在一定角度认知结构还是假设性、“无影无踪”的研究对象，认知结构的可视化或者认知结构的成像、实证是值得研究的课题。

大脑是个体认知结构存在的生理、客观载体，探测认知结构涉及脑科学和脑研究技术。当前的脑研究热点技术是能量层面的脑功能成像技术，如 ERP、EMG、PET和 fMRI，但其并非是解决心智问题的万能药。除了在时空分辨率上尚未达到研究者的期望，脑成像研究的先天不足在于它仅可提供关于大脑结构或区域性功能的信息，而无法揭示脑神经元与各种高级认知过程的更深层的关系［4］。著名物理学家薛定谔在《物质与意识》中指出:任何对神经系统变化过程的客观描述，肯定不包括对“黄色”、“甜味”特征的解释。可见直接建立脑认知、意识内容的理论是必须的工作，就像大量的天文观测代替不了相对论，物理研究无法代替化学研究。基于内容的脑认知成像技术将是脑功能成像技术之后的新技术，是脑物质、能量层之后的脑信息层研究范式。

多媒体技术的快速发展为认知结构可视化提供了良好的基础，其关键是如何观测大脑认知活动、采集认知结构数据、选择重构可视化空间。计算机提供包括视觉、听觉、手写等多通道方式和人交流，人机交互情境无疑蕴含着认知结构信息。所以，人机交互情境数据采集将是认知结构研究的切入点。在人机交互过程中是如何采集到认知数据的?显然，录像、录音、拍照等方式将产生大量紧耦合、高维数据，不是首选，必须寻找矢量化的降维方法。假设学习及认知结构存在于高维流形，认知情境是对流形的局部同胚，根据流形理论，情境是度量空间，因此可部署相关标架采集到矢量化数据，为分析流形整体结构提供基础。

在学习观测视角，基于人机交互的学习情境数据采集、观测平台类似天文望远镜、粒子加速器等科学观测和研究工具。对学习过程、认知结构进行持续精细的观测称为“在线”模式;对传统认知心理研究称为“离线”模式。

同认知结构可视化相关的研究包括知识可视化［4］、思维导图［5］、基于分布认知的人机交互［6］、脑空间(BrainSpace)［7］、可视大脑(visualbrain)［8］等研究热点。

1 面向认知的人机交互系统分析

人机交互是“脑认知体－耦合情境－信息流形”(brain cognitive body-coupling situation-information manifolds，BSM)组成的数字化认知观测平台。

定义1 脑认知体 脑认知体以头颅为生理边界，是脑认知的生理载体，也是当前个体智能、高维认知流形存在的物质基础，简称B。

定义2 耦合情境 耦合情境主要是人机情境界面空间，以能被大脑感知、操作、认知到的对象集合为边界，简称S。

定义3 信息流形 以信息系统为主要载体，是认知主体代理，即Agent体外存在、活动空间，是高维认知活动的低维投影流形，简称M。

定义4 认知对象 在BSM系统中，脑认知体能感知到的客观事物的认知映射，用Cobj表达。和计算机领域的对象一致，Cobj有属性、方法和消息等基础结构。

定义5 认知集合 认知对象Cobj按照一定属性、维度组成了认知集合Cset。

和一般人机交互过程不同，BSM是面向认知过程中信息采集的设计。

2 认知标架及认知符号序列

2.1 认知情境矢量化

BSM如何捕捉学习过程变量呢?方法是在情境空间部署认知感觉器，感知认知操作，再采集相关信息，即把认知情境矢量化。

情境矢量化可以通过在键盘、鼠标等人机交互通道上改善记录的方法，也可在情境界面上加入矢量层，在情境上标注学习对象，部署认知对象感觉器，如图1所示。

图1 情境矢量化标注法

2.2 认知标架

人机界面情境是高维认知流形的局部表征，依照拓扑流形理论，对其度量需建立标架。在BSM中，情境可以用内容、操作、数理三个维度描述。本文将内容、操作、数理称为学习情境的基本标架:

内容(content):情境蕴含的认知对象、元素。

操作(operating):情境内容上包含的认知操作、逻辑、流程。

数理(mathematical):情境中蕴含的数量、动力系统属性。

情境内容、操作、数理标架也称COM标架，如图2所示。认知标架是多样的，不同情境可用不同标架表达，通过认知标架，流形的局部实现联络和关联。标架是认知流形局部的精细表达、深入解释或多层、抽象、具体的描述。

图2 COM标架

2.3 认知符号序列

人机交互中包含脑认知的丰富信息，是脑认知活动和计算机设计的情境耦合过程。表征认知耦合态是认知结构观测、成像的基础，尤其是如何在信息采集精度和效度之间达到平衡。在科学研究中，精细的测量必定带来大量的数据，而用以刻划事物根本性质的特征量通常为数不多。为了得到这些少数特征量，未必要从大量精细的原始数据出发。其实，整个自然科学体系都是对事物进行“粗粒化”或“约化”的描述［9］。本文也在这样的纲领下采集认知符号序列［10］。

比如，学生听写BOOK单词，先敲击B，再敲击U，再敲击K，发现不对就退格后敲击两个O，可用以下3种序列表达:B-BU-BUK-BOK-BOOK、B-U-K-O-O、1(1代表正确，0代表错误)。显然，第1种最能反映学生的认知过程，可认为是认知符号序列;第3种只是简单结果，认知信息最少。

定义6 认知符号集合 认知符号为能表达认知的符号，如S={a∈S|S为计算机能存储、传输、处理的字符}为认知符号。认知符号能表达认知时间、空间、流程、逻辑等认知元素。

定义7 认知符号序列 认知过程P用S中的元素 S1，S2，…，Sx－1，Sx表达，组成认知符号序列(cognitive symbol sequence，CSS)。

CSS是认知观测数据描述，也是认知动力重构基础，其科学性、有效性、可行性影响到观测质量。

3 认知符号序列分析方法

基于COM认知标架采集的认知符号序列蕴含丰富的认知结构信息，本文将在简单的低维空间对其进行分析。拓扑空间是首选的底流形。以24点游戏为例，采集认知符号序列进行拓扑分析。

按照拓扑理论，认知集合之上可建立认知拓扑空间。比如，把要记忆的6 000英语单词集合按照拓扑学方法抽象为单词拓扑结构［11］。

定义8 认知拓扑空间 设W是认知集合，W的子集族τ称为W的一个拓扑，如果它满足:

1)W和空集{}都属于τ。

2)τ中任意多个成员的并集仍在τ中。

3)τ中有限多个成员的并集仍在τ中。

3个拓扑公理称集合τ为一个拓扑空间，记作(W，τ)。对W集合进行分类生成W子集族的标准称为认知对象分类规范。根据不同认知对象分类规范，W可以拥有不同的拓扑结构、空间。

以下是24点游戏认知符号序列拓扑分析的大致步骤:

第1步 采集CSS 计算机给出“8，4，2，6”4个数字，让学生进行24点练习。记录为以下的CSS描述:|8|8+|8+4|8+4+2|8+4+2*|8+4+2*6|_true_speet:15 s，时间2012－10－03 22:44:58，系统ID=48698，用户信息。某用户认为无解，记录为 CSS:No_answer|_false_spent:1 s，如图3所示。

以上记录包含:① 学习最终结果8+4+2*6;4+8+2*6;(8/4)*2*6;8+4+6*2等，即认知标架中的情境内容维度;② 学习操作用“|”隔离，能根据CSS重构认知操作过程;③ 使用时长10 s及时间点等为认知标架的数理维度。

图3 24点计算训练的部分认知符号序列数据

第2步 建立认知集合 根据目标，筛选出正确的24点CSS记录。比如，暂时把无效的记录去掉，剩下规范的认知集合。

第3步 抽象认知拓扑 如上面CSS列表，“2－4－6－8”4个数字在不同训练过程及个体认知中有不同的表现，本文从认知角度把数字抽象为符号，用“ABCD”表示，而不管其具体大小。用数学语言来说即去掉度量单位，从拓扑角度分析。

比如:以上CSS记录分别拓扑化为A*B+C+D、A+B+C*D、A*B*(C/D)等拓扑模式。4万多条记录拓扑转化成206个拓扑模式。这些拓扑模式类似于生物领域的生物基因，反映了生物系统的根本信息。这些认知拓扑模式被称为认知拓扑基因(cognitive topology gene)，如图4所示。

图4 24点运算的认知拓扑基因

第4步 拓扑成像 从拓扑分析角度看，认知拓扑模式包含的更加本质的认知信息是拓扑基因，称为认知基因。基于这些认知基因对24点的具体记录进行分类成像，即上万条记录都按认知基因归类。

第5步 认知基因演化

①个性基因:获得训练群体认知基因的总数是206个，但每个学生使用的基因个数是有限的。

②基因归并:基因在训练熟练后会归并演化。比如，87个认知基因变成60个左右，114个变为71个。这是因为很多基因在数学角度是可以归类的，例如((A －B)+C)*D、(A －B+C)*D、(A*B)+(C+B)、(A*B)+C+B等认知基因都可能被归并。

③基因抽象:根据数学规则对基因进行进一步的归并、抽象。例如(A*B)+(C+B)变为A+B，可以认为思维起点是加法，最终能发现A+B、A－B、A*B、A/B 的痕迹。

4 结束语

BSM是认知活动观测平台，能对认知结构、过程进行持续精细的观测，称为“在线”模式;传统认知心理研究难以达到人机交互观测的精细及时长，称为“离线”模式。“在线”模式具有以下特点:精准观测，连续采集，数据丰富，即时互动。基于认知标架能根据需要和大脑认知组成互动系统，耦合出蕴含认知结构信息的认知符号序列，在认知低维拓扑空间上分析认知符号序列以获得认知结构重构认知过程。未来还可在群、逻辑、动力层面分析认知符号序列。

［1］郑旭东.学习研究新学科创建的辉煌历程——学习科学成功之道探秘［J］.开放教育研究，2011，17(1):42－50.

［2］张国仁，杨金花.认知结构的概念形成及其理论发展探索［J］.吉林省教育学院学报，2010，26(2):100－101.

［3］皮亚杰 J.态射与范畴:比较与转换［M］.上海:华东师范大学出版社，2005:11－37.

［4］周昊天，傅小兰.认知科学——新千年的前沿领域［J］.心理科学进展，2005，13(4):388－397.

［5］Martin J Eppler，Remo A.Burkhard.Knowledge visualization towards a new discipline and its fields of application［EB/OL］.［2004 － 07 － 28］.http://www.bul.unisi.ch/cerca/bul/pubblicazioni/com/pdf/wpca0402.pdf.

［6］张海森.2001－2010年中外思维导图教育应用研究综述［J］.中国电化教育，2011，295(8):120－124.

［7］JAMES HOLLAN，EDWIN HUTCHINS，DAVID KIRSH.Distributed Cognition:Toward a New Foundation for Human-Computer Interaction Research［J］.ACM Transactions on Computer-Human Interaction，2000，7(2):174－196.

［8］Newton Howard，Henry Lieberman.BrainSpace:Relating Neuroscience to Knowledge About Everyday Life［J］.Cogn Comput，2012(8).

［9］郑伟谋，郝柏林.实用符号动力学［M］.上海:上海科技教育出版社，1994:1.

［10］刘长勇，孟世敏.面向认知的1∶1数字课堂信息序列［J］.长春师范学院学报:自然科学版，2012，31(12):121－124.

［11］MENG Shimin.Complex word network model based on cognitive coupling states［C］//International Conference on Date.［S.l.］:IEEE conference publications，2012:411－ 414.