虚拟数字脑软件平台的研究与开发

2020-01-07徐龙春张敏风张岗邹越赵文波何乐民周慧晶颜淑敏张光玉

中国医学物理学杂志 2019年12期

徐龙春，张敏风，张岗，邹越，赵文波，何乐民，周慧晶，颜淑敏，张光玉

1.山东第一医科大学（山东省医学科学院）第二附属医院医学影像科，山东泰安271000；2.山东第一医科大学（山东省医学科学院）第二附属医院耳鼻咽喉科，山东泰安271000；3.山东第一医科大学（山东省医学科学院）放射学院，山东泰安271016

前言

理解认知、思维和创新意识产生的机理是脑科学研究的重要内容。脑科学对各种脑功能机理的解析对有效诊断和治疗脑疾病有重要的临床意义。类脑研究是在脑科学研究的基础上，侧重借鉴脑科学研究成果，模拟人脑功能，开发人工智能器件。脑科学和类脑研究是当前国际重要科技前沿［1］。

针对脑科学和类脑研究，各国制定了相应的计划。欧洲在2005年提出“蓝脑计划”，其目的是从实验数据逆向打造哺乳动物的大脑。2013年美国正式启动人脑计划，目的是通过使用新型的脑研究技术来揭示人脑的工作原理以及人脑重大疾病发生机制［2］。随后，欧盟也在“蓝脑计划”的基础上正式确定人脑计划［3］，欧盟人脑计划主要是通过超级计算机来模拟人类大脑，并通过对人脑工作机制的研究为类脑人工智能的发展提供一些启示。日本在2014年也宣布实施人脑计划的研究［4］，日本的人脑计划侧重于通过绘制脑联结图谱，并结合基因操作，构建脑疾病的狨猴模型。中国的人脑计划已经启动，2018年北京和上海分别成立了脑科学和类脑研究中心。中国脑计划是通过理解大脑的认知基础来促进脑疾病诊断、治疗和类脑智能技术的发展［5］。

为了更好地进行脑科学和类脑研究，欧洲构建了虚拟大脑，虚拟大脑是基于所获得的受试者脑结构磁共振成像和弥散张量成像数据，构建个体化脑网络模型，并通过功能磁共振成像（Functional Magnetic Resonance Imaging,fMRI）数据、脑电图和脑磁图数据调节模型参数，使模型的输出信号同真实的脑信号尽可能接近。虚拟大脑能够用于观察脑区的神经活动状态［6-8］，揭示人脑工作的机理［9-10］，还能够进行脑疾病的个体化研究和虚拟治疗干预［11-13］。此外，欧洲还开发了虚拟大脑软件平台来实现虚拟大脑的各项功能。但虚拟大脑软件平台的运行需要很多软件作支撑，操作复杂，预测的神经活动信号与实际信号相差较大，并没有很好地发挥其在脑科学和类脑研究中的作用。因此，研究操作简单，且能够用于脑科学和类脑研究的软件开发平台对脑计划的实施具有重要的意义。本研究为实现这一目的而进行虚拟数字脑软件平台研究和开发。

1 材料与方法

1.1 材料

使用泰山医学院附属医院影像科提供的NIFTI格式磁共振医学图像作为本研究中所开发的软件平台测试图像。

1.2 方法

1.2.1 软件的总体框架虚拟数字脑是一个由真实数据驱动的人脑神经网络虚拟仿真模型，是一个由许多节点组成的人脑因果连接网，连接网中节点间因果连接方向表示节点间神经信号传递或流动方向。连接网中的每一个节点代表一个布鲁德曼功能脑区，可以根据人脑神经活动规律，利用数学建模方法模拟连接网中各节点的神经信号活动强度。

实现虚拟数字脑功能的软件包总体框架如图1所示，包括数据预处理、构建因果连接网、获得回归系数、虚拟数字脑、输入刺激信号、单对象脑区激活结果、单组对象脑区激活结果、两组对象激活结果比较、脑区间最短因果连接路径、三维重建和可视化、多平面重建和可视化。

图1 虚拟数字脑软件包总体框架Fig.1 Diagram of virtual digital brain software package

数据预处理主要包括时间校正、头动校正、结构像配准、空间标准化［将结构像和功能像配准到MNI（Montreal Neurological Institute）空间］、空间平滑、结构像分割。这些预处理可以通过SPM 软件（https://www.fil.ion.ucl.ac.uk/spm/）来完成。这些预处理后的数据还需要利用虚拟数字脑软件包进行去线性漂移、协变量去除和时域滤波。协变量去除的目的是消除白质信号、脑脊液信号和头动校正参数对后续处理的影响。

基于预处理后的数据，利用熵连接［14］（一种因果连接）方法构建因果连接网，利用最小均方误差算法获得所构建的因果连接网中，节点神经活动预测模型中的回归系数。因果连接网和节点神经活动预测模型构成了人脑神经网络的一个虚拟仿真模型，这个模型就是虚拟数字脑。

根据实际研究的需求，获得刺激信号，按照设计的任务范例的要求，将刺激信号输入到虚拟数字脑的某个或某些脑区，通过节点神经活动模型和迭代算法获得各节点的神经活动信号强度，利用统计学方法得到脑区激活结果。这些结果包括单对象脑区激活结果、单组对象脑区激活结果、通过双T 检验获得的两组对象激活结果。在激活脑区组成的网络中，可以通过有向图中最短路径的获取方法，分析两个激活脑区间的最短因果连接路径，也就是神经活动信号在两个脑区间的最短传递或流动路径。虚拟数字脑、脑区激活结果和最短因果连接路径等需要进行三维重建和可视化、多平面重建和可视化，目的是对各种处理结果进行显示。

1.2.2 软件的编程实现虚拟数字脑软件包是在VC++12.0 的开发环境下，利用C/C++编程语言开发的软件平台。软件开发步骤如下：

（1）首先利用MFC 应用程序向导创建基于单文档的应用程序fMRISoft，如图2a 所示，在菜单栏里面添加菜单项“Preprocessing”，在该菜单项中添加子项去线性漂移（Detrend）、去协变量（RegressOut Cov）和时域带通滤波（BandPass filter）等。为该菜单中的每一个子项添加消息映射函数。

（2）利用MFC DLL 向导创建动态链接库“fMRIDLL”，在该动态链接库中添加3个成员函数分别实现去线性漂移、去协变量和时域带通滤波的功能。在菜单项“Preprocessing”的子项所对应的消息映射函数中分别调用这3个成员函数，完成相应的数据预处理功能。

（3）在菜单栏里面添加菜单项“VDB”，如图2b所示，在该菜单项中添加子项“Construction and Analysis”和“Visualization”。为该菜单中的每一个子项添加消息映射函数。

图2 添加菜单项及其子项的示意图Fig.2 Diagram of add menu items and their subitems

（4）在程序资源里面添加“Virtual digital brain”对话框，并在菜单子项“Construction and Analysis”的消息映射中添加创建和显示该对话框的函数。在对话框里面添加控件和相应的消息映射函数。

（5）在程序资源里面添加“VDB Visualization Dialog”对话框，并在菜单子项“Visualization”的消息映射中添加创建和显示该对话框的函数。在对话框里面添加控件和相应的消息映射函数。

（6）在动态链接库“fMRIDLL”中添加6个成员函数，分别实现计算脑区间因果连接、获得回归系数、获得单对象脑区激活结果、获得单组对象脑区激活结果、获得两组对象相比较的脑区激活结果、获取激活网络中脑区间最短因果连接路径。并在“Virtual digital brain”对话框相应控件的消息映射函数中分别调用这些成员函数，完成相关功能。

（7）利用MFC DLL 向导创建动态链接库“3DDLL”，在该动态链接库中添加成员函数实现三维重建和可视化、多平面重建和可视化的功能。在“Virtual digital brain”对话框相应控件的消息映射函数中调用实现三维重建和可视化的成员函数，完成脑区激活结果的三维重建和可视化。在“VDB Visualization Dialog”对话框相应控件的消息映射函数中调用实现多平面重建和可视化的成员函数，完成脑区激活结果的多平面重建和可视化。

2 结果

虚拟数字脑软件包开发完成后，对软件包进行,调试和测试，图3是软件包的运行界面。数据预处理后，通过在对话框“Virtual digital brain”的控件中设置合适的参数，并点击相应的按钮，可以完成构建因果连接网、获得回归系数、显示虚拟数字脑。将任务刺激信号输入某些脑区，并点击相应的按钮，能够获得单对象脑区激活结果、单组对象脑区激活结果、两组对象激活结果比较、脑区间最短因果连接路径，还能够对激活结果进行三维重建和可视化。在对话框“VDB Visualization Dialog”中通过选择合适的选项，点击按钮，并拖动滑动条，就可以对脑区激活结果进行多平面重建和可视化。

图3 虚拟数字脑软件包运行界面Fig.3 Running interface of virtual digital brain software package

利用泰山医学院附属医院影像科提供的NIFTI格式的磁共振医学图像对构建的虚拟数字脑软件平台进行测试。首先进行数据预处理，然后获得脑区间因果连接和节点神经活动信号预测模型中的回归系数，最后构建出虚拟数字脑。图4是构建的个体化虚拟数字脑，其中，不同颜色的球代表不同的布鲁德曼脑区，右侧区域彩色球下面的数字表示对应的布鲁德曼脑区的索引值（即在标准布鲁德曼功能模板中脑区的值）。脑区间金黄色有方向棒，表示脑区间的同步因果连接；脑区间浅蓝色有方向棒，表示脑区间的异步因果连接。棒的粗细表示因果连接的强度，棒的方向表示脑区间因果连接的方向。

图4 个体化虚拟数字脑的显示Fig.4 Display of individualized virtual digital brain

设计功能磁共振任务范例，按照任务设计要求，将刺激信号输入虚拟数字脑的某些脑区，可以观察脑区激活情况。图5是将任务刺激信号输入到背外侧前额叶皮层时，单对象脑区激活的三维重建和可视化结果。图6是将任务刺激信号输入到背外侧前额叶皮层时，单对象脑区激活的多平面重建和可视化结果。彩色尺度条颜色变化对应脑区激活强度变化，由红色渐变到黄色表示激活强度逐渐增强。

图7是将任务刺激信号输入到背外侧前额叶皮层时，单组对象脑区激活的三维重建和可视化结果。图8是将任务刺激信号输入到背外侧前额叶皮层时，单组对象脑区激活的多平面重建和可视化结果。浅蓝色和蓝色对应的脑区呈现了负激活，彩色尺度条颜色变化对应脑区激活强度变化，由浅蓝色渐变到黄色表示激活强度逐渐增强。

图5 单对象脑区激活结果的三维重建和可视化Fig.5 Three-dimensional reconstruction and visualization of brain activations of single subject

图6 单对象脑区激活结果的多平面重建和可视化Fig.6 Multiplanar reconstruction and visualization of brain activations of single subject

将任务刺激信号输入到背外侧前额叶皮层时，在单组对象由激活脑区组成的网络中，激活脑区间存在最短因果连接路径。图9显示的是在激活网中从左侧背外侧前额叶皮层（BA 9L）到左侧背后扣带皮层（BA 31L）的最短因果连接路径。图中，每一个球代表一个脑区，红色球表示该脑区呈现了正激活，蓝色球表示该脑区呈现了负激活；球的大小对应激活强度的大小。脑区间金黄色有方向棒，表示脑区间的同步因果连接；脑区间浅蓝色有方向棒，表示脑区间的异步因果连接。棒的粗细表示因果连接的强度，棒的方向表示脑区间因果连接的方向。

3 讨论

图7 单组对象脑区激活结果的三维重建和可视化Fig.7 Three-dimensional reconstruction and visualization of brain activations of single group

图8 单组对象脑区激活结果的多平面重建和可视化Fig.8 Multiplanar reconstruction and visualization of brain activations of single group

本研究介绍了虚拟数字脑软件包的研究和开发，虚拟数字脑软件包VDB1.4 已经发布到国际神经影像学工具网站（https://www. nitrc. org/projects/vdb），可以从该网址免费下载和使用。特别需要说明的是，为了能更好地展示软件的功能，本研究的结果部分显示的图像是对软件运行结果进行了剪切后的结果，不是原始显示结果。软件的详细功能和使用说明，可以参看从该软件网站下载的文件夹中的文件（Virtual Digital Brain Manual.pdf）。利用该软件包以及参与者的人脑结构磁共振和静息态功能磁共振成像数据能够构建个体化虚拟数字脑，还能够构建任务刺激信号和进行功能磁共振任务设计（即设计功能磁共振任务范例）。可以将任务刺激信号施加到虚拟数字脑的任何脑区，从而观察虚拟数字脑中各个脑区的激活情况，以及分析神经活动信号从一个脑区到另一个脑区的最短因果传递路径。虚拟数字脑已应用于长期听力损失患者与认知处理相关的脑区神经活动变化的研究以及脑区神经活动变化和相互影响的因果机理的分析［15］。

图9 激活脑区间的最短因果连接路径Fig.9 The shortest causal connectivity path among activated brain regions

利用虚拟数字脑软件包对听力损失患者躯体感觉皮层与听觉皮层之间交叉模式功能重组进行研究。初步的仿真结果表明，同正常听力受试者相比较，听力损失患者呈现了更强的躯体感觉信号激发的听觉皮层活动。这个发现与先前的研究结果是一致的［16-18］。此外，还利用虚拟数字脑软件包对视觉刺激信号对听力损失患者语言处理的影响进行研究，发现视觉刺激信号通过视听抑制机制消弱了听力损失患者大脑皮层中与语言处理相关的脑区神经活动信号的强度，暗示视觉语言不利于听力损失患者电子耳蜗移移植后的听力恢复。这个发现与目前临床上对听力损失患者康复治疗理念是一致的［19］。

本研究开发的虚拟数字脑软件包与目前欧洲开发的虚拟大脑软件平台［6-10］相比，操作简单，不需要任何软件作支撑。但目前开发的虚拟数字脑软件包还存在许多问题，还没有利用真实的基于任务的人脑功能磁共振数据进行验证，需要在实际应用中不断进行改进和完善。如何设计功能磁共振任务范例对构建的虚拟数字脑的有效性进行验证，并通过模拟人脑的神经活动来完善虚拟数字脑是今后需要研究的课题。