上纽大首席科学家成功构建首个视网膜拓扑投射图数学模型

上纽大首席科学家成功构建首个视网膜拓扑投射图数学模型
2021年11月19日

每个人眼中的世界与世界本身的样貌基本一致。例如说,在众人看来,魔方是一个方块,而非魔“球”或者魔“塔”。“看”是一个简单的动作,却有着复杂的过程,需要把视网膜获取的图像信息投射到大脑的视觉皮层。然而,功能性磁共振成像(fMRI)的结果表明,投射到人脑的视觉信息会发生扭曲。既然如此,为何人类最终看到的世界与真实世界相差无几?

 

上海纽约大学神经科学教授、神经科学学科负责人,首席科学家、副教务长,华东师范大学 - 纽约大学脑与认知科学联合研究中心(上海纽约大学) 联合主任吕忠林教授历经十年研究探索,最终与美国亚利桑那州立大学的王亚林教授,以及涂颜帅和Duyan Ta共同搭建了全球首个完整的数学模型,用以描述视觉信息在眼睛与视觉皮层之间映射过程中产生的失真现象,让人们第一次有机会了解人眼看到世界的过程。该项研究还获得了美国国家科学基金会(National Science Foundation, NSF)、美国国家老龄化研究所(National Institute on Aging, NIA)以及美国国家眼科研究所(National Eye Institute, NEI)的资金支持。

 

“研究用到的这套数学很复杂,但是回答的问题很简单,”吕教授说,“那就是探寻人类‘看见’世界的具体过程,探究图像信息从视网膜传输到大脑时会发生什么?既然人脑结构存在个体差异,为什么大家看到的世界还是一样的?”研究团队最先发表的两篇研究论文,已发表在全球医学图像处理和计算生物领域的顶级期刊上,分别为《医学图像分析》(Medical Image Analysis)第75卷《PLoS系列之计算生物学》(PLoS Computational Biology)第17卷,并申请了两项关于人脑图谱和感官区域量化方法的专利。

 

NYU Shanghai Chief Scientist Builds First Mathematical Model for How We ‘See’ the World左起顺时针方向依次为:吕忠林、王亚林、涂颜帅和Duyan Ta

 

人体视觉系统的运作原理

 

如果把人眼比作相机,“拍摄”到的画面呈现在位于眼球壁内层的视网膜上,并由这一透明薄膜投射到脑内负责处理视觉信息的视觉皮层。视网膜上的“像素点”与视觉皮层上的信息投射点之间存在一一对应的“拓扑”关系,这种点对点的图像投射又称“视网膜拓扑投射图”。神经科学家运用fMRI技术化无形的投射过程为有形,记录并探索其中的奥秘。

 

Students Learning Through Community Engaged Trip to Qingpu in Shanghai图源:美国亚利桑那州立大学Rhonda Hitchcock-Mast

 

人脑视觉皮层可分为多个区域,也就是V1、V2、V3等等。分类标准不同,区域数量也不尽相同,有时可达十个以上。根据现有的视网膜拓扑投射图可知,视觉信息由视网膜从V1传输至Vn,在每区都会发生不同程度的几何形变,然而这一现象出现的具体过程仍未可知。

 

吕教授及其团队认为,如果能够量化研究每一次形变,就能够揭开人类视觉系统运作的神秘面纱。

 

研究道路上的重重困难


研究团队十年磨一剑,攻克重重关卡,终于取得了突破性的研究成果。因为这项跨学科研究项目涉及视觉科学、fMRI和微分几何学,团队成员加深对彼此研究领域的了解就显得尤为重要。吕教授表示,正因为如此,研究团队在过去十年间几乎是每周一会。身为视觉科学和fMRI领域的专家,吕教授不断拓展自己在数学领域的知识储备,而王教授和他的两位学生涂颜帅和Duyan Ta,也在深入探索视觉科学领域。最重要的是,他们团结协作,共同努力,提出并解决问题,推动研究进程。

 

缺乏可用数据是研究团队前进道路上的又一阻碍。因fMRI图像的像素太低,无法保留研究所需的拓扑细节,吕教授及其研究团队多年来无法取得实质性进展。最终,研究团队借助人类连接体项目(Human Connectome Project, HCP)收集的7T超高磁共振成像(7-Tesla MRI)数据,复原图像的拓扑细节,生成研究可用的视网膜拓扑投射图。

 

Students Learning Through Community Engaged Trip to Qingpu in Shanghai左图:7T fMRI机器

右图:视网膜拓扑投射样图

图源:人类连接体项目数据库

 

“我们计算出了对应(函数)关系f。”

 

吕教授与王教授等人运用计算共形几何原理和泰希米勒理论(以拟共形映射为研究工具),共同创造出了可以量化视网膜拓扑投射图变形的数学模型。该模型用数学语言描述视网膜拓扑投射图呈现出的图像,让数据分析工具有机会在绘制个体和群体的视网膜拓扑投射图中发挥作用。

 

“拿y=f(x)这个函数公式来举个例子,”吕教授说,“输入大脑的视觉信息是x,大脑视觉皮层上与之对应的投影是y。我们根据现有的x值和y值,计算出了二者之间的对应关系f。所以借助这个数学模型,我们可以精准计算任何图像(x)在大脑视觉皮层上的投影(y),也可以通过任一投影(y)反向推导出人眼看到的图像(x)。”

 

吕教授及其研究团队先确认视网膜与V1之间的拓扑投射是共形映射还是拟共形映射,运用微分几何学里计算拟共形映射偏差角度的贝尔特拉系数(Beltrami coefficient, BC),精确推算出人脑皮质表面每个区域内视觉信息扭曲的程度和方向。研究人员把贝尔特拉系数整合并绘成贝尔特拉系数图(Beltrami coefficient map, BCM),用以精准描述视网膜拓扑投射图上每个投射点处出现的视觉信息形变。

 

Students Learning Through Community Engaged Trip to Qingpu in Shanghai

这个新的数学模型随后应用在人类连接体项目(全球目前最大最先进的视网膜数据集)的V1视网膜拓扑投射图中。应用结果表明,视网膜与V1之间的视觉信息投射是拟共形映射,视觉图形只会发生形变,而不会撕裂。

 

展望未来

 

研究团队发表了视网膜与V1间拓扑投射图的相关论文,并在此基础上再接再厉,继续致力于视网膜与V2、V3、V4等区域之间视网膜拓扑投射图的研究工作。同时,研究团队还把这一数学量化模型运用到不同的研究群体当中,旨在探寻人脑和神经元结构的个体差异是否会造成不同的个体视觉感知。这一模型也可用于人脑其他感觉系统拓扑投射图的研究工作,利于深化理解人脑功能,助推相关领域研究进程。

 

研究人员通过这个量化模型,可以精确判断视觉信息投射过程中导致青光眼、皮质盲症等眼部疾病的出错环节,为患者带来新的希望。