您当前的位置: 首页 > 法律

用深度学习来解析梦境中出现的物体

2018-11-28 13:15:12

雷锋网(公众号:雷锋网) AI科技评论按,本文作者Harold Yue,首发于知乎专栏神经科学和人工智能,雷锋网 AI科技评论获其授权转载。

这篇文章主要的工作算是机器学习和神经科学的结合工作,需要读者在这两个方向有一定的基础。

另有科普版本,结构更加清晰,不过删减了很多内容。科普版本如下:

用深度学习来解析梦境中出现的物体 - 行为与认知神经科学

()

机器学习简介:机器学习算法是一类从数据中自动分析获得规律,并利用规律对未知数据进行预测的算法。近大火的深度学习则是机器学习的一个分支,主要用基于人工神经网络的各种方法来实现目的,现在有很多变种,本文中使用的神经网络是一个卷积神经网络(Convolutional Neural Networks, CNN)。

文章中神经科学实验部分主要使用的信号读取方法是功能磁共振( functional Magnetic Resonance Imaging,功能核磁共振),主要原理是通过监测脑区血流量的变化来间接测量脑区的活动程度,当一个脑区活动程度增强的时候,相应的血流量也会增加,为脑区输送更多的氧气,影响,以及排除废物。功能磁共振的空间分辨率很高,但其时间分辨率比较有限,只能采集到2s 左右时间内的平均活动程度,同时对于神经活动的检测有一定延时。

前一周去开ASSC 的时候听到一个很有趣的工作,用深度学习来解析人类梦境中出现的物体类别。我见到的为数不多融合深度学习和神经科学的工作。回来之后翻了下相关文章,来在这分享下。

本文介绍的总体思路:

证明视知觉和梦境在视觉皮层上的神经活动有部分类似的激活模式。[1]

以正常视知觉为训练集训练一个 Decoder,从被试的视觉皮层神经活动信号到的物体类别。这里是分成两部分,先从 fMRI 信号到特征空间,再从特征空间用相关性分析的办法推测物体类别。[2]

用这个 Decoder 来预测梦境中的物体类别。[3]

夹点私货,用里面的数据来说下视觉皮层和卷积神经网络底层的相似性,也算是解释了为什么用卷积神经网络的效果要更好。

我个人从一个认知神经科学研究生和一个机器学习初学者的角度来分析下这个工作。

前三点,对应了他们组发的三篇文章。我们从头开始说。 先是13年的一个工作Neural Decoding of Visual Imagery During Sleep.

实验部分:

实验过程中被试躺在核磁共振成像仪里面,在持续通过脑电图(electroencephalogram, EEG)来检测被试的睡眠状态的同时扫描大脑活动。在通过特定的脑电特征了解被试进入梦境状态之后,会叫醒被试并让其口头描述梦境内容。(如下图所示)

<img src=" data-rawwidth="554" data-rawheight="339" class="origin_image zh-lightbox-thumb" width="554" data-original=" _src="

结果部分:

在梦境实验之前,作者收集了被试们在看图片时候视觉皮层的Fmri信号,并基于此训练一个线性SVM(Support Vector Machine,支持向量机)分类器。并用此分类器尝试解码出被试在梦境状态下的看到的物体,这里作者使用的任务相对简单,是要在两个物体类别里面挑出正确的那一个。结果是预测准确率大于50%,高于随机水平,说明视知觉和梦境在视觉皮层有类似的信息表征机制。

这个工作做的其实超前,在13年的时候大概是首次尝试解析梦境的工作,也是很早把机器学习和神经科学结合起来的工作,但是由于和今天的主题不是特别相关,所以只介绍了我需要的结果,至于具体用的思路和方法,在此略过,有兴趣的同学,可以自行查找原文。[1]

<img src=" data-rawwidth="600" data-rawheight="271" class="origin_image zh-lightbox-thumb" width="600" data-original=" _src="

接下来是重点,如何从被试看图片的 fMRI 信号中解出物体类别。

实验部分:

<img src=" data-rawwidth="529" data-rawheight="407" class="origin_image zh-lightbox-thumb" width="529" data-original=" _src="

作者在此主要做了两类实验,一类是正常看物体的图片,另一类是基于线索来想象物体的形象。

在看物体实验中,被试会被呈现不同的图片,每张图片9秒钟。这里加了一个比较简单的小任务,当出现的图片和上一张出现的图片相同的时候,被试需要做按键反应。这里是为了让被试的注意维持在图片上。 第二类是想象实验,在线索阶段,会有1个目标词汇和49个干扰词出现,在听到‘滴’声之后,被试要闭上眼睛,想象目标词汇的形象。过了15s,听到‘滴’ 之后,睁眼,确认想象的形象是目标形象。 在实验进行的过程中,会采集被试视觉皮层的fMRI信号。

从fMRI到物体类别

接下来的数据分析工作,也就是从fMRI信号到物体类别是分两步走的,

步是fMRI 信号到特征空间。

作者在此用了一个8层预训练好的神经网络来做特征提取。在前七层中每层随机选1000个神经元,以及第八层的全部1000个神经元,把一张图片前向传播过网络后,这些神经元的输出作为特征。这样每张图片前向传播之后,可以获得一个 8层 * 1000 特征/层 的特征矩阵。

之后是被试用被试的fMRI信号来训练一系列Decoder,从被试的fMRI信号来拟合不同层中不同特征的值。来实现从fMRI信号到特征空间的转换。

<img src=" data-rawwidth="619" data-rawheight="219" class="origin_image zh-lightbox-thumb" width="619" data-original=" _src="

第二步是从特征空间到物体的类别。

这里作者首先做的是,计算各个物体类别的特征矩阵。他的做法是,每一个类别下面所有图片前向跑一遍网络,把生成的所有的特征矩阵平均,得到一个物体类别对应的特征矩阵。

如果要计算上一步中,被试梦境中解码出来的特征矩阵具体对应着哪个类别的物体。这里做一个简单的相关,取相关系数的那个类别为预测类别。

结果:

这篇文章做出的结果不能说很好,但是确实为这个领域的应用提出了一个有趣的方向。

<img src=" data-rawwidth="232" data-rawheight="525" class="content_image" width="232" _src="

这张图截取的是