Facebook详谈脑机接口成果:全天候可穿戴AR眼镜强大输入方式

2019-09-11 20:30:24 映维网 分享

查看引用/信息源请点击:映维网

这是一个诱人的愿景,但需要一种进取的精神,大量的决心和开放的态度。

映维网 2019年07月31日)日前,Facebook Reality Labs通过新一期的博文介绍了他们的脑机界面(Brain-Computer Interface;BCI)研究团队和最近进展,以及这对未来增强现实眼镜的意义。下面是映维网的具体整理:

对于艾米丽·穆勒(Emily Mugler)来说,那是一个改变一切的时刻。

当时是2017年4月下旬,雷吉娜·杜甘(Regina Dugan)刚刚登上F8讲台并提出了一个煽动性的问题:“假如你可以直接从脑海键入文本,这又将如何?”她接着详细介绍了Facebook正在进行中的研究:只需要在脑海构思你要说的话,系统就可以直接帮助你键入相应的文本,无需发出一个音节或敲打一个键盘。

穆勒回忆道:“那天晚上我就给他们发了我的简历。”当时她正在美国西北大学攻读生物工程博士学位,并尝试根据清醒时大脑手术数据来解码语音。这是患者在记录语音和大脑信号时依然能够保持清醒的位置,并且通常可用于帮助绘制能够安全移除而不损害认知功能的组织。

在那之前,穆勒与因肌萎缩侧索硬化而无法说话的患者进行了合作。为了帮助患者更轻松进行交流,她曾使用脑电图来测量大脑的电活动。遗憾的是,设备用起来十分困难并且缓慢。她解释说:“患者有时需要70分钟才能键入一句话。”这次尝试激励了她在整个博士研究期间及以后的工作,并立志追求更好,更有效的方法来帮助改善人们的生活。

艾米丽·穆勒是Facebook Reality Labs脑机接口团队的工程师。当她在2017年的F8演讲中知道Facebook正在追求一种非侵入性的可穿戴的BCI设备时,她马上选择要加入这家公司。

她开始将言语作为一种更为有效的交流方法。尽管对脑机接口技术的探索最初是从2004年开始,并以脑皮层电图(ECoG)的方式进行,但当时世界范围内致力于解决这个问题的实验室数量非常稀少。另外,由于ECoG需要在脑皮层放置电极,所以这不是一种完全无创的解决方案,亦即一种可以在体外运行的解决方案。

在看完F8大会的主题演讲后,穆勒对Facebook的脑机界面研究感到非常兴奋,因为那里看起来最有可能给出她所寻找的答案。

1. 设计未来

想象一下这样一个世界:你可以立即访问当今智能手机的所有一切,并且完全可以实现免手操作。你可以随时随地与生活中最重要的人共度美好时光。不管有什么外部干扰,地理限制,甚至身体残疾和运动限制,你都可以以有意义的方式与他人建立联系。

这是我们相信的未来,我们认为这将是一对时尚增强现实眼镜的终极形状参数。在首席科学家迈克尔·亚伯拉什和Facebook Reality Labs(FRL)团队看来,我们正站在下一波计算浪潮的最前沿,未来AR和VR的组合技术将出现融合,并彻底改变我们与周遭世界的交互方式,以及我们工作,娱乐和沟通的方式。

这个未来尚有非常遥远的距离,但今天进行的早期研究是实现其承诺的第一步。我们需要解决的最有趣和最具挑战性的问题之一是输入问题。换句话说,当我们戴上一副AR眼镜后,我们将如何实际地使用它们?

亚伯拉什写道:“这一定是全新的方式,不同于基于鼠标/基于图形用户界面的界面,穿孔卡和电传打字机。”

这时正是脑机界面发挥作用的时候。

2. 寻找全新的界面

FRL的研究总监马克·雪佛莱特(Mark Chevillet)说道:“我从小就看着威廉·吉布森和尼尔·斯蒂芬森等关于脑机界面的小说长大,而我在长大后有很大一部分时间都在尝试探索脑机界面是否能够成为现实…但对于这最终变成了一份真正的工作,我现在都依然感到惊讶。”用意念控制机器已经不再局限于科幻作品。人类已经在利用脑机界面技术来进行自我喂食,牵着亲人的手,甚至驾驶喷气式飞机模拟器。但是,这个领域迄今为止都只能选择植入式电极。他指出:“今天没有其他方法可以做到,但我们团队的长期目标是以一种非侵入式可穿戴设备实现这个目标。”

马克·雪佛莱特是Facebook Reality Labs的脑机接口研究项目的负责人。这个项目的目标是开发一种非侵入性的,无声语音界面,并允许用户只凭意念即可实现文本键入。这种技术未来有望成为全天候可穿戴的AR眼镜的强大输入方式。

在加入FRL并建立和领衔一直致力于脑机接口研究的团队之前,雪佛莱特曾在约翰霍普金斯大学应用物理实验室(Johns Hopkins University Applied Physics Laboratory ;APL)工作。他解释说:“吸引我加入APL的地方是,是他们将尖端机器人技术与手术植入电极结合起来,并为受伤的老兵开发假肢的研究。”

受到启发的雪佛莱特帮助APL建立了一个更广泛的应用神经科学相关研究项目,并旨在探究这项技术未来的发展方向,以及它将如何以非侵入性方式帮助更多的人群。他介绍道: “我领导了一个内部研究计划,其目标是看看我们是否可以利用运动假肢方面的概念,以及我在认知神经科学方面的其他工作来为无法说话的人群开发一种通信假体。我们同时尝试探索是否可以利用非侵入性的方法,从而允许更多的人进行使用。”

在接受Facebook邀请并建立一支专注于脑机接口的团队之后,雪佛莱特提出了一个雄心勃勃的长期研究项目:挑战可能的极限,并重新定义最先进的技术。这时他突发灵感:基于可穿戴设备的通信脑机接口不仅能作用于无法说话者,它可能同时是人们与数字设备进行交互的一种非常强大的方式。

尽管支持语音作为输入机制的智能家居和智能手机正越来越受到市场的欢迎,但它们并不适合所有的情况。如果你身处一个拥挤的房间,走在嘈杂的城市街道,这可怎么办?正如雪佛莱特所说,“大多数人都用过手机的语音助手,但他们几乎不会在其他人面前使用它。”

然而,如果你可以实现免手操作的便利和语音语言的速度呢?

3. 两支团队,一个目标

对于这个愿景,雪佛莱特开始建立一支旨在探索非入侵性的可穿戴脑机接口设备是否可能成为现实的跨学科团队。

“我们显然需要真正理解语音产生及其背后的神经科学的人才,而我们幸运地找到了艾米丽,或者说她找到了我们。”他如是说道。随着团队的发展,这个问题的跨学科性质吸引了各种各样的顶尖研究人员,涵盖从生物医学成像到机器学习和量子计算等领域。但FRL团队暂时无法解决一个问题:在确定要构建何种类型的可穿戴设备之前,他们需要明确是否可以实现无声的语音接口。如果是,这又需要什么神经信号。

就目前而言,这个问题只能通过植入电极来解决,所以雪佛莱特联系了加利福尼亚大学旧金山分校的世界著名神经外科医生张复伦(Edward F. Chang)教授。张复伦同时在负责一直大脑测绘和言语神经科学研究团队,并致力于为神经系统疾病患者探索新的治疗方法。

雪佛莱特回忆道:“我去了他的办公室并介绍了这个愿景。我解释说我希望知道语音BCI是否可以通过可穿戴设备的形式实现,以及他们团队对植入电极的研究在多大程度上可以推进我们的非入侵性研究。”

他发现,张复伦早就计划为因脑损伤而失语的患者开发一种交流设备,如脑干中风,脊髓损伤,神经退行性疾病等等。但他明白这个目标需要的资源在短期内尚不存在。

在讨论了加利福尼亚大学旧金山分校旨在改善瘫痪和其他形式言语障碍的患者生活的研究重要性,以及Facebook对通过脑机界面来改变我们与技术交互方式的长期潜力的兴趣后,两人决定为了共同的目标而合作,一起探索是否真的可以实时解码大脑活动中的言语。

4. 一个充满前景但尚未成熟的结果

张复伦及其实验室同事大卫·摩西斯(David Moses)日前通过《Nature Commnications》期刊发表了他们的研究成果。他们证明了在记录大脑活动过程时能够以几乎实时的速度解码大脑构思的言语。原来的解码研究都是离线进行,而这一论文的关键之处是他们能够实时根据大脑活动解码完整的口语单词和短语。当然,研究人员强调他们的算法目前只能识别有限的单词和短语,但他们希望在接下来的研究中扩大可识别的词汇量和降低错误率。

神经科学领域在过去十年间经历了显著的进步,我们对大脑理解和产生言语的方式有了进一步的了解。与此同时,全新的人工智能研究提升了我们将语言变成文本的能力。在结合起来的时候,它们有朝一日或许能够帮助我们直接通过意念进行沟通,而这个可能性将会极大地改善中风患者的生活。

发表于《Nature Commnications》期刊的论文研究了当时正在接受大脑手术以治疗癫痫的正常言语患者。这属于一个由FRL支持的更大规模的研究项目的一部分:Project Steno。Project Steno的最后阶段将涉及为期一年的研究,并旨在确定是否有可能利用大脑活动来恢复患者的交流能力。除了提供资金之外,一小组Facebook的研究人员与张复伦及其实验室进行了直接合作,为其提供输入和工程方面的支持。加利福尼亚大学旧金山分校负责监督研究计划,并直接与研究志愿者合作。Facebook研究人员对数据的访问权限有限,后者始终由加州大学旧金山分校保管。

最终,研究人员希望实现每分钟100字的实时解码速度,词汇量1000字,单词错误率低于17%。通过证明这个利用植入电极来帮助失语患者的概念证明,我们希望加州大学旧金山分校的研究能够为我们开发完全非入侵性可穿戴设备所需的解码算法和技术规范提供支持。

要以非入侵性的方式实现加州大学旧金山分校研究的相同结果,我们尚有一段非常遥远的路途要走。为了实现这个目标,FRL将继续与其他合作伙伴一起探索非入侵性脑机接口的方法,包括华盛顿大学医学院的马林克罗特放射学研究所(Mallinckrodt Institute of Radiology)和约翰霍普金斯大学应用物理实验室。

我们正在从一个利用近红外光的系统开始。

5. 看见红外光

与身体中的其他细胞相似,神经元在活跃时会消耗氧气。所以,如果我们能够检测到大脑氧气水平的变化,我们就可以间接地测量大脑活动。想象一下脉搏血氧仪,就如同它能够通过手指测量血液中的氧饱和度一样,我们同样可以使用近红外光以安全,非入侵性的方式测量大脑的血液氧合作用。这类似于今天通过功能行磁共振成像(fMRI)中测量的信号,但不同的是我们将采用由消费级零件制成的便携式可穿戴设备。

声明:本站部分资源来源于网络,版权归平台彩票app所有,如作者或来源机构不同意本站转载采用,请通知我们,我们将第一时间删除内容。本站刊载文章出于传递更多信息之目的,所刊文章观点仅代表作者本人观点,并不意味着本站赞同作者观点或证实其描述,其原创性及对文章内容的真实性、完整性、及时性本站亦不作任何保证或承诺,请读者仅作参考。
编辑: