人工智能语音信号解码技术帮助失语瘫痪患者恢复语音交流能力



人工智能语音信号解码技术帮助失语瘫痪患者恢复语音交流能力

北京时间今天凌晨,美国加州大学旧金山分校和伯克利分校医工结合团队在《新英格兰医学杂志》(NEJM)发表研究论文,介绍了他们利用脑机接口和人工智能解析卒中后失语患者大脑信号、从而恢复其语言交流能力的黑科技。《NEJM医学前沿》邀请了中国科技大学附属第一医院神经内科和科大讯飞医疗公司研究院团队提供专业解读


失语瘫痪患者由于脑部疾病、物理外伤等原因损伤了脑部语言及其相关区域,语言功能产生障碍,仅能够发出极其有限的声音或模糊不清的语音。引起失语的常见原因有脑卒中、脑外伤、脑肿瘤、脑部炎症等疾病,其中以脑卒中最为常见(据报道,卒中后失语症占脑卒中人群的20%~40% [1]。)卒中后失语大多是大脑中动脉或大脑后动脉分支病变的结果,右利手患者一般伴右侧偏瘫,这就导致他们不仅不能开口说话,同时也很难借助写字、打字等手段进行表达与沟通。这为患者和照料者在生活质量的维持、心理健康的保障以及长期认知水平的发展等方面都带来相当不利的影响。


因此,人们一直在探索辅助与替代交流手段。例如,由于霍金而被人们所熟知的眼追踪设备(eyetracking computer systems,ETCS),可以利用眼球移动来控制光标点选文字,曾被认为是最有前途的高科技辅助与替代交流手段(high-tech augmentative and alternative communication,HT-AAC)之一。但该类设备容易受到光线环境、患者是否佩戴眼睛、是否存在眼部疾患以及身体姿势等因素的影响[2]。对于易合并眼肌麻痹、眼球震颤的卒中后失语症患者,甚至是合并白内障的老年患者,均存在使用限制。



随着生物电信号及计算机领域的发展与结合,越来越多的目光投向了人机脑接口技术(brain computer interfaces,BCI),BCI也因此成为了一个新型HT-AAC的发展方向。BCI的通常实现方法是通过脑电图监测患者在对电脑屏幕上闪烁的文字或符号进行选定或确认时出现的特殊电位,完成打字。这种方式选择出的信息准确性被证实能达到70%~90%。但在效率上,由于需要逐个字母进行选择,拼写速度仅能达到每分钟0.2~5个单词 [3,4],难以实现有效交流。相比之下,直接通过BCI从控制语言的大脑区域解码整个单词,在实现更直接更有效的交流方面更具潜力。


北京时间2021年7月15日发表在《新英格兰医学杂志》(NEJM)的研究[5]从控制语言的大脑区域解码整个单词的方向着手,对恢复失语瘫痪者的语音交流能力进行了探索。作者采用时间卷积方法对神经活动产生的时间序列样本进行处理[6],通过双向GRU网络对时间序列样本进行单词分类预测。作者对训练过程中的损失函数进行了改进,加大了对高频单词的分类权重,以牺牲低频单词的分类准确率为代价换取整体的单词识别准确率。另外,为了预测试验者在句子任务中试图产生的单词,作者实现了一个具有隐马尔可夫模型结构的维特比解码算法。


论文研究数据显示,当患者试图产生单个单词时,其中98%的尝试都被该设备检测到。而该方法对于单个单词的预测准确率为47.1%。尽管未采用近来热门的深度学习模型[7],但对于句子的预测,在使用了语言模型的情况下,该方法可实时解码试验者大脑皮层活动中的句子,平均每分钟15.2个单词,平均错误率为25.6%。


虽然该研究的词正确率和句正确率均不高,但更重要的是论文所揭示的研究方向。该论文探索了直接从控制语言的大脑区域解码整个单词的方向,患者的输入速度相比之前有了成倍的提升。由于许多人机脑接口程序的解码模型需要以天为计的校准[3,8],而该研究通过收集大量的大脑皮层电描信号与相应句子的训练数据,不需每日校准,具有更好的应用前景。


当然,这项技术在临床研究或患者预后管理实践中的应用也有局限性。首先,信号采集装置需要通过开颅手术完成植入,长期植入后设备及信号的稳定性缺乏数据。其次,当失语症患者合并有理解力或认知力下降的困扰时,语音解码技术并不具备优势。最后,在人工智能技术方面,由于该研究只针对50个单词进行分类,不仅与实际交流使用的数千词汇量相差较大,而且未给出随着单词数量的增加,对应的性能变化趋势。因此该方法能否在实际应用中发挥出作用,还有待进一步验证分析。除此之外,在进行句子或单个单词预测的过程中,如果可以将对试验者提问的信息加入到单个单词或句子预测过程中,相信会带来一定的性能增益。


总体来说,人机脑接口及语音解码技术的出现,对于失语症患者及其照料者而言无疑是新的希望和曙光,尤其是对于包括眼肌在内重度瘫痪的患者。但新技术从出现到具有普适性而真正落地,仍然是一个漫长的过程,还需要大样本研究及大量数据的获取和分析。而开发廉价的硬件和软件,使其易于适应多种访问模式,并根据患者的个人需求进行定制,最终保障每个个体的自主性、自决性和最基本的生活质量,直至生命的终末,应该是一个终极目标。

展开阅读全文

页面更新:2024-04-20

标签:新英格兰   语音   患者   信号   失语症   技术   人工智能   脑部   人机   句子   单词   大脑   模型   接口   能力

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top