干细胞之家 - 中国干细胞行业门户第一站

标题: Nat Neurosci：脑机接口实现言语+手势同步解码，复刻人类自然对话 [打印本页]

作者: yinfuhua 时间: 昨天 23:00 标题: Nat Neurosci：脑机接口实现言语+手势同步解码，复刻人类自然对话

告别单一文字输出！Nat Neurosci：脑机接口实现言语+手势同步解码，复刻人类自然对话2 t: S  K, }  I6 `. E
来源：生物谷原创 2026-10-05 12:115 J% d! X7 Y5 i
一个科学团队已经证明，一种新的脑机接口（BCI）能够使声道和身体瘫痪的人同时传达言语和上半身手势。虽然 BCI 过去已经促进了其中一种或另一种，但这个新系统是第一个能够同时实现两种交流模式的系统，从而
来自加州大学旧金山分校的科研团队完成了一项概念验证研究，证明新一代脑机接口（BCI）可以帮助声道与躯体严重瘫痪的人群，同时输出言语意图与上肢手势。过往脑机接口大多只能单独实现言语解码或者手势控制，而这套新系统首次利用单套植入设备同时还原两种交流模式，向贴近人类真实的自然表达迈出关键一步，相关成果发表于《Nature Neuroscience》。
[attach]151425[/attach]
“对话远远不止说出的词语，它是一套多层次、动态的过程，会调动整个运动皮层参与其中。” 该研究通讯作者、加州大学旧金山分校神经外科 Edward Chang 教授这样评价这项工作，“这一概念验证结果向我们证明，脑机接口有机会帮助瘫痪患者重新夺回一部分交流的自由度与表达灵活性。”
肌萎缩侧索硬化症（ALS）或者脑干卒中会造成严重的躯体与声道瘫痪，患者既失去说话能力，也无法做出挥手、比划等肢体非语言动作。目前临床主流辅助交流手段以眼动追踪系统为主，虽然可以实现眼控打字转语音，但输出速度缓慢，表达方式局限，长时间使用还会带来眼部疲劳，难以还原现实对话里手势配合语言的丰富表现力。% P1 H* e% L! }6 W
Chang 的团队一直致力于开发更贴近人类本能的交流解决方案，在之前的研究中，他们已经把薄片状高密度皮层脑电图（ECoG）阵列植入患者运动皮层上方，依靠机器学习解码器，把大脑神经信号转化指令，实现虚拟头像面部表情与言语的控制。
在这项新研究当中，研究者继续使用这套 ECoG 植入阵列，拓展对上半身手势的解码能力，让受试者可以操控全身个性化虚拟化身开展交互。研究一共纳入 3 名存在不同程度声道、肢体瘫痪的受试者，在实验过程中，受试者被要求尝试说出指定短语，或是做出挥手、竖大拇指这类常见手势，任务包含单独做言语想象、单独做手势想象，以及言语和手势同步想象三种场景。
过去脑机接口分别解码言语、手势的时候就发现，当使用者同时想象两种行为，两种神经信号会互相干扰，降低解码准确度。学界原本猜测，同步言语手势产生的脑活动，仅仅是两类独立信号简单叠加，但本研究的实验数据揭示真实情况更为复杂，同步想象任务产生的神经活动模式，并不能简单等同于单独言语、单独手势信号的相加，即便部分脑区存在神经激活重叠，同步任务的神经表征依旧具备独有的特征。
研究证实，如果机器学习解码器同时使用单独任务与同步任务的混合数据开展训练，对同步想象言语加手势的混合信号识别效果会得到明显提升；研究还引入跨模态训练策略，把 “只做言语”、“只做手势” 的任务样本作为另一类任务的 “休息对照样本”，以此大幅降低并行解码时的假阳性激活错误。
在 3 名受试者中，有 2 名可以依靠这套并行解码器，实时驱动全身虚拟化身，化身既能够把解码出的言语意图展示成屏幕文字，又同步播放对应手势动画，甚至可以完成一问一答形式的虚拟对话交互。- U3 J" S4 _; X1 L1 \
[attach]151426[/attach]
美国国立卫生研究院（NIH）下属国家耳聋及其他沟通障碍研究所（NIDCD）主任 Debara Tucci 博士评价：“这些充满前景的结果让我满怀期待，希望未来重度瘫痪的患者可以重新拥有完整的人类交流体验。” 需要客观看到，目前这套原型设备依旧是有线连接架构，植入的 ECoG 阵列需要通过外接线缆连接外部计算单元。6 v4 d3 E; i- ]  T# D( y! g
Chang 团队透露，下一步会推进完全植入式无线版本的研发，进一步提升系统长期实际使用价值。同时这项工作还存在明显局限，它属于小样本概念验证试验，实验采用的词汇、手势库规模有限，部分受试者中途退出，距离大规模临床落地，还需要更大规模队列验证，拓展更大的词库集合，持续优化解码算法，评估系统长期使用的稳定性。  R& c# {, @8 N2 q8 M$ S% {
尽管如此，该研究证明单套皮层植入设备可以捕获言语口面部运动和上肢手势的神经信号，为多模态脑机接口恢复人类完整自然交流开辟了可行道路。（生物谷Bioon.com）3 {2 U5 a6 e3 B0 A  S/ j- S/ l
参考文献：) |& u' b% r# M6 A) ?; e( ^6 ^1 n
Samantha C. Brosler et al, Simultaneous speech and gesture decoding for multimodal communication in paralysis, Nature Neuroscience (2026). DOI: 10.1038/s41593-026-02446-2.

欢迎光临干细胞之家 - 中国干细胞行业门户第一站 (http://www.stemcell8.cn/)