近日,来自天津大学神经工程团队的两名“95后”同学,用脑电波写出了“福”字。他们告诉总台央广中国之声记者,这个“福”字是通过团队自主研制的“哪吒”多脑协控智臂系统,由两人的脑电波共同操作智能机械臂书写。这项技术还可以给哪些应用领域添“福”添彩?
“95后”大学生用脑电波写“福”字
未来将推出楷书、行书版本
在天津大学神经工程团队的实验室里,“95后”刘洋、罗睿心戴好“哪吒”多脑协控智臂布满电极的脑电采集帽,面对屏幕上的视图书写板,将注意力集中在构字笔画上。在没有任何外界辅助,仅靠脑电控制的情况下,两人通过“哪吒”系统齐“心”协力,在三分钟内,让机械臂一笔一画地写出一个“福”字。
天津大学神经工程团队研一学生刘洋介绍,“书写前,眼睛要盯着屏幕上的视图书写板,它会采集实时脑电信号,然后经过处理后传给机械臂。首先要确定这个字笔画的起点和终点,然后连线写出一笔。如果没有经过训练,这个字写出来可能不会很工整。”
据了解,相比于2019年研发的第一代单人脑控智能机械臂系统,这套系统首次采用“脑脑”协同作业方式,其操控效率和信息传输速率相比于单人作业提升了一倍以上,同时将脑控视图空间分辨率提升,可以胜任更加精细复杂的任务。天津大学神经工程团队研一学生罗睿心说,团队通过多次试验,最终决定以任务负荷作为刺激编码策略的指征,这样分工两个人的工作量基本相当,速度也最快。为了最大程度优化效率,两人共同书写一个福字,并非按照福字的左右结构分工。
罗睿心:之前是用单人书写的脑控机械臂,今年采用双人合作方式,两人协同完成同一任务,我们就得考虑需求是否冲突,同时还要提高效率。确定分工后,我们把“福”字按笔画拆解,分为很多部分。一个人负责书写福字的偏旁和右边的口字,另一个人负责书写福字右上的横和下面的田字,这样两人的工作量基本相当,也是效率最快的一种方式。
罗睿心告诉总台央广中国之声记者,由于机械臂在执行指令时需要时间,目前写一个福字需要3分钟,未来会继续优化效率。
罗睿心:我们现在已经能够实现对于脑电波的实时解码了,它识别脑电的速度非常快,当我们将指令传输给机械臂时,机械臂书写需要时间,加起来是三分钟。
用“意念”写字,听起来就充满科幻色彩。在牛年到来之际,刘洋和罗睿心在团队的帮助下,写下了年味十足的“牛”字和“福”字。尽管目前机械臂写出的字还无法达到书法等级,不过刘洋认为,未来很快能看到机械臂写出楷书、行书。
为了实现“多脑控一臂”的操控,团队设计了“哪吒”特定的作业分配和刺激编码策略。以书写为例,“哪吒”智能机械臂可以将多维脑控视图指令映射转化为统一的6D空间坐标。团队成员介绍,寻常写字相当于自己的大脑控制自己的手,而多脑协控智臂系统,则是多个人的大脑控制机械的手,难度可想而知。
据了解,天津大学将这些特别的“福”字作为学校官方微博的抽奖奖品,还会在除夕夜年夜饭活动中把“福”分给留在学校过年的同学。
脑机交互系统将可用于
航空航天、医疗康复领域
天津脑科学中心主任助理、天津大学神经工程团队许敏鹏老师在接受媒体采访时表示,未来的脑机交互系统也许会彻底颠覆现有的人机交互方式。“人与人的交流不仅停留在语音或文字,还可能通过心灵进行沟通。”
刘洋介绍,“哪吒”系统高性能脑—机接口技术未来可能会广泛应用于医疗康复等领域。
刘洋:除了写字,它还可以帮助残障人士,应用在医疗康复领域。肢体行动受限的患者,“哪吒”系统可以为他们提供“第三只手”,助他们一臂之力。
近期,天津大学团队还开发了脑控无人机系统,首次实现了单人对无人机自由度的连续控制。除此之外,多脑协控系统还可能被应用在航空航天等领域。
罗睿心:多脑协同是未来发展的趋势。比如宇航员在太空中行动,其实非常不方便,许多工作也是不方便完成的。如果多脑协控系统可以成为宇航员的“第三只手”,他们就可以用配合协同的方式去完成复杂的工作。