1/0
清华大学团队研发出新颖唇语解读系统
光明日报2022-03-26 02:54:00

清华大学团队研发出新颖唇语解读系统

【科技前沿】

本报北京3月25日电(记者邓晖)人说话时嘴唇动作跟语音同步,可以通过识别唇动来进行语言交流。对于声带、喉舌损伤的失声人群,唇语是一种不占用双手的、日常无障碍交流的有效方式。但唇语对讲话者友好,对解读唇语的听众来说却并不轻松。为降低唇语解读难度,现有技术手段常采用磁场、视觉图像、超声波等方法。以最流行的非接触式视觉图像方法为例,尽管其唇语识别准确率较高,但依然容易受到面部角度、光强、头动和遮挡等因素的干扰。特别是在新冠肺炎疫情期间,佩戴口罩给基于视觉的唇动解读带来全新挑战。通过直接捕捉面部肌肉细微动作解读唇语技术具有重要的科学研究价值与广阔的应用前景。

近日,清华大学机械工程系智能与生物机械团队与中科院北京纳米能源与系统研究所团队合作,研发出了一种新颖的唇语解读系统。相关研究成果在线发表在《自然·通讯》期刊上。

该系统包含低成本、自供电的柔性摩擦电传感器和基于原型学习的深度学习模型。传感器将唇部肌肉运动产生的电信号传输到解码系统,翻译成可沟通的语言。该研究测试分析了传感器的机械与电气性能,采集并提取了选定元音、单词、短语、无声语音和发声语音的唇动信号特征。通过比较同步采集的唇动和声音信号,证明了无论是否发声,嘴唇运动信号都具有一致性。进一步分析了语速与唇动模式等不同参数对信号特征的影响规律。提出了一种基于原型学习的空洞循环神经网络模型,用于唇动信号的识别,在20个分类(100样本/类)情况下,测试准确率达到94.5%。

值得注意的是,上述自供电传感器由柔性聚合物薄膜与柔性电极组成,可提高人体佩戴的舒适性。研究团队利用该系统进行了多种场景应用展示,如解锁大门的身份识别、移动模型车的方向控制、唇动/语音的实时转换等,展示了该系统在唇动识别领域的可行性和应用潜力。

面向失声人群日常无障碍沟通需求,该工作为特殊场景下唇语翻译应用开拓了创新的研究方向。此外,该工作在机器人控制、个人身份验证、人机界面、残疾辅助、无声语音、情报、反恐任务实施、康复、生物医学工程和虚拟现实等诸多领域中都具有较大的潜在应用价值。

团队相关负责人表示,尽管该工作已展示了该技术的有效性和应用前景,但仍然面临系统可靠性、稳定性等问题。研究团队相信,随着研究的深入,该技术有望切实为失声人群服务,提供无障碍语言交流的科技手段。

知识产权、免责声明以及媒体合作联系
继续了解
知识产权声明

【知识产权声明】

除本司(指上海东方网股份有限公司)另行声明外,本司网页及客户端产品(以下简称“本网”),包括但不限于东方新闻、翱翔、东方头条等,所涉及的任何资料(包括但不限于文字、图标、图片、照片、音频、视频、图表、色彩组合、版面设计、商标、商号、域名等)的知识产权均属本司和资料提供者所有。未经本司书面许可,任何人不得复制、转载、摘编、修改、链接、镜像或以其他任何方式非法使用东方网的上述内容。对于有上述行为者,本司将保留追究其法律责任的权利。

东方网、东方新闻、翱翔,以上均为本司享有权利之合法商标,未经本司书面授权,任何单位或个人不得使用上述商标,或将上述商标用作网站、媒体名称等。

【免责声明】

1、凡本网注明来源“东方网”或“东方新闻”或带有东方网LOGO、水印的所有内容,包括但不限于文字、图片、音频视频,版权均属本司所有,任何媒体、网站或其他任何形式的法律实体和个人未经本司书面授权均不得转载、链接或以其他方式复制传播。与我司签订有关协议或已经获得本司书面授权许可的媒体、网站或其他任何形式的法律实体和个人,应在授权范围内使用,且必须注明来源“东方网”。其目的在于传递更多信息,并不意味着本司赞同其观点或认可其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须保留本司注明的“稿件来源”,并自负全部法律责任。如擅自篡改为“稿件来源:东方网”,本司将依法追究责任。

2、擅自使用东方网名义转载不规范来源的信息、版权不明的资讯,或盗用东方网名义发布信息,设立媒体账号等,本司将依法追究其法律责任。

3、鉴于本网发布主体、发布稿件来源广泛,数量较多,如因作者联系方式不详或其他原因未能及时与著作权拥有者取得联系,或著作权人发现本网转载了其拥有著作权的作品时,请主动来函、来电与本司联系,或与本司授权的中国文字著作权协会联系,提供相关证明材料,我方将及时处理。
中国文字著作权协会联系方式:
联系人:赵洪波 唐亚静
地 址:北京西城区珠市口西大街120号太丰惠中大厦1027-1036室
联系电话:010-65978917
邮 箱:wenzhuxie@126.com

4、本网所有声明以及其修改权、更新权及最终解释权均属本司所有。

【媒体合作】

本司为尊重保护著作权,鼓励有益于社会主义精神文明、物质文明建设的作品的创作和传播,促进互联网良性发展,本着平等互惠、资源共享的原则,诚邀各类媒体、网站、单位、个人与本网建立友好的合作关系。
媒体合作、内容转载请联系
联系人:杨老师
联系电话:021-22899781