1/2
会听话、能导盲,还能识别红绿灯 上海交大研发6足导盲机器狗助力改善视障人士生活
新民网2024-05-28 15:16:00

根据中国盲协相关数据,我国约有1731万视障人士,这意味着每一百人中就至少有一位视障者。他们对物体、方向、位置感知比较差,出行中还可能面临盲道走不通、电梯没有语音提示等诸多不便。视障群体想要参加演唱会、逛街、逛公园,参加各种体育活动,感受生活的丰富多彩,这些往往都需要陪同与帮助。

图说:上海交大高峰教授团队研发“六条腿”导盲机器人 来源/新民晚报记者 陶磊 摄(下同)

导盲犬作为盲人出行、参与社会生活的重要伴侣,展现出其不可或缺的温暖力量。但是,和庞大的视障人士数量对比,全国现役导盲犬数量仅四百多只,四万多视障人士才配有一只导盲犬。不仅如此,导盲犬的培育还需要极高的培训成本和很长的训练周期,我国千万余名视障人士的需求难以满足。在刚刚过去的由中国残联主办的“科技助残共享美好生活”展会上,上海交通大学机械与动力工程学院高峰教授团队研发的一款“六条腿”导盲机器人吸引了众多人的目光,该款机器人具有视觉环境感知功能,可自主导航至目的地、动态躲避障碍、识别红绿灯等,通过后台建立完整的互联网服务体系,导盲机器人还可以实现居家陪护、应急处理,带领盲人抵达更多地方等功能。该款机器人通过批量化生产、人工智能辅助可有效降低成本、提升智能,解决导盲犬数量短缺的问题。

人机交互让机器导盲犬能沟通

和盲人建立有效沟通,让导盲机器人理解使用者意图同时维持机器人自身动作协调是导盲机器人的首要任务。

高峰教授团队在导盲机器人上集成了听觉、触觉和力觉三种交互方式,实现盲人与导盲六足机器人之间的人机智能感知与顺应性行为。机器人可根据盲人的语音指令,基于深度学习端到端语音识别模型理解语义信息,快速响应、准确识别,目前语音识别准确率为90%以上,响应速度在1秒之内。机器人可通过语音下发指令,如:启动、停止、设定目的地、加速、减速等;同时机器人实时反馈行走和环境状况等信息,实现双向智能交互。

同时,盲杖可以实现盲人与导盲机器人之间的力觉交互,向盲人提供牵引力和转向力矩,引导盲人前进和转向,盲人还可以推拉盲杖来动态调整机器人的行走速度。

人机交互与机器人自律协同控制是机器人融合感知信息、任务需求、人机交互的指令,利用逻辑推理、自律决策实现智能导盲作业行为。高峰教授团队基于导盲机器人的动力学模型,构建层级递进式外力估计、触地检测、坡度估计、运动状态估计模型算法,融合机器人关节、惯性导航、行为节律、历史状态等多源信息,进行多目标集成的状态观测和反馈优化的平衡控制,已经能够实现导盲机器人在各类地形场景中自律协同控制效果。

六条腿更稳更灵活

四条腿的机器狗很多,为何上海交大研发的机器导盲犬需要六条腿?“盲人牵引导盲犬会产生推拉力,六足机器人跳动低,三足同时落地,能够更稳更灵活。”高峰教授说。目前机器人最大速度达3米/秒,能够满足盲人慢走、快走、跑步等出行需求,且六足的独特构型优势确保机器人可以低噪声稳定行走。

此外,导盲机器人在复杂地形行走需要更高的自主规划能力,这类自主规划功能通常包含地面信息的获取和建模、定位导航、落脚点的选择、身体位姿规划以及连续运动的规划等。

定位精准是导盲任务的核心要求之一,高峰教授团队通过多传感器数据紧耦合方式,建立了雷达-惯性里程计系统,通过滑动窗口法耦合历史帧数据,大幅减少点云运动畸变,并设计了多维度的状态残差,显著提高了系统状态估计的精度和鲁棒性,实现了三维环境地图的精准建立与机器人自身的精准定位。“只要走过一遍,不用导航,它就能记住路线。”

导盲犬只能看见黑白的世界,无法识别红绿灯,但是这些问题对机器导盲犬来说却不在话下。团队基于全局环境地图和实时感知的局部动态地图,采用模型预测和实时滚动优化方法实现机器人的路径规划和自主避障,敏捷自主躲避静态和动态障碍物,保障导盲任务的安全性。根据室内导航任务需求,团队制定了室内场景的多层导航策略,构建层次拓扑地图实现室内全局路径规划;针对室外场景,基于环境地图结合GPS信息进行多传感器融合,大幅提高定位与导航精度。团队还利用深度相机,通过深度学习和数字图像处理技术实现对交通信号的辨别,保障出行安全。

团队基于地形变化信息和机器人稳定性与运动性的协调,可实现各类地形下机器人的步态规划和平滑切换。针对台阶、楼梯等典型地形环境,采用多约束优化算法规划机器人稳定行走步态;通过采集机器人腿部足端力觉信息,使用机器学习方法来实时辨识足-地接触模型,实现机器人对不同地形的自适应动态敏捷柔顺行走。

导盲机器人走向千家万户

高峰教授团队研发制成的导盲机器人已进入实地测试阶段。在整个研究推进过程中,由视障人士参与线下展示与功能测试,未来团队也将根据视障人士的实时反馈,对机器人持续研发、调试。导盲机器人的实际应用,不单单是机器人本身的应用,还需要后台大数据的支持,需要强大的运维团队的支持以及一系列推广普及的测试。

据了解,团队还与索辰科技密切合作,面向导盲机器人需求,开展商业化推广。上海交通大学负责基础理论研究和关键技术攻关,索辰科技负责产品工程化以及产业化运维和推广,双方共同努力,并借助社会力量,加快导盲六足机器人的落地使用,为改善我国视障人士生活贡献一份力量。“已收到首批20台订单下月签约,相信很快就能推向市场。”

新民晚报记者 易蓉

知识产权、免责声明以及媒体合作联系
继续了解
知识产权声明

【知识产权声明】

除本司(指上海东方网股份有限公司)另行声明外,本司网页及客户端产品(以下简称“本网”),包括但不限于东方新闻、翱翔、东方头条等,所涉及的任何资料(包括但不限于文字、图标、图片、照片、音频、视频、图表、色彩组合、版面设计、商标、商号、域名等)的知识产权均属本司和资料提供者所有。未经本司书面许可,任何人不得复制、转载、摘编、修改、链接、镜像或以其他任何方式非法使用东方网的上述内容。对于有上述行为者,本司将保留追究其法律责任的权利。

东方网、东方新闻、翱翔,以上均为本司享有权利之合法商标,未经本司书面授权,任何单位或个人不得使用上述商标,或将上述商标用作网站、媒体名称等。

【免责声明】

1、凡本网注明来源“东方网”或“东方新闻”或带有东方网LOGO、水印的所有内容,包括但不限于文字、图片、音频视频,版权均属本司所有,任何媒体、网站或其他任何形式的法律实体和个人未经本司书面授权均不得转载、链接或以其他方式复制传播。与我司签订有关协议或已经获得本司书面授权许可的媒体、网站或其他任何形式的法律实体和个人,应在授权范围内使用,且必须注明来源“东方网”。其目的在于传递更多信息,并不意味着本司赞同其观点或认可其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须保留本司注明的“稿件来源”,并自负全部法律责任。如擅自篡改为“稿件来源:东方网”,本司将依法追究责任。

2、擅自使用东方网名义转载不规范来源的信息、版权不明的资讯,或盗用东方网名义发布信息,设立媒体账号等,本司将依法追究其法律责任。

3、鉴于本网发布主体、发布稿件来源广泛,数量较多,如因作者联系方式不详或其他原因未能及时与著作权拥有者取得联系,或著作权人发现本网转载了其拥有著作权的作品时,请主动来函、来电与本司联系,或与本司授权的中国文字著作权协会联系,提供相关证明材料,我方将及时处理。
中国文字著作权协会联系方式:
联系人:赵洪波 唐亚静
地 址:北京西城区珠市口西大街120号太丰惠中大厦1027-1036室
联系电话:010-65978917
邮 箱:wenzhuxie@126.com

4、本网所有声明以及其修改权、更新权及最终解释权均属本司所有。

【媒体合作】

本司为尊重保护著作权,鼓励有益于社会主义精神文明、物质文明建设的作品的创作和传播,促进互联网良性发展,本着平等互惠、资源共享的原则,诚邀各类媒体、网站、单位、个人与本网建立友好的合作关系。
媒体合作、内容转载请联系
联系人:杨老师
联系电话:021-22899781