1/0
国内首个端到端语音大模型发布上线,能捕捉语气情绪做到“更懂人”|外滩大会
东方网2024-09-06 08:53:21

东方网记者柏可林9月5日报道:9月5日,在外滩大会“大模型的创造力边界与应用想象力”论坛上,大模型创业企业西湖心辰正式发布并上线国内首个端到端语音大模型“心辰Lingo”。

“心辰Lingo”实现了端到端语音技术,在处理对话时直接理解语音,捕捉语气、节奏和情绪,并进行语音回复,减少了信息处理过程中的损失,让“机器”更懂人。作为国内首个端到端语音大模型,它开创了人机交互新方式。

全球权威咨询机构IDC分析预测,到2030年,全球智能语音服务市场的价值将达到约731.6亿美元,年复合增长率预计将达27%。全球范围内的科技公司都敏锐地捕捉到了这一领域的增长潜力,纷纷投身智能语音技术的开发,一场全新的人机交互革命正在被点燃。

“心辰Lingo能捕捉到语音中的细微变化,不仅能理解你说了什么,还能理解更想表达什么,真正做到了为AI赋予‘高情商’,使其能够精准洞察言外之意。这也是西湖心辰作为持续深耕大模型情商能力又一个重要技术突破。”西湖心辰CEO醒辰在发布会现场表示。

据介绍,心辰Lingo语音大模型的能力在多个领域和中文上进行增强,使得心辰Lingo的中文语音效果,相较GPT4o更为出色。主要有三个技术特征。

一是原生的语音理解。作为端到端模型,心辰Lingo不仅能够识别语音中的文字信息,还能精确捕捉其他重要特征,如情感、语气、音调,甚至环境音,更全面地理解语音内容,从而提供更加自然和生动的交互体验。

二是多种语音风格表达。心辰Lingo可以根据上下文和用户指令,自适应调整语音的速度、高低、噪声强度,并能够生成对话、歌唱、相声等多种风格的语音响应,有效提升了模型在不同应用场景下的灵活性和适应性。

三是语音模态超级压缩。心辰Lingo采用具有数百倍压缩率的语音编解码器,能够将语音压缩至极短的长度,在显著降低计算和存储成本的同时帮助模型生成高质量语音内容。

心辰Lingo开放内测预约不到10天,已经有超千家企业用户预约测试,包括了教育、金融、医疗健康、政府与公共服务、媒体与娱乐、零售与商业服务、制造与工程等八大行业,数十个实际使用场景。

在心理健康咨询场景下,某医院拟运用心辰Lingo的语音技术提供患者心理咨询和干预,通过AI智能对话系统,为患者提供情绪支持,帮助他们应对疾病带来的心理压力;在客户服务与支持场景下,某知名产险企业,希望利用心辰Lingo的语音技术进行客户服务和外呼,针对退保挽留和续保挽留等自动外呼场景,通过智能语音系统提高服务效率和客户满意度。此外,陪伴领域还涌现出一系列个性化需求,如游戏语音陪伴、社交辅助助手、语音母婴看护等,这些需求的多样性和创新性为心辰Lingo提供了广阔的应用前景。

发布现场,醒辰透露,西湖心辰即将在10月份发布基于心辰Lingo进行领域深度训练的儿童陪伴、心理疏导、 销售服务3大垂类语音模型,与更多行业领袖携手,共同推动AI技术的创新和应用,开启智能服务的新篇章。

西湖心辰是一家致力于人工智能多模态大模型技术研究及产业化应用的创新企业,背靠中国新型研究性大学“西湖大学”。外滩大会期间,西湖心辰创始人蓝振忠还获得了首届蚂蚁InTech科技奖。目前,西湖心辰已获得汤姆猫、蓝驰创投、凯泰资本、百度风投、西湖科创投,西湖教育基金会可持续发展平台等知名机构数千万美金投资。

作者:柏可林
选稿:曾炟
知识产权、免责声明以及媒体合作联系
继续了解
知识产权声明

【知识产权声明】

除本司(指上海东方网股份有限公司)另行声明外,本司网页及客户端产品(以下简称“本网”),包括但不限于东方新闻、翱翔、东方头条等,所涉及的任何资料(包括但不限于文字、图标、图片、照片、音频、视频、图表、色彩组合、版面设计、商标、商号、域名等)的知识产权均属本司和资料提供者所有。未经本司书面许可,任何人不得复制、转载、摘编、修改、链接、镜像或以其他任何方式非法使用东方网的上述内容。对于有上述行为者,本司将保留追究其法律责任的权利。

东方网、东方新闻、翱翔,以上均为本司享有权利之合法商标,未经本司书面授权,任何单位或个人不得使用上述商标,或将上述商标用作网站、媒体名称等。

【免责声明】

1、凡本网注明来源“东方网”或“东方新闻”或带有东方网LOGO、水印的所有内容,包括但不限于文字、图片、音频视频,版权均属本司所有,任何媒体、网站或其他任何形式的法律实体和个人未经本司书面授权均不得转载、链接或以其他方式复制传播。与我司签订有关协议或已经获得本司书面授权许可的媒体、网站或其他任何形式的法律实体和个人,应在授权范围内使用,且必须注明来源“东方网”。其目的在于传递更多信息,并不意味着本司赞同其观点或认可其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须保留本司注明的“稿件来源”,并自负全部法律责任。如擅自篡改为“稿件来源:东方网”,本司将依法追究责任。

2、擅自使用东方网名义转载不规范来源的信息、版权不明的资讯,或盗用东方网名义发布信息,设立媒体账号等,本司将依法追究其法律责任。

3、鉴于本网发布主体、发布稿件来源广泛,数量较多,如因作者联系方式不详或其他原因未能及时与著作权拥有者取得联系,或著作权人发现本网转载了其拥有著作权的作品时,请主动来函、来电与本司联系,或与本司授权的中国文字著作权协会联系,提供相关证明材料,我方将及时处理。
中国文字著作权协会联系方式:
联系人:赵洪波 唐亚静
地 址:北京西城区珠市口西大街120号太丰惠中大厦1027-1036室
联系电话:010-65978917
邮 箱:wenzhuxie@126.com

4、本网所有声明以及其修改权、更新权及最终解释权均属本司所有。

【媒体合作】

本司为尊重保护著作权,鼓励有益于社会主义精神文明、物质文明建设的作品的创作和传播,促进互联网良性发展,本着平等互惠、资源共享的原则,诚邀各类媒体、网站、单位、个人与本网建立友好的合作关系。
媒体合作、内容转载请联系
联系人:杨老师
联系电话:021-22899781