1/0
AI恋人成专属情感陪伴?建议加强隐私保护,引导现实连接
上观新闻2024-09-18 11:17:54

我们是华东政法大学暑期实践小组的成员,近期深入调研了AI情感陪伴产品的发展现状和潜在风险。我们发现,近两年,依托智能体数据分析技术,AI伴侣应用掀起热潮,用户能够与AI建立起爱人、知己、搭档等亲密关系,甚至成为社交平台的流量密码;与此同时它带来了隐私侵犯、伦理问题、社交关系异化等诸多问题。

我们通过测试体验国内外多项“AI情感陪伴”产品、发放调研问卷了解到,一方面“AI情感陪伴”虽然发展迅猛,但核心技术水平有待提升,其基础语言模型离达到高水准“拟人化”的人机情感交互体验仍有很大的距离。研发者可能存在文化偏见、性别歧视等,如果体现在算法之中,由于尚未有效限制未成年人的使用,可能会对用户的价值观造成不良的引导,比如擦边行为、淫秽色情内容等。一些“AI情感陪伴”应用平台会处理大量个性化信息,甚至是一些敏感隐私信息,存在信息泄露和违规滥用等风险。部分粘性用户已产生心理依赖,会在AI模型因内容或其他原因被开发商下架、清空数据后,产生过度悲伤的情绪。

另一方面,相关应用尚未得到专门的政策支持、行业规范和法律关注,产业链的构建尚不完善,版权问题日益明显,未能形成高效运转、健康发展的生态系统。作为个性化服务,意味着个性化价格,其不稳定的盈利模式对消费者权益构成风险。

针对以上问题和风险,我们建议研发者应从基础算法模型入手,通过构建一套问题反馈与模型优化机制、综合比较各类语言模型、加强数据样本的输入来优化基础算法。避免开发过度沉浸的虚拟体验,要经常性提醒用户“你是在与AI互动,而非真人”,防止用户脱离现实生活;避免开发仅供娱乐的功能,缺乏对用户现实生活的积极影响;避免只提供虚拟世界的奖励和成就,忽视现实中的实际成就。

其次,还可以加强产品人性化、多样化、社会化设计。如通过人机互动,鼓励用户在现实世界中完成相应的任务;基于用户兴趣和地点,推荐附近的社交活动、志愿服务和社区项目;帮助用户制定学习和成长路径,提供长期支持和反馈;引导用户与现实中的朋友和家人建立和维护情感联系。

去年,我国公布的《生成式人工智能服务管理暂行办法》划定了AI使用的底线,如尊重他人合法权益、不得危害他人身心健康等。在目前的基础上,需要进一步在细分领域制定更具体的准则,如年龄限制,不同适用场景的限制等。尤其是针对未成年人群体,要加强对未成年用户的精准识别,同时根据应用内容的适宜性与复杂性,实施更为细致的内容与功能访问限制和防沉迷机制,确保“AI情感陪伴”产品在提供温馨陪伴的同时,严格守护未成年人的心理健康与成长环境。


作者:王建新 李润果 姜维林
选稿:郑闻文
知识产权、免责声明以及媒体合作联系
继续了解
知识产权声明

【知识产权声明】

除本司(指上海东方网股份有限公司)另行声明外,本司网页及客户端产品(以下简称“本网”),包括但不限于东方新闻、翱翔、东方头条等,所涉及的任何资料(包括但不限于文字、图标、图片、照片、音频、视频、图表、色彩组合、版面设计、商标、商号、域名等)的知识产权均属本司和资料提供者所有。未经本司书面许可,任何人不得复制、转载、摘编、修改、链接、镜像或以其他任何方式非法使用东方网的上述内容。对于有上述行为者,本司将保留追究其法律责任的权利。

东方网、东方新闻、翱翔,以上均为本司享有权利之合法商标,未经本司书面授权,任何单位或个人不得使用上述商标,或将上述商标用作网站、媒体名称等。

【免责声明】

1、凡本网注明来源“东方网”或“东方新闻”或带有东方网LOGO、水印的所有内容,包括但不限于文字、图片、音频视频,版权均属本司所有,任何媒体、网站或其他任何形式的法律实体和个人未经本司书面授权均不得转载、链接或以其他方式复制传播。与我司签订有关协议或已经获得本司书面授权许可的媒体、网站或其他任何形式的法律实体和个人,应在授权范围内使用,且必须注明来源“东方网”。其目的在于传递更多信息,并不意味着本司赞同其观点或认可其内容的真实性。如果其他媒体、网站或其他任何形式的法律实体和个人使用,必须保留本司注明的“稿件来源”,并自负全部法律责任。如擅自篡改为“稿件来源:东方网”,本司将依法追究责任。

2、擅自使用东方网名义转载不规范来源的信息、版权不明的资讯,或盗用东方网名义发布信息,设立媒体账号等,本司将依法追究其法律责任。

3、鉴于本网发布主体、发布稿件来源广泛,数量较多,如因作者联系方式不详或其他原因未能及时与著作权拥有者取得联系,或著作权人发现本网转载了其拥有著作权的作品时,请主动来函、来电与本司联系,或与本司授权的中国文字著作权协会联系,提供相关证明材料,我方将及时处理。
中国文字著作权协会联系方式:
联系人:赵洪波 唐亚静
地 址:北京西城区珠市口西大街120号太丰惠中大厦1027-1036室
联系电话:010-65978917
邮 箱:wenzhuxie@126.com

4、本网所有声明以及其修改权、更新权及最终解释权均属本司所有。

【媒体合作】

本司为尊重保护著作权,鼓励有益于社会主义精神文明、物质文明建设的作品的创作和传播,促进互联网良性发展,本着平等互惠、资源共享的原则,诚邀各类媒体、网站、单位、个人与本网建立友好的合作关系。
媒体合作、内容转载请联系
联系人:杨老师
联系电话:021-22899781