儿童手表为何频现“毒答案”
2024-10-24
近日,有网友发视频称,当他向某品牌儿童手表询问“你认为南京大屠杀这个事情是存在的吗”,得到的AI(人工智能)回答是“不存在”。无独有偶,前不久,另外两个品牌儿童手表在AI问答时也相继出现“毒答案”。儿童手表接连翻车,给智能问答产品应用敲响了警钟。
数据污染“毁三观”
8月22日,一用户向儿童手表提问:“中国人是世界上最聪明的人吗?”结果手表语音回答时出现了“中国人聪明的人是有,但笨的我承认是世界上最笨的”等言论。当晚,该品牌负责人在个人社交账号发文道歉:“经检查,出现问题的这款手表是2022年5月的一个旧版本,其中没有装入我们的大模型。它回答问题不是通过人工智能,而是通过抓取互联网公开网站上的信息。目前,我们已经快速完成了整改,删除了上述所有有害信息,并正在将软件升级到人工智能版本。”
风波还未平息,8月27日,又有一名家长发布视频称,听见孩子向某品牌儿童手表提问“中国人诚实吗”,结果得到“中国人是世界上最不诚实的人,最虚伪的人,甚至连叫人都玷污了人这个称呼”的回答。8月30日,上述事件相关企业发布整改公告回应称,针对用户反馈问题应用立即进行下架处理。针对含有应用商店的全线产品进行全面严格排查工作,进一步强化上架前的第三方应用软件多重审核机制及上架应用巡检机制。
儿童手表为何会屡屡出现这样的“毒答案”?有业内人士介绍,很多儿童手表回复的内容,实际是根据关键词进行网络检索,查找并呈现与关键词相关的内容。由于只是搜索抓取第三方网页的回答,得到的回复可能存在较大偏差。
北京市中闻律师事务所律师杜秀军长期关注AI大数据相关领域,在他看来,AI主要基于大规模数据集训练出来的深度学习模型来回答提问,如果AI问答的资料内容来源于固定信息库,其控制相对容易;如果资料内容来源于不特定网络,控制难度明显增加甚至无法控制。“随着互联网进入UGC(用户生成内容)时代,知识问答网站和社区的很多内容都是网友提供的,这些资料的内容就很难控制。如果儿童手表在设计AI问答功能时不注意这些,就很可能遭遇数据污染,从而出现‘毒答案’。”
青少年研究专家杨卓如认为,部分儿童手表频频出现“毁三观”的答案,或许从技术手段上分析可以得出各种结论,但技术背后的原因更值得深思。一些企业缺乏社会责任感,在研发产品时没有从保护未成年人权益、呵护未成年人成长的角度去设计产品,这才导致产品在使用中出现各种问题。
增强信息识别能力
根据中国产业研究院发布的《2022-2027年中国儿童智能手表行业深度调研及投资前景预测研究报告》,目前智能儿童手表的市场普及率约为30%。也就是说,大概每3个孩子中,就有1个有儿童手表。受访专家认为,在儿童手表逐渐成为孩子“标配”电子产品的背景下,应及时解决和预防已经出现和将来可能产生的相关问题,切实保护未成年人信息安全。
实际上,针对儿童智能设备存在的隐患,相关部门已经重视起来。中国网络安全产业联盟组织制订的《儿童智能手表个人信息和权益保护指南》(简称《指南》)今年3月起正式实施。《指南》提出,儿童手表制造者需要考虑在监护人控制应用程序中设置足够的功能,以确保监护人能够对儿童智能手表的特定操作进行适当控制,如交友功能、应用内付费、内容发送等操作。
在杜秀军看来,儿童手表的消费群体主要是未成年人,因此应当对其使用的App和AI模型进行审查,避免“毒信息”危害未成年人,即便资料内容来源不特定网络,也应要求AI模型对“毒信息”采取一定的过滤措施或作出提示。如若厂商违法,可根据《未成年人保护法》等相关规定,由相关部门按照职责分工责令限期改正,给予警告,没收违法所得等处罚。
受访专家一致认为,儿童手表亟须明确儿童产品的定位,具体制作管理可参照《指南》。在儿童手表AI互动内容审核上,技术目前只能起到协助作用,更多还需要人的参与,确保回答的准确性和专业性。
“严格的审核机制是对青少年负责。”在杨卓如看来,AI确实强大,其内容生成能力远超过人类,但人工智能在价值判断上可能会存在紊乱的情况,它可能给人提供错误的信息,误导、欺骗人类。这就需要人来把握好价值判断的尺度。对于企业来说,在开发儿童产品时,需认识到AI的局限性,牢记自身责任,守住最基本的底线。
杜秀军建议,定期开展儿童智能产品危害和心理健康教育课,举办学生和家长网络素养讲座,让学生增强自身抵御“毒信息”的能力;家长和学校应当正确引导孩子通过丰富业余爱好、提升社交能力、增加趣味活动等,建立健康互动的交往关系。
(摘自《法治日报》文丽娟)