AI 虚拟主播行业快速扩张的风险及应对

◎李碧珍 徐殿秀 胡良艳

AI虚拟主播是基于人工智能技术的虚拟人物， 背后集成了深度学习、 神经网络、 生成式对抗网络、 自然语言处理、 多模态建模、 语音合成、 计算机视觉等综合技术， 其在社交、 传播、 营销等领域的价值正在逐渐显现。 从用户生成内容 （UGC） 到专业生成内容 （PGC）， 再到现在的人工智能生成内容 （AIGC）， 内容创作方式正在经历巨大的变革和进步。 AIGC 技术为AI 虚拟主播赋予了更多的表现力和创造力， 推动AI 虚拟主播市场逐渐向商业、 新闻、 金融、 体育、 文艺、 智慧城市、 生活服务等领域拓展。 AI 虚拟主播能够通过计算机程序模拟出人类的外貌、 声音和行为， 实现自动化的主播功能， 可以在虚拟世界中进行主持、 播报新闻、 进行娱乐表演等活动，其形象和互动方式通常是基于虚拟现实和计算机生成的图像、 动画或真人演员的合成。 目前关于AI 虚拟主播的研究主要聚焦对信息技术本身的研究和技术发展给人们带来的福祉与影响的研究。福祉显而易见， AI 虚拟主播可以不知 “疲倦” 得24 小时不间断进行工作， 创作效率高、 响应速度快、 创作内容高度个性化且能够持续更新等。 但在给人类带来福祉的同时， 也带来了潜在风险和安全隐患。

一、 AI 虚拟主播行业快速扩张的潜在风险

目前， 国内外对AI 虚拟技术研发力度不断增大， 应用领域快速扩张。 在AI 技术不断升级的背景下， AI 虚拟主播的外观与真人主播越来越像，声音越来越逼真、 表情越来越细腻， 语音语调也从原来的 “机械语音” 转为 “智能语音”， 如同真人的原音再现。 从外观外形到声音表情， 都与真人主播相差无几， AI 虚拟主播快速扩张暗含着潜在风险。

1.AI 虚拟主播的身份数据安全与隐私泄露风险

AI 虚拟主播运行的基础是数据， 而数据产生的主体则是生命个体。 AI 虚拟主播所播放的内容主要依赖于收集和分析数据， 这些数据往往包括个人隐私及受知识产权保护的相关信息内容， 在信息数据的收集、 分析、 处理、 使用的过程中， 加剧了泄露隐私信息的风险。 尤其是若这些数据被未经授权的别有用心的人或组织抓取、 篡改、 滥用， 就可能会造成个人或他人的隐私泄露风险，引发安全问题。 AI 虚拟主播与真人主播不同， 其身份信息是靠数据和算法而获得和存在的。 而真人主播作为真人， 具有人所具有的情感情绪、 幻想联想、 觉悟顿悟等， 这些非理性的认识是数据无法实现的。 把复杂的人的身份、 本性和特点数据化赋予给AI 虚拟主播， 而AI 虚拟主播并不具有控制身份数据信息和被输入的海量播报内容信息的权力。 这些关于AI 虚拟主播自身和他人他事的数据 “输入” 给AI 虚拟主播的同时， 也意味着可以通过技术将数据进行盗用、 控制和篡改。 甚至一些AI 软件利用违法手段在未经 “信息主人” 授权的情况下， 擅自 “收集” 他人声音、 语音、 面部表情以及其他个人隐私信息等，并对信息数据进行整理合成， 通过智能算法等方式， 推测出个人偏好、 行为习惯等隐私信息。 这无疑加剧了AI 虚拟主播身份的不确定性， 也加剧了泄露隐私风险。

2. AI 虚拟主播的偏见性和利益倾向对社会产生的风险

AI 虚拟主播在数据生成过程中会根据操控者自身的利益需要选择具有价值倾向的传播信息，进而生成带有偏见性的传播内容。 正如 “科技无国界， 但是科技公司有国籍”， 在AI 虚拟主播的设计过程中通常会被或有意或无意地嵌入思想理念、 价值观念、 利益倾向等。 同时， AI 虚拟主播技术往往被一些资金雄厚、 技术先进、 规模庞大的大型科技公司所掌握。 公司具有营利性和逐利性， 则可能导致相对于社会利益和公共利益而言， 其更 “强化” 自身利益， 更追求自身利益最大化， 进而更易引发分配不公等利益失衡现象。甚至会因技术鸿沟而引发技术黑箱， 出现典型的不易感知和发现的黑箱操纵情况， 进而使不平等不公平等隐患加剧。 总之， 随着AI 虚拟技术应用的领域越来越多， 如果得不到高度的重视和规范， 可能引发失业率上升、 凸显社会不平等问题， 具有相当社会风险。

3.AI 虚拟主播技术应用引发的伦理问题与道德挑战

AI 虚拟主播并非仅仅是技术的呈现， 其内容中可能存在一些价值争议或规范适用的问题， 有关人工智能伦理道德问题引起了人们的关注。 AI虚拟主播作为人工智能可以通过技术预设的内容， 但无法感知内容本身所具有的真实含义； 可以精准深入分析数据信息， 但无法知晓数据信息的真伪以及数据背后的真实情况。 当AI虚拟主播技术被别有用心之人滥用，传播仇恨言论、 种族主义言论、 性别歧视言论等有害信息， 就容易引发伦理道德， 甚至法律问题。 所以， 当把存在价值争议、 观念冲突或规范适用等问题交由技术来分析和处理时， 就有可能使得问题愈演愈烈、 持续恶化。 因为在现实社会关系中， 在处理存有价值争端、 观念冲突或规范适用等问题时， 往往需要人与人之间反复交流沟通、 换位思考、 理解礼让等， 但AI 虚拟主播只能 “机械” 地被动完成 “被输入”的 “任务”。 由于AI 虚拟主播技术的应用依赖其背后的强大算法， 然而算法假定与人性选择有着本质区别， 算法假定代表的是机器人性，而人性选择多与社会规范、 人脉关系等产生关联。 AI 虚拟主播经过授权后， 依赖算法假定，按照机器性选择进行 “任务性” 播报， 而非人性选择播报。 此外， AI 虚拟主播所模仿的人的外貌、 声音、 言行、 职业甚至思想等， 本是人类所特有的， 具有私人属性， 经过AI 虚拟主播“复制” “粘贴”， 使其具有了公共属性， 这意味着私人领域的公共化， 由此可能带来人性冲突、 伦理风险。

4.AI 虚拟主播伪造虚假内容信息冲击意识形态安全

AI 虚拟主播就是通过语言传播信息或宣传。AI 虚拟主播打破了 “二次元” “三次元” 的边界， 改变了 “有图就有真相” 的认知， “虚拟主播” 与真人主播使人难分难辨。 在AI 技术的支持下， 只要有照片就可以把照片中的人物通过AI技术变成虚拟主播， 可以运用AI 语音、 图像、声音和文本生成等技术让任何人在任何场景下以任何声音说任何话， 有些 “别有用心” 之人就可能利用AI 虚拟主播技术生成虚假新闻报道、 发表虚假网络评论， 如发布具有误导性的社交帖子或者发表具有欺诈性、 虚假性的评价， 诱导网民、 欺骗网民， 对个人或者组织造成伤害。 尤其是个别AI 主播根据自身算法的逻辑 “议程设置”， 报道虚假新闻或片面地报道新闻， 误导信息受众的思考方向， 有可能将真实新闻 “解读”为虚假新闻， 将虚假新闻 “包装” 为真实事件，进而影响人们的思想认识和价值取向， 加剧影响意识形态安全和社会的安定稳定。

二、 促进AI 虚拟主播行业健康发展的建议

AI 虚拟主播快速扩张是人工智能发展大趋势， 我们既要看到其进步之处和优势所在， 也要看到其存在的潜在风险和关键问题， 并通过具体举措发挥优势、 防范风险， 使AI 虚拟主播更好地人类美好生活所服务。

1.加快AI 虚拟主播平台搭建， 强化高新技术领域人才培养

一方面， 要加快搭建自主可控的AI 虚拟主播研发平台。 目前， AI 虚拟主播技术、 平台、工具等主要由国外研发机构研发， 虽然国内一些科技企业与互联网企业也在开发类似技术、平台和工具等， 但与国外技术发展水平仍存在一定差距。 因此， 我国应高度重视AI 虚拟主播技术、 平台、 工具等的研发， 尤其加快反生成式AI 虚拟主播技术的研发， 努力在开源类技术与模型上实现自主研发、 可管可控。 在AI 虚拟主播技术领域自主可控技术研发与应用方面，要充分利用国家资金、 社会资源等， 鼓励和引导科研院所、 利用高校人才资源、 团结社会精英等积极投入到AI 虚拟主播相关技术、 平台等研发中。 另一方面， 要持续推进技术专业领域人才的培养和储备工作。 要源源不断培养德才兼备的高新技术人才， 以缓解和解决我国在AI虚拟主播技术领域的高质量专业人才较少的短板， 要积极鼓励高等院校加大相关技术类专业及课程设置， 提高我国技术领域的高层次人才培养质量。

2.构建AI 虚拟主播监管机制， 推动多元主体协同治理体系

一方面， 要构建监管机制。 加强政府部门对AI 虚拟主播发展相关事务的监管。 既要提升监管者对AI 虚拟主播技术的认知和理解， 又要提升监管者的数智治理能力， 提升监管工作的智能化水平。 另一方面， 要加强顶层设计。 在数据管理工作中仍存在多头管理、 职责不清、业务重叠交叉等现象。 应当依托2023 年国务院机构改革涉及的组建国家数据局契机， 建立体系完整、 权责明晰的智能数据管理机构。 同时，构建以政府为主导的多元主体参与的协同治理机构。 AI 虚拟主播技术可能引发的风险是多维多层多领域多方面的， 既涉及个人利益， 也涉及社会利益； 既涉及网络安全， 也涉及政治安全； 既涉及个人信息安全， 也涉及国家意识形态安全， 影响范围广、 危害大， 应构建以政府为主导的多元主体参与的协同治理机制与体系。

3.健全法律法规和伦理规范， 促进生成式人工智能健康发展

随着国内生成式人工智能快速发展， 相关监管政策也逐步落实。 由国家互联网信息办公室等七部门联合发布的 《生成式人工智能服务管理暂行办法》 于2023 年8 月15 日正式施行，这也是我国首个针对生成式人工智能产业的规范性政策。 法律法规和伦理规范是防范AI 虚拟主播潜在风险隐患的重要保障。 一方面， 我国在AI 虚拟主播技术方面的相关法律规范尚不完善， 缺乏针对新技术、 新平台、 新应用的配套法律法规。 应结合我国实际情况， 加快人工智能领域立法工作， 并结合新技术的发展成果和趋势、 面临的新挑战和新问题等及时修订现行法律法规， 进一步优化以AI 虚拟主播为代表的新一代人工智能的数据安全的相关法律规范。另一方面， 完善社会的伦理规范。 在智能化社会中的技术中介作用下， 人类社会将迎来由机械化、 电子化、 信息化向智能化的转变， 人类肉体与信息技术、 机器机械、 电子软件等融合将成为常态， 思维意识、 精神思想也将成为可被编辑的对象。 技术无法脱离伦理的态势获得发展， 伦理是科学技术发展的底线， 技术的发展始终都要融入伦理反思和价值引导。 人类将可以通过新兴技术等克服身体、 生命本身、 时间空间的限制和约束， 实现体力和脑力的双重变革式发展。 随着智能技术的不断发展， 人类可能从自然人发展为 “电子人” “机器人”“虚拟人” 等以不同形式表现的 “未来人”， 身体意义与价值、 感知方式与途径、 交往实践与中介、 社会发展与方向都将发生变革式改变。因此， 需要对人类的伦理原则、 道德规范、 行为准则等进一步完善， 以规范 “未来人”。 通过完善伦理道德规范等， 发挥人类能动性， 规范人类在实践生活中的言行， 帮助人类坚持和把控AI 技术发展的正确导向和方向， 形成健康可持续的商业模式。