亚马逊新AI技术使用户虚拟试穿服装
2020-07-15
亚马逊早已经利用AI来推动Alexa的Style,这是亚马逊购物应用程序的一项功能,该功能使用算法和人工策划来建议、比较和评估服装。现在,这个技术又进步了。
亚马逊AI时尚
亚马逊硬件实验室Lab126的研究人员创造了Fire TV、Kindle Fire和Echo等产品,他们开发了名为Outfit-VITON的基于图像的虚拟系统,旨在帮助可视化参考照片中的衣物适配图像上的人。亚马逊表示,可以使用生成对抗网络(GAN)在一张图片上对其进行训练,这是一种模型,其中包含一个称为鉴别器的组件,该组件可以学习区分生成的物品与真实图像。
“在线服装购物可让您在家中舒适自在地购物,提供多种选择的商品,并获得最新的产品。但是,在线购物无法进行物理试穿,从而限制了客户对服装实际外观的理解。”研究人员写道。“这一关键局限性鼓励了虚拟试衣间的发展,在虚拟试衣间中,将综合生成穿着所选服装的顾客的图像,以帮助比较和选择最想要的外观。”
Outfit-VITON包含几个部分:一个形状生成模型,其输入是查询图像,然后参考图像会描绘从查询图像转移到模特儿的衣服,用作最终图像的模板。
在预处理中,已建立的技术会分割输入图像,并计算代表其姿势和形状的查询人员的身体模型。选择要包含在最终图像中的片段传递到形状生成模型,该模型将它们与主体模型结合起来并更新查询图像的形状表示。
研究人员解释:“我们的方法生成了几何上正确的分割图,该图改变了所选参考服装的形状以符合目标人群。该算法使用在线优化方案准确地合成精细的服装特征,例如纹理、徽标和刺绣,该方案可以对合成图像进行微调。”
视觉语言产品
该系统由经过三重输入训练的模型組成:源图像、文本修订版和与修订版匹配的目标图像。通过三个不同的子模型,将源图像的表示与目标图像的表示相关联,再将源图像的表示与文本的表示融合在一起。
语言和视觉表示的每种融合都是由单独的两部分模型完成的。一种使用联合注意机制来识别在源图像和目标图像中应该相同的视觉特征,而另一种则用于识别应该改变的特征。
图像搜索是计算机视觉中的一项基本任务
“图像搜索是计算机视觉中的一项基本任务。在这项工作中,我们调查了具有文本反馈的图像搜索任务,该任务使用户能够通过选择参考图像,并提供其他文本来完善或修改检索结果,并与系统进行交互。与先前的工作主要集中于一种类型的文本反馈不同,我们考虑使用更通用的文本形式,可以是类似于属性的描述,也可以是自然语言表达。”研究人员说。