基于人脸属性识别广告精准投放智能新媒介系统设计

郑煜辉 陈 磊 辛光红

(三亚学院，海南 三亚572000)

1 概述

零售场所中常采用海报、LED 广告机、橱窗等投放广告。这些广告采用无差别化的广告推送，无针对性、效果并不理想。商场中的落地玻璃墙、玻璃橱窗等透明隔离设施是商家展示内部商品的重要窗口，受空间的限制，商场的透明隔离设施展示的仅为有限的实物商品，利用率很低。如何将透明隔离设施高效利用起来进行智能化广告投放具有巨大的经济价值[1]。

2 系统结构设计

本系统通过树莓派输出高低电平控制高分子透变膜实现透明和背投状态转换。树莓派配置摄像头进行图像采集，通过WIFI 网络与云服务器通信传输人脸数据，人脸数据在本地建模分析后树莓派又控制投影仪投放相应的广告最后在透变膜上显示。硬件配置结构如图1 所示。本系统控制核心采用树莓派，作为便携式卡片计算机具备HDMI 图像输出，GPIO 控制、USB接口、WIFI 通信等功能，性能上可以满足本系统设计需求，而且极大的降低了系统成本和实施难度。本系统所述的高分子液晶投影膜由树莓派通过继电器进行控制。树莓派的GPIO P21 口输出高低电平控制继电器的Relay_Ch3 进行透明和非透明的相互转换。继电器控制电路如图2 所示。系统图像采集摄像头采用USB Type-C 接口支持USB 3.0 协议，摄像头两侧预留了双目摄像头接口可实现立体视觉系统，方便后期扩展[2]。

3 系统运行流程

系统检测到没有游客靠近贴有高分子液晶透变膜的透明隔离设施时（如橱窗等），透变膜为透明状态，当游客通过或者驻足于透明隔离设施，系统控制透变膜转变为背投状态，并将摄像头采集到的人脸图像上传至云平台。云端通过计算返回观看者的年龄、性别、表情、颜值、姿态、有无戴帽子、眼镜、口罩等信息至树莓派并将数据储存在云端人脸库中。树莓派通过眼球跟踪技术获取游客的注视广告区域，时长等信息判断游客是否喜欢广告内容，通过扫码付费等商业手段获取交易金额，然后将上述信息发送至云端与获取的人脸属性信息匹配，生成闭环数据。经过一定的数据累积后，训练机器学习随机森林模型，挖掘客户消费能力、偏好趋向，实现广告精准投放。

图1 硬件配置结构图

图2 继电器控制电路

图3 系统运行流程图

4 云端接口开发

腾讯云平台利用其超大的用户数量具有明显的数据库资源优势。本系统利用腾讯云人脸检测接口、人员库接口、人脸搜索接口实现了人脸识别和人脸数据库建立功能。本项系统中人脸检测是核心接口，云端检测给定图片的人脸及相应的面部属性和位置坐标信息。面部属性包括性别（gender）、年龄（age）、表情（expression）、魅力（beauty）、眼镜（glass）、发型（hair）、口罩（mask）和姿态(pitch，roll，yaw)，人脸质量信息包括整体质量分（score）、模 糊 分（sharpness）、光照 分（brightness） 和 五 官 遮 挡 分（completeness）。返回系统的返回值包括FaceInfos 人脸信息表和FaceQuality 人脸质量信息，其中FaceInfos 有我们关注的人脸信息，比如gender,age,beauty(颜值)和expression（微笑程度）等。FaceQuality 则包含了一个重要字段就是图像人脸的质量得分score。这里我们提取年龄和性别、颜值、表情、有无带帽子、带口罩、带眼镜等字段[3-4]。

5 广告精准投放模型

模型原始数据为通过走访调研大型商场商铺，依据主观经验数据训练得来，获取真实大量数据训练模型是首要任务。拟先在商场电梯、楼梯口根据顾客年龄性别以及所处的位置信息，进行楼层引导和商铺推送。如果顾客根据推送到达了相应的楼层或商铺则实现了初步引导价值。顾客根据推送到达了相应的楼层或商铺，进而在商普玻璃幕墙推送具体的商品，依据眼球跟踪和购买情况得到顾客消费趋向的真实数据，最终以真实数据训练模型，得到能实现广告精准投放的模型，实现数据价值[5]。模型实现过程如图4 所示。

图4 广告精准投放模型实现过程

6 眼球跟踪技术

眼球跟踪是本系统的关键技术和重要反馈环节。通过眼球跟踪判断当前人脸是否注视广告区域以及注视时长。如果注视广告区域，开始计时，当检测到当前人脸不再注视广告区域，计时结束，返回时长结果。然后通过注视时长等数据判断该游客是否喜欢此广告，如果喜欢则弹出商品二维码游客可以关注或下单。如果游客下单我们就得到了此游客的数据。如果不喜欢，则说明模型预测的不准确我们需要进一步修正模型。

图5 眼球跟踪系统应用

图6 人脸及眼部分割图

采集到人脸图像后截取出左右眼部区域的ROI 图像[8]，这个截取过程就是简单的根据先验知识，对于如图6 所示的一张人脸图像左右眼的区域大小和位置大概是固定的，整幅图像的长宽分别为wI，hI。眼部区域的长宽为wE，hE，则有：

截取出了眼部ROI 图像后每个像素点都可以计算出梯度，而梯度包含了幅值和方向。对于眼部图像而言，越是靠近眼球中心的位置，灰度值就越低，就会有更多的梯度方向的连线交于眼球。 最后，根据梯度方向的眼球定位算法实现眼球跟踪[6-7]。

7 结论

本系统采用高分子液晶膜将透明隔离设施变成一种智能新型媒介。不仅提高了橱窗和大透明玻璃的利用率，提高了购物乐趣，还解决了游客对广告的反馈的局限，提供一个新的购物交互入口。通过机器视觉、人工智能等新技术与商业模式有机结合，方案合理高效的获取了人脸属性与消费能力、偏好趋向的闭环数据样本、训练随机森林模型，实现了广告精准投放。