基于人脸识别的商业大数据分析
2016-12-16湖北民族学院李双稀严梓欢
湖北民族学院 李双稀 王 强 严梓欢 李 超
基于人脸识别的商业大数据分析
湖北民族学院 李双稀 王 强 严梓欢 李 超
广告推荐系统通过建立用户与信息产品之间的二元关系, 利用已有的选择过程或相似性关系挖掘每个用户潜在感兴趣的对象, 进而进行个性化推荐, 其本质就是信息过滤.个性化推荐系统不仅在社会经济中具有重要的应用价值, 而且也是一个非常值得研究的科学问题。
数据挖掘;人脸识别;广告推荐
0 引言
互联网的发展,信息技术的日渐成熟,海量的数据中蕴藏着丰富的知识,一方面商家无法准确判断这些指数,另一方面客户无法发现自己的真正爱好,大数据分析技术可以发现其中知识。广告行业,同样存在可以挖掘的知识,如:什么样的广告在什么时段位置投放可以取得理想的效果,商品关注趋势,客户对商品的关注度分析,客户对推荐广告的满意度,客户喜欢的广告模式……考虑到以上市场需求,利用现有技术开发出这样一款产品不仅能够提高商家对市场的了解程度,而且可以有效地做出相应决策,帮助商家为客户提供更好的服务,同时可以帮助客户发现自己真正感兴趣的商品,帮助客户法向一些闪人问津的“暗信息”。
1 技术分析
本系统主要是帮助商家做出更加合理的决策为客户提供更有好多服务。我们借助于人脸识别技术,采集用户对商品的反馈信息。在各大商场的数字标牌广告机安装我们的图片采集器并上传到服务器,然后利用人脸分析技术分析出客户的年龄、性别、表情、姿势、关注时长、关注时间段、关注的广告信息……有了这些基础数据,现在可以在数据预处理阶段计算出商场各时段的客流量、客户性别年龄性格分布情况、客户位置分布、天气信息……数据处理阶段我们利用统计学习,机器学习算法对客户的各种特征数据和广告的特征数据建立各种关系模型,利用上面得出的数据学习出模型;对客户分类,对特定的类型客户学习出模型;基于上面学习出的模型在数字标牌广告机中投放广告;最后评估模型的好坏,反复学习,反复训练出更好的模型。
2 技术实现
本系统主要涉及两大技术难点:人脸分析、数据处理。人脸分析模块采用深度学习框架CNTK做人脸检测、人脸对齐,使用opencv图像处理。数据分析模块采用spark框架中的机器学习子框架做模型训练、分类、关联分析、频繁模式挖掘。同时为了提高计算能力,我们将整个系统移植到hadoop平台并采用spark作为计算框架。
3 总结
经过这么长时间的努力,我们学习到了许多东西,有工程实践方面的,也有学习方法上面的,还有团队合作方面的……这些宝贵的东西才是值得我们学习铭记。同样也折射出相当多的问题,系统运行速度方面、系统安全方面、信息采集、算法优劣、等等。这些小方面的问题累积起来最终都会对我们系统的整体性能造成极大的影响,因此今后在开发的过程中在考虑将现有技术使用到系统中的时候不能总是追求技术的新,要从整体出发,综合考虑,在做出详细的计划,最后一步一步的实现。
[1]MENG Xiang-wu, JI Wei-yu, ZHANG Yu-jie. A Survey of Recommendation Systems in Big Data .
[2]Tu DD, Shu CC, Yu HY. Using unified probabilistic matrix factorization for contextual advertisement recommendation. Ruanjian Xuebao/Journal of Software, 2013,24(3):454 464 (in Chinese). http:// www.jos.org.cn/1000-9825/ 4238.htm
指导老师:李超。