基于RK3399平台的3D人脸建模设计与实现

关耀枢　汪金辉

关键词：医美；3D建模；RK3399；DSP

近几年，医美行业迅猛发展，但目前存在获客成本高、转化率低、潜在客户整形前顾虑较多等痛点，因此基于行业现状以及发展前景，开发一款基于人脸高精度扫描，得到客户面部数字化彩色三维高还原人脸模型，通过对模型进行面部特征分析，并按客户需求进行预整形并呈现最终效果的一体解决方案，才能很好地满足消费者的需求，带来更好的应用体验，占领魔镜产品的中高端市场，提高用户黏性，提升品牌认知度。本项目采用瑞芯微新一代应用处理器方案RK3399+DSP 芯片RK1608，RK3399 芯片是一款低功耗、高性能的处理器，集成双核Cortex-A72+ 四核Cortex-A53 CPU，集成ARM NEON 技术，可增强较多的多媒体应用体验。另外集成高性能Mali-T860 MP4 GPU，嵌入式3DGPU 使RK3399 完全兼容OpenGL ES1.1/2.0/3.0/3.1、OpenCL 和DirectX 11.1，并且带有MMU 的专用二维引擎将最大限度地提高显示性能并提供非常平稳的操作。RK1608 用于对MIPI CSI 信号进行DSP 加速等预处理。方案支持各主流的多媒体解码、USB3.0、SD3.0、TYPE C 信源输入；视频解码支持H.264/H.265/VP9 等，支持H.264/MVC/VP8 1080P@30Hz 视频编码，同时可支持多屏异显。采用RTK 的codec ALC5616，功放采用ESMT 的模拟功放ESMT52050，同时该项目还具有网络、多路USB、串口、RS232 接口等功能，完全满足医美行业需要的各种性能要求，使产品具备强劲的竞争力。

1 3D人脸建模硬件设计

1.1 硬件系统架构

本项目采用瑞芯微的RK3399+RK1608 集成方案，在核心處理模块，RK3399 需要将3D CAMERA 采集的USB 数据解码后再编码成MIPI DSI 信号发送到RK1608，2D 摄像头直接将MIPI CSI 信号送入RK1608，经RK1608 做DSP 加速以及预处理后送入RK3399 做ISP 处理，此时需要通过HDMI OUT 转LVDS 进行屏显。方案同时兼容3 个2D 摄像头输入设计，可扩展性极强。在信号输入部分，由于芯片内部没有集成PHY，网络信号MDI/MDIX 经PHY 芯片转换成RMII 信号送入主芯片处理。3G/4G 信号需经模块转换成USB 信号送入主芯片。SD 以及TYPEC 信号直接送入主芯片处理。USB 信号因兼容设计，部分经过HUB 后送入主芯片。在信号输出部分，本方案兼容两路屏输出（LVDS+EDP），支持双屏异显或者同显，支持HDMI OUT；音频信号，因RK3399 芯片接口只有I2S 输出，需要外接CODEC芯片进行转换成模拟音频信号，为兼容大功率要求，模拟音频信号送入功放进行放大后输出，另外耳机以及MIC 均由codec 芯片进行处理。系统框图如图1 所示。

1.2 系统电源框图

系统采用单12 V 供电，通过PMIC RK808-D 产生核心系统部分供电，通过其他DCDC/LDO 产生其他部分供电，如SY837/SY838/SY8120 系列IC 等，TYPE C供电需要考虑外部3D 摄像头瞬间抽电需求，因此预留单独DCDC 供电给TYPE C 接口。整体系统电源框图如图2 所示。

1.3 核心摄像头选型以及设计要素

本方案采用intel 3D 摄像头+12MPFF 2D camera（sony IMX378），1 200万像素高清拍摄，100 万像素纹理贴图，3 万深度信息，完美呈现人脸细节，实现3D 精准建模。因RK3399 自带ISP 处理，支持MIPI CSI 信号输入，因此2D 摄像头采用MIPI 接口接入到RK3399，考虑到整机尺寸较大，2D 摄像头走线较长，约360 mm，而MIPICSI 信号因信号幅度低，容易受干扰，业内普遍建议线材长度不能长于70mm。同时该摄像头Sensor 功耗较大，对于MIPI 走线（软FPC 铜线）要求非常高。因此我们对线材进行了优化，包括信号走线阻抗控制，供电走线线宽以及铜厚处理等措施确保2D 摄像头信号质量，考虑到人脸建模过程中的用户体验感，我们设计2D 摄像头的焦距在45 cm 左右。3D 结构光模组采用TYPE C 接口，因此RK3399 主板同样采取TYPE C 接口以保证线材的通用性，支持正反插设计，支持固定电压供电。在结构设计上，需要保证3D 结构光模组与2D 摄像头的相对位置固定，并且3D结构光模组的视角范围要小于2D 摄像头以确保3D结构光的贴图数据完整。

2 3D人脸建模软件设计

2.1 软件系统架构

软件系统采用安卓8.1，自主开发医美整形APP，主要核心是将Camera 经过RK1608 处理后的数据通过3D 建模算法形成3D 人脸模型。通过人脸模型可以进行人脸美学分析、整形模拟。其次我们也可以导入客制化的AI 肌肤检测SDK，实现肌肤检测功能，并可推荐相关产品。除了整形模拟、人脸美学分析、AI 肌肤检测，我们还自研商城模块，可根据人脸分析结果，智能推荐医美商品，并可后台配置，在线升级等功能。软件系统架构如图3 所示。

2.2 3D建模软件流程图

设备开机后，系统先进行初始化以及自检，正常后直接进入3D 建模APP，此时2D、3D 摄像头开启，系统通过2D 摄像头生成的预览流实时侦测是否有人脸处于合适位置。当系统检测到人脸处于合适位置时，提示用户可以开始建模，用户点击确认后，系统打开补光灯，同时开始扫描用户人脸数据，采样频率为30 Hz，待扫描完成后系统会将精确的2D/3D 数据进行贴图，生成人脸3D 数据模型，接下来用户就可以根据3D 模型做整形模拟分析等。流程图如下图4 所示。

3 结束语

随着大家对更高生活品质的要求，医美市场前景非常广阔，本文简要介绍了医美魔镜的市场现状以及行业痛点，详细阐述了通过RK3399 平台开发来实现3D 人脸建模设计的设计流程以及注意要素，对后续其他品类医美魔镜开发具备一定借鉴意义。