移动影像时代的杀手锏
2022-05-14JR
JR
早在2000年年初,夏普、诺基亚等品牌就将高清拍照功能作为手机的卖点之一,而进入智能手机时代,在最初阶段,国产手机作为供应链一直在为其他品牌提供支持,国产手机影像系统真正的崛起还要从2016年开始,而后几年的技术发展可谓飞速。
关键词:徕卡、超感知摄影、计算光学、双影像单元
华为影像的所有技术都不是为了炫技,也不是为了创新而创新,而是为了更好地服务用户,因为最终产品好不好,还是要落到消费者手里由他们来评价,消费者认可的技术创新,才是有价值的创新。
例如P50系列在产品的技术上就遵循了以用户使用场景为基础进行的技术创新。在追求色彩真实性上,华为开发了原色引擎;在感知明暗度上,超级滤光系统设计,还有超动态范围技术设计,也是为了帮助消费者在亮度和对比度这两个维度上持续提升;为了追寻更好的变焦体验,华为从P10开始就针对多摄像头切换做解决方案;解决专业人士对于RAW格式的需求,为了抓拍到决定性瞬间而开发疾速闪拍模式等。这些场景上的问题解决后,让P50系列的拍摄体验感上升到了全新的维度。
超感知摄影
作为人工智能领域的探索者,华为率先将AI能力引入到移动终端,并推动了移动影像技术的进步。华为P50系列采用的XDFusionPro超清图像引擎,在全焦段、全环境和全时段的超感知影像获取的基础上引入了超级滤光系统、原色引擎和超动态范围技术,在细节、色彩和动态范围上的影像能力有了全面提升,让色彩缤纷的世界被栩栩如生地记录下来。
双影像单元
以华为影像旗舰手机P50系列为例,P50系列和行业单镜头工作常规算法不同,首推原色双影像单元,系统性整合了多个镜头性能、10通道多光谱传感器以及计算光学、超清图像引擎、原色引擎等先进算力。
双影像单元的底层是计算光学和原色引擎两大技术支撑,计算光学是超越物理极限的革命性技术,原色引擎则通过模拟人眼感知色彩的软硬件流程实现原色影像呈现。华为P50系列的两颗原色摄像头(色彩+黑白)和多光谱色温传感器构成超级主摄单元,结合超清图像引擎创新智能融合,实现进光量和清晰度的提升,画质更精细。
计算光学
在计算光学领域的开拓非常重要,也是华为的发力点之一。很早之前华为在计算光学领域就做了技术原型的开发,直到今天计算光学还是华为独有的技术护城河。世界上没有一个光学系统是完美的,这也是为什么最顶级的相机依然会有像差出现,需要矫正补偿的原因。此外,手机影像存在手机有限空间与图像质量之间的矛盾,在这两大因素下,计算光学在手机影像领域也是非常重要的研发方向。华为通过计算光学来解决这两个问题,在一定程度上,最终画质效果已经突破了物理的极限,让手机影像更上一层楼。
关键词:哈苏、十亿色、人像视频、马里亚纳X
OPPO一直致力于手机影像技术的创新,并持续在智能影像领域探索。而作为手机影像技术的推动者,OPPO也通过敏锐的用户洞察和前瞻技术的积累,不断推出引领行业革新的影像技术。
这点从OPPO自研的马里亚纳MariSiliconX芯片上就可以看出,其实OPPO在影像技术上的积淀非常深厚,包括软件算法以及硬件设计,几年前在MWC大会上OPPO就率先公布了潛望式长焦摄像头的解决方案,解决了手机变焦能力不足的困境。而随着计算摄影的进步,OPPO又一次从根本上解决问题,自研马里亚纳X芯片,近期新发布的OPPOFindX5Pro也启用了这块芯片。
全链路十亿色
什么是全链路10bit?它是指手机从拍摄、编码、存储、解码到显示的整个过程都采用10bit色彩打通,各环节均具备处理10bit数据的能力,能解决底层系统对10bit图像信息不兼容的问题。10bit代表构成图片的三原色(红、绿、蓝)各有2的10次方种可能,最终能获得超过10亿种不同颜色。2021年推出的OPPOFindX3系列不是第一个使用10bit屏幕的机型,但却是第一个实现全链路10bit的机型,它可以让10bit的屏幕发挥出最大的效能,毕竟手机自身都能产出10bit的资源。不光浏览照片的时候显示更加细腻,后期编辑处理色彩时也会更加精准。
人像视频
5G商用之后,视频需求大爆发。2020年年底,OPPOReno5系列作为首款将人像视频作为核心卖点的手机面市,它搭载的FDF全维人像视频技术系统,利用芯片级AI能力为用户带来焕彩视频美颜、AI视频增强和视频超级防抖3.0等创新功能,让视频中的人像靓丽有质感。Reno6系列发布时又新增了焕彩光斑人像功能,在系统中引入三重AI模型,能够精准分离人物与背景,将背景光源虚化成更自然的光斑。此后,OPPO也逐渐明确了人像视频赛道的三大核心要素——人美、氛围美、创作门槛低。一切技术创新,都沿着这三个方向去实现。
马里亚纳X
OPPO自研的马里亚纳X是一块NPU芯片,属于专门处理影像的“专家”。依托马里亚纳X让OPPO首次在计算影像领域实现全链路垂直整合,包括芯片和自研算法整合、芯片和通用平台整合、芯片和深度定制传感器整合,完全服务于OPPO定制化的计算影像需求。
强大的算力是马里亚纳X芯片最值得称道之处。它采用了DSA新黄金架构理念,拥有高达18TOPS即每秒最高18万亿次计算的超强算力,可以运行像素级AI降噪模型。从能效上看,马里亚纳X芯片达到了业内领先的11.6TOPS/w;影像原始数据传输和计算位宽更是提高至20bit,大大提升了数据传输能力,拥有20bitUltraHDR动态范围能力、20bitRAW域处理和RGBWPro双通路处理的性能表现。
关键词:微云台、蔡司、V1影像芯片
vivo在影像功能的研发上,有着自己的体系,并且尽量将产品功能实现最大化,影像也是vivo的产品基因之一。vivo将影像技术研发看做系统性技术工程。就像人眼,每个人看到的画面,都是通过眼球的感光细胞将信号传输给视神经,通过视神经最终传送到大脑视觉中心,经由大脑处理加工后的结果。2021年,vivo首次带来了自研影像芯片V1,通过自身算力提升和技术优化,实现了手机夜景成像性能的全新突破。此外在镜头防抖上所推出的微云台技术,目前仍为业内首屈一指的水平。
微云台
传统智能手机的防抖是光学防抖(OIS)+电子防抖(EIS)结合的产物,受制于体积,传统手机的光学防抖只能实现在一个平面内的光学防抖,电子防抖则是通过软件的方式实现对于画面抖动的修正。vivo针对传统手机防抖只能上下左右平面运动的局限性,研制了特殊的双滚珠悬架,这种结构的加入不仅能够让vivoX50Pro实现上下左右的平面防抖運动,还能让防抖运动实现来自摄像头先后的刁钻抖动方式,将传统平面的防抖范围扩大到更为广阔的立体防抖。“微云台”的光学防抖结构解决了传统防抖因为手抖带来的“画面模糊”问题,弥补了传统光学防抖的局限性。
蔡司加持
其实手机品牌与传统影像厂商的合作有很多,但是像vivo这样与蔡司深度合作的很少。例如vivo与德国光学巨头蔡司的深度合作,除了共同研发用于X70系列的蔡司镜头外,双方还建立影像实验室,蔡司负责光学镜头设计、算法优化技术、镜片生产技术等,vivo则深入研发摄影系统的AI算法,双方将共同研发未来手机影像相关技术。比较直观的感受是手机具有T*镀膜,抗眩光能力极强。并且在vivo手机中,内置了一套蔡司镜头包,拍摄时可以实现经典镜头的拍摄效果,包括Biotar、Distagon、Planar及Sonnar四种镜头风格,配合1200万像素的50mm焦段人像镜头,可以带来堪比相机的人像虚化效果。
V1影像芯片
vivo自研影像芯片V1,通过自身算力提升和技术优化,实现手机夜景成像性能全新突破。V1作为一颗全定制的特殊规格集成电路芯片,最大优势在于可以搭配不同主芯片和显示屏使用,起到扩充ISP高速成像算力,释放主芯片ISP负载的作用。同时由于芯片本身具备超低能耗优势,能够自主优化手机影像算力,实现同期处理能力最大化。比如在V1芯片的协助下,主芯片进行低光录像时,能够以低功耗运行4K30FPS的MEMC去噪和插帧,大幅加强了主芯片在夜景下的影像效果,配合主芯片ISP原有的降噪功能,能够实现二次提亮和二次降噪。
关键词:多主摄融合计算摄影、AIISP芯片、8×8激光对焦
因尺寸限制,手机机身为相机模组预留的空间十分有限。如何在不增加传感器尺寸(一味增加只会导致手机尺寸过大,或者变得特别厚)的前提下,尽可能提升主摄的成像质量?荣耀在计算摄影领域调用手机的多个摄像头进行协同合作,从而实现更加精确的摄影。
多主摄融合计算摄影
融合计算摄影技术不止是荣耀手机有,苹果iPhone以及华为旗舰手机也有使用,目前为止先后经历了单摄多帧融合、单一焦段多摄融合、全镜头参与全焦段融合三个阶段。荣耀的融合计算摄影技术基于HonorImageEngine计算平台,带来全镜头参与、全焦段融合、全芯片异构的软件优化影像技术解决方案。这一算法首见于荣耀Magic3系列,该系列产品使用彩色主摄记录曝光和色彩数据,通过黑白摄像头技术处理纹理和细节数据,再将两个摄像头的数据进行融合。当然,关于两张照片的配准对齐的融合难题,荣耀通过AI融合方案,实现像素级的准对齐,修正双镜头视差,从而提升拍摄质量。此外还实现了采用彩色主摄+超广角融合方案、彩色主摄+长焦融合方案等多种融合方案。
AIISP芯片
近日新发布的荣耀Magic4至臻版成为DxO测试评分中分值最高的产品,排名升至第一。而这与其本身启用的AIISP独立影像芯片也有很大关系。AIISP拥有高性能独立影像芯片,负责对图像进行处理。与其他ISP芯片对比,它的AI算力高达28.8TOPS,能效比接近13.4TOPS/W。极其强大的AI性能,使其拥有可以实时预览并输出4K夜景视频的超强能力。配合荣耀Magic4至臻版的1/1.12英寸超大感光元件、8P镀膜OIS光学镜头,可带来无惧暗夜的实拍体验。
4K60fps10bit-log电影模式
荣耀Magic4系列提供了行业首发4K60fps10bit-log电影模式,这对于手机动态影像而言也是非常大的进步。荣耀的Magic-Log采用拟合人眼观感的Log函数曲线,能够最大限度保留更宽广的色彩和动态范围,为用户的后期处理和调色留下了更大的空间。再配合荣耀Magic4系列精心调制的多个电影级的3DLUTs,让用户在拍摄视频的时候轻松表达出更丰富的色调和视频情绪,成就更简单的大师级视频拍摄质量。
关键词:影像大脑、万物追焦、小米夜枭2.0算法、肌肤焕新技术
从2017年4月小米6的变焦双摄开始,小米手机非常强调拍摄参数和拍摄效果,而高质量硬件参数、高级别色彩调校优化等举措就顺势而生,可以说是将“硬件拉满”。而在最近新发布的产品小米12Pro上,我們发现硬件参数已经不再是小米这代产品的突出指标了,另外一个新的名词进入到我们的眼帘——小米影像大脑。
小米影像大脑:快!
根据官方说法,小米影像大脑的开发历时两年,等于重构了底层逻辑设计,它包括意图识别单元、加速引擎、计算单元、生态引擎四大功能模块。该影像大脑颠覆了传统的影像架构,使用了多种算法技术,可以有效对图片进行优化,提高拍照的流畅度。比起其他普通的安卓手机,它的拍照速度、连拍速度、夜拍速度、启动速度等都有了极大的提升。
在传统的拍照流程中,每一张照片从按下快门到算法处理,最后在相册中生成预览,这中间每一处都是串行计算的,而小米影像大脑则采用了全新的并行处理方式,同时并行处理多张照片,将原先的硬件HAL层通过抽象化管理转化为小米自己的HAL层,让硬件算法能够所以组合变化,甚至插件化管理,再加上算法预加载优化与算法并发优化,使得处理多张连拍照片的能力大幅提高。异构计算能够减少不必要的算法库加载,从而达到降低内存和加快速度的效果。
万物追焦
抓拍也是手机摄影的一个难题,小米将此前推出的小米机器狗CyberDog的主人追踪技术,移植到手机影像产品设计中。以小米12为例,通过对人体、宠物进行高精度低功耗模型检测,手机在开启人眼追焦功能后,能自动识别被拍摄物体和不同拍摄距离,进行人眼、人脸、人物追焦,甚至猫、狗这类宠物也能通过AI自动识别进行追焦,使得抓拍画面的成功率大大提升。