第二代骁龙8影像技术

贾鹏

在刚刚过去的2022骁龙峰会上，高通的第二代骁龙8移动平台正式发布。除了一如既往的突出性能表现，影像技术上的进步同样让业界侧目。新平台内嵌了领先行业的首个认知ISP（Cognitive-ISP），在即将到来的一大波智能手机新品中，实时语义分割、Pro Sight视频拍摄功能等一众新技术，将为内容创作者带来专业的移动影像体验。

谱写手机影像发展史

不难发现，智能手机影像技术的每次突破，都离不开骁龙移动平台ISP的助力。在高通推出首款双ISP后，高像素、2PD对焦、4K视频/HDR视频拍摄逐渐实现，并在2016年的Spectra 180 ISP上实现支持双摄方案以及平滑的光学变焦。至此，手机摄影才有了现在的雏形。

然而，单纯提升ISP运算性能已不能满足更复杂的拍摄场景，和更高质量的成像需求。因此高通推出了Spectra 380 ISP，这也是全球首个CV-ISP，使智能手机具备了计算机视觉（CV）能力，照片和视频的优化可以具体到每一帧。手机拍摄4K HDR 10bit视频也成为可能，并实现了对象分类和对象分割。至于后续上线的8K HDR视频、4K/120FPS、杜比视界等功能，则是极大丰富了视频内容生产者的创作手法和想象力。

不过大家有没有发现，尽管骁龙ISP的运算已经触及到帧，像夜景拍照，可以以极快速度将优化好的多张照片合成。但是，这跟我们日常优化照片还是有差别，那就是具体到画面的每一部分。例如天空、背景的色调、人脸的细节，每一部分去详细优化，手机摄影能做到吗？

让手机镜头感知世界

这个问题，在第二代骁龙8移动平台的认知ISP到来后，答案是肯定的。对比传统强调算力的ISP，认知ISP以AI为先导，可以理解为有思维的图像计算，与人眼一样，认知ISP也能观察并理解照片中的“世界”。

在拍摄照片和视频时，认知ISP可以进行实时的语义分割。在场景中感知人脸、面部特征、头发、衣服和天空等细节，并进行独立优化。这样的好处是显然易见的，过去的多帧合成只能做到亮部/暗部，或者整体色彩的调节。现在，无论是照片或是视频，都可以对每一帧二维的画面进行八层语义分割，然后再加入时间深度上的语义，就可以对每层应用做定制化处理。按照我们日常处理素材的行为来区分的话，传统ISP更像是一键生成，而认知ISP则更符合精修的概念。

那问题又来了，如此复杂的图像计算，效率与能耗會不会造成负担。实际上，第二代骁龙8的效率更高了。首先用于处理情境感知任务的AI处理器增加到两颗，识别效率和运算速度加倍。另外，Hexagon处理器和ISP之间，增加了名为“Hexagon直连”的物理连接，图形计算的处理上都能在ISP内部完成，让AI在影像中的运算效率大幅提高。

细节到发丝的优化

实际拍摄效果又是如何，可以看虹软基于认知ISP，针对人像特写头发部分的优化。在保持人脸肤质细节前提下，头发部分进行了柔化处理，原来略显分叉的发丝，在优化后变得柔顺起来，这是在视频中实时进行的局部柔化处理，为了增加难度，头发也在不断飘动。完整看下来，实时处理也没有出现翻车现象，认知ISP确实表现出极高的运算效率。

至于时下非常热门的视频虚化功能，虹软实现了更为生动的电影模式。相比传统单一的人像虚化，认知ISP可以根据画面的人物或主体变化，实时切换对焦点，完成前后景深虚化效果的自然变化。而且从实拍效果能看到，这个景深变化也很符合人眼看到的效果。

至于对视频质量要求更高的内容生产者，认知ISP提供了Pro Sight视频拍摄模式，相比普通视频，Pro Sight视频的比特率提升了5倍。

玩过视频拍摄的用户都知道，比特率是个关键参数，原理上比特率越高画质越好。因为高比特率的画面拥有更多的细节、更好的宽容度，更少的噪点，这样的视频将拥有更好的后期空间。

定义超前的未来规格

除了当下的新功能，认知ISP的潜力还来自于超前的规格。在谷歌安卓13设备上，可以拍摄10 Bit HDR的视频以及8K HDR 60 fps的视频，并支持2亿像素的照片拍摄。

为此，三星全新的2亿像素图像传感器ISOCELL HP3专门面向第二代骁龙8进行了优化，能够在骁龙平台上支持采用Re-mosaic像素重排技术实现高分辨率照片拍摄。

而索尼IMX800以及1英寸的索尼IMX989，则是首批面向骁龙调优的QDOL HDR图像传感器。视频的每一帧将融合4重曝光，为视频拍摄带来出色的HDR效果。QDOL4技术使视频和照片能够将光线最暗处和最亮处的细节呈现在同一画面上。

可预见的手机影像飞跃

移动影像技术向来是骁龙移动平台的核心部分，从认知ISP的具体表现来看，骁龙在这方面依然保持着充足的竞争力。对于用户来说，认知ISP的能力也很快能在即将发布的旗舰手机上感受到，大家不妨拭目以待。