2020年09月07日 | 用一亿像素的手机拍照也不过如此，原因出在传感器上

我们常说，成像技术与摩尔定律是背道而驰的，即工艺越先进，图像传感器上的像素越小，并不意味着性能越好，有时甚至成像质量会变差。不过，有一点趋势是肯定的，即智能手机这些年拍照，是越来越强的，像素也的确是越来越小。当然，手机摄像头的图像传感器总面积这些年一直是在变大。 但如今的1亿像素的手机，对比当年的1200万像素和4100万像素的较量，似乎全然不是一个量级，1亿像素拍照的画质体现也没比4800万像素的手机好到哪去。甚至还有坚持“祖传”1200万像素手机拍照能力“叫座”的“奇怪”现象...

进入信息化时代，自从夏普发布第一款带摄像头的功能手机开始，人们对手机的相机功能的追求一直未曾停止，以至于时至今日，各大主流厂商的新机发布会上，拍照画质都会作为主讲重点之一。

一般来说，提高拍照像素，是手机厂商提升照片画质最常用、最直观体现差距的方法之一。相比起软件向的优化，通过直接升级相机传感器，能给照片画质带来立竿见影的效果。

自从诺基亚2012年就在手机实现4100万像素相机后，“千万级像素”成为了宣传手机拍照能力的关键词之一，不过提升画质一直靠“堆像素”真的可行吗？

来自面包板社区的明星博主——欧阳洋葱就这一角度，结合自身经验发表了自己的看法。

我们常说，成像技术与摩尔定律是背道而驰的，即工艺越先进，图像传感器上的像素越小，并不意味着性能越好，有时甚至成像质量会变差。当然了，摩尔定律更具体的定义其实不是这么说的，但我们姑且就这么信了。

不过我们知道手机这些年的拍照是越来越强的，像素也的确是越来越小——之前探讨1 亿像素图像传感器的文章其实就提到过这个问题，这也是这些年手机图像传感器实质上的发展趋势，甭管多少媒体喜欢大谈单像素尺寸这件事，像三星如今的图像传感器像素尺寸做到了 0.7μm——虽然还没有应用到 1 亿像素的图像传感器上。

当然了，手机摄像头的图像传感器总面积这些年一直是在变大的，起码从 10 年前的对角线 1/3 英寸，变成了现在的 1/1.33 英寸——这个转变其实还是巨大的。其实图像传感器变大，也就意味着拍摄一个相同的场景，光圈、快门、ISO 参数相同时（或者说照片亮度一致），则实际的光通量是明显更多的。从直觉上来看，拍照一定更好——毕竟吃了更多的光，光总量变大，也就意味着前端的散粒噪声会更低。

但好像 1 亿像素的手机，拍的照片其实也没比 4800 万像素的手机厉害到哪里去；跟当年的 1200 万像素和 4100 万像素的较量，似乎全然不是一个量级。或者说，如果我们抛开什么光学/混合变焦、超广角这些多摄加成不说，当代手机的 28mm 主摄拍下的照片，其实也就那么回事：你说好能好到哪里去，坏又能坏到哪里去？

前一阵还有朋友说想买个拍照好的手机，问我应该买哪款。其实以手机“摄影”框定的范畴，即便华为、小米之类的厂商把手机拍照吹破天际，如果同样是 5000 块钱的手机，它们的成像质量差异真的会大到哪里去吗？所以我跟他说：你喜欢哪个，就买哪款吧，你又不搞什么严肃摄影，没事难道还跟别人去拼一拼宽容度、边角失色的问题不成？

毕竟这会儿早不是十多年前，手机拍照几乎就只有苹果一家能把自动白平衡做好；也不是十年前，诺基亚手机的解析力和信噪比可以把同时代竞争对手抛到天边去。

DxOMark 在 3 月份发布的一篇文章，我觉得特别能回答为什么 1 亿像素手机拍照其实也不过尔尔。这篇文章中提到，智能手机 10 多年来，成像质量提升超过 4EV（stop）；其中 1.3EV 是来自图像传感器/光学技术的提升；有 3EV 是来自图像处理器（SoC 的 ISP、NPU 之类），或者说智能手机的处理能力提升。

总体，智能手机拍照越来越好，是摄像头光学系统（包含图像传感器技术提升），以及图像数字信号处理能力的双重提升。而后者占了大头；前者有价值，但在手机这个门类的产品中，其提升相对缓慢——这其实也符合相机市场的发展，单画质提升速度，完全不可能像半导体技术发展那样疯狂。

图像传感器（光学系统）的技术提升

DxOMark 认为，近 10 年 APS-C 画幅的图像传感器，以 DxOMark 针对图像传感器的测试标准来看，其性能提升是 1.3EV。那么手机拍照 4EV+ 的程度是怎么做到的？

从光学系统来看，对于手机来说，BSI 背照式 CMOS 图像传感器技术，算是一个伟大的发明（即便它也是相机->手机摄像头的技术下放，不过相机从 BSI 技术上的获益远少于手机），其实质就是把像素内部的色彩 filter 与感光层（光电二极管）之间的电路层，移到后方去。我们所知，BSI 解决的主要问题是串扰，而且还能提升光的利用率。

感觉背照式和堆栈式，已经是基础教育级别的名词了吧...

实际上 BSI 这个工艺改进本身不光是提升像素感光能力，也在于因为光电二极管离上层更近，则传感器能够从更多的方向获取光子，它带来的价值包括：

光圈因此可以做的更大（更偏角度的光）；镜头也因此可以和传感器靠得更近，也就可以用更大的传感器；而且镜片可以更“平”，在增加额外光学组成部分，以及更长的有效焦距时也更具弹性，也不会让手机的摄像头模组太厚。

这么看来，BSI 对于手机拍照的贡献也算是延续至今啊，还影响到了光学系统设计。不过如 DxOMark 所说，这么多年的发展，无论是像素阱结构调整，还是什么 RAM 堆栈技术、Cu-Cu 互联之类，CMOS 制造工艺提升、图像传感器总尺寸越来越大，其贡献限定在 1.3EV。

图像处理器的技术提升

就图像处理来看，下面这张图，第一张是用无数年前的尼康 D70s 拍的 RAW 照片，ISO3200；第二、三、四、五张，分别针对这张原始照片应用了 DxO Labs 的 Optics Pro 3/5/7/9 软件做后处理（也就是不同时期的软件后处理）。能够看出随着时代发展，不管是算力提升还是算法提升，都对原有相同光学硬件基础的成像做了怎样的提升，就表明图像处理这些年还是十分重要。

能够直观体现手机拍照提升的是下图，在低照度（5 lux）下从 iPhone 5s 开始，一直到 iPhone 11 Pro Max 拍摄的不同照片。按照 DxO 所说，图像处理器在其中提升比重占得明显更大，包括现在引入多张堆栈、AI 之类乱七八糟的技术——这本身就需以图像处理器算力提升为基础。

我之前翻译过好几篇谷歌 AI Blog 相关成像技术的文章，都是将机器学习应用到计算摄影的成果介绍，前一阵才发了一篇谷歌如何利用 Dual Pixel + Dual Camera + 机器学习实现背景虚化的文章，有兴趣的同学可以去看一看。这些主要建立在图像处理技术提升的基础上；而且足够谷歌在 Computational Photography 领域发一大堆的 paper。

谷歌在 Computational Photography 的成像技术介绍上最为透明，无论是 HDR+（高宽容度多张堆栈）、Night Sight（夜拍模式）、Super Res Zoom（抖动实现的超分辨率数字变焦），还是把机器学习应用到夜间模式的自动白平衡之类，它们对于当代手机拍照画质的提升显得十分显著。即便老一辈革命家们其实总是特别喜欢说，你这技术几百年前相机就用上了，你这是技术下放。

其实无论包括苹果、华为在内的厂商，在这些问题上的解决方案有多大差别，它们的核心都是图像处理的提升，包括用于图像处理的硬件算力提升，和软件算法提升。它们如 DxOMark 所说，贡献了 3EV 的画质提升。

1亿像素的图像传感器，在 Computational Photography 面前，可能在实际产出的收益上，并不会显得十分巨大——于是，我们才说，这更是一个比拼 post processing 的时代。要不然大家都拿一样的一亿像素图像传感器，还哪来差异化竞争？

毕竟现在不像过去那样，诺基亚随随便便就去跟东芝订个独家的 1/1.2 英寸的图像传感器（808Pureview），光学系统还有蔡司参与设计，就把别家手机拍照打到满地找牙。那是十年前的传奇了，图像处理器算力也远不如现在，那会儿都没人听说过 AI 拍照。如今的华为，即便有索尼的图像传感器独家定制资源，它到底有多“独家”都很值得打个问号，更别说，在图像处理器上谁技高一筹的问题。

当然其实在光学系统方面的努力，也包括了多摄之类的。不过这些提升，尤其是多摄的图像合成实现更好的画质，本身和信号处理又是分不开的——所以算是两者的相辅相成吧。

最后文章与文首呼应一下：既然手机拍照，图像处理带来的效益更大，那么其实手机拍照是否也可以很勉强地说，是符合了摩尔定律的发展规律的。毕竟要做图像处理，靠的就是数字芯片的发展。那么其实现在手机拍照越来越好，显然 7nm 的骁龙、麒麟之类的就十分有意义，重要性不亚于摄像头本身...那还不是要跟摩尔定律挂钩了吗？

最后的最后，相机（单反/微单）领域，由于专业摄影职能和手机拍照的差别，其“计算”属性显得并没有那么重要，毕竟摄影师有自己的创作意图，而且还需要花大量时间去做人工的照片后期，自然不可能允许照片一拍下来就有浓重的饱和度和对比度。

而且相机在光学系统的优越性上具备碾压手机摄像头的特点，或者说吃光子的能力可以把手机甩到海王星去；不过当代手机凭借着图像处理能力越来越强，开始有人整天在问，手机拍照是不是能和微单/单反比了，一会儿红米秒尼康 D5，一会儿荣耀秒佳能 5D4——本质上是图像处理技术发展中，对传统光学技术的叫嚣，甭管他们有多荒谬，起码这种叫嚣在 10 年前是从来不曾有的。