华为 tof玩法

1. 华为 tof玩法

在之前华为P30 Pro的评测中（点击这里即可查看），我们提到华为P30 Pro采用了一颗ToF景深镜头来捕捉画面的深度信息，用ToF景深镜头捕捉的准确深度信息辅助主镜头对焦和散景虚化功能。
P30 Pro镜头功能一览
TOF英文名又称time of filght，顾名思义，他是一款通过测量红外光线反射时差来计算物体景深的传感器。那不少人就要问了，为什么华为要将ToF镜头放在后置区域，ToF的加入，能发挥怎样的作用呢？
想要明白它的作用，我们要从目前市面上常用的景深镜头来说起。我们都知道，人眼能感知到物体远近的区别，但如果我们挡住一只眼睛，我们就失去了物体的距离感。人眼对物体距离感知的原理很简单：两只眼睛位置不同，观察同一个物体时，会有轻微的视差。大脑会根据视差的不同，解算出物体的距离。

手机也是如此，不过手机通常会用两颗镜头模拟人眼，来解算物体距离。但由于分辨率和环境干扰等原因，散景抠图容易失效。而如果有ToF加持，就不会出现这个问题了。至于ToF为何景深估计更准确，我们先从原理讲起。
其实ToF的原理很简单，分两步。
1.TOF相机的补光灯会主动向被摄物体发出经过调制的特殊红外光信号。
2.通过计算发射光和反射光的相位差（也就是时间差），可以得到相机与物体间的景深和距离数据，再经过换算，就可以得出被摄物体的3维模型。
易拉罐景深图（图片来源：德州仪器）
这个原理听起来与3D结构光没有什么区别，同样都是使用红外光反射时差来计算距离/景深信息，完成3D建模。但是由于3D结构光是通过编码投射，投射的范围较小，同时投射距离也比较短，只有在非常近的距离才能做到高精度，同时3D结构光将点阵图投射到物体表面时，会产生较严重的反光，所以3D结构光只能适用于正面面部解锁。
3D结构光投影（图来自：android.poppur）
而TOF是面光源投射，将红外光均匀的投射在物体上，然后使用TOF相机捕捉红外光反射的时间差，通过计算得出景深信息，这样的好处在于投影成像距离较远，精度也不差。因为同样采用了主动光源，TOF在黑暗的环境下成像也不受影响。而且，将TOF布置在后置摄像头区域能更容易的放置主动光源，减少对手机空间的挤压。最关键的是，TOF技术已经相对成熟，它的成本也比3D结构光更低。
TOF与3D结构光对比（资料来自：android.poppur）
由于自带红外光源（暗光环境下同样可获得准确的景深信息）和相比3D结构光更远的识别距离，ToF自然成了手机对焦辅助的不二之选。再充当广域激光对焦角色的同时，也有着更丰富的景深信息，从而带来了更好人像模式体验。
DxO测试华为P30 Pro对焦反应散点图
这次DxO评测中，华为能在对焦项目上拿到100分也正是因为ToF深度镜头的加持。可以说，手机上的ToF镜头终于找到了自己的最佳用途——对焦+景深检测。可以预见，未来ToF装上后置摄像头将成为一个趋势。
而华为作为这手机ToF技术的先行者，已经走在了前列，将所有竞争对手甩在了身后。

2. 能让华为都不淡定的 TOF 到底是啥黑科技

 
   小米和华为作为国产品牌两大翘楚，从产品到市场互不相让的局面已经由来已久。
   但是真的在微博上 互相吵起来，却并不多见。
   前两天画风是这样的：
    小米 ：土鳖……TOF 我早就研究了个底儿朝天，请不要随便说“首创”好嘛
    华为 ：请问你整明白了吗，就瞎说，TOF好的很（然后顺手给自己某个手机打了个广告）
   微博截图：
   热闹看完了，吃瓜群众表示非常满意，瓜很好
   那么，TOF 到底是个啥
   TOF 是 Time Of Flight 的缩写，就是 “光，飞行的时间”的意思。
   比如说，我们有一个手电筒，然后在月球上放置一个镜子（事实上月球真的有美国登月时放置的一面镜子），我们打开手电筒开关的 同时按下秒表开始计时， 等光线到达月球上的镜子，然后返回到我们眼睛里的 同时再按下秒表结束计时。 这样就知道了：“ 光从地球飞行到月球花了多长时间 ”，由于我们事先知道 光的速度，所以就可以计算出地球到月球之间的 距离。这种测量距离的方式就是 TOF 
   
   以上，就是TOF的简述，相信各位已经明白，那么继续扩展。如果只用一个手电筒，那么我们只能知道 很远的距离  一个点  有多远。
   能不能再给力一些？
   好，这次我们把 1万个手电筒搬到一起，根据 由点构成面 ，我们就可以知道前方一个物体的大概轮廓了，而且分辨率是 1万。
   能不能再给力一些？
   好，这次我们把手电筒和传感器数量增加到30万个，发现获得了比刚才清楚地多的轮廓。但是30万个手电筒绑在一起实在是太大了。
   能不能再给力一些？
   好，我们这次利用先进的半导体工艺，把每个手电筒做的极其小，小到几十万上百万个手电筒和接收光线的传感器聚集到一起也没有指甲盖那么大，终于看起来像一个能塞进手机的物件了。而且考虑到实用性，我们这次发射不可见光 —— 红外线。
   这就是现在手机上的 TOF
   
   目前已经有少数几款手机搭载了 TOF 技术，与之 类似的还有大名鼎鼎的iPhone 的FaceID，微软 xbox 配套的 kinect，intel的 3d real sense技术。
   前面讨论了TOF的原理，所以可以看出和 iPhone 的true depth 深感识别相机作用一样，TOF也是用来“探测”真实的具有深度信息的轮廓，可以知道摄像头前面是立方体和长方形的区别
   那么深度识别能做什么呢
   我们先来看看目前主流的应用：
   在手机最早具有人脸识别功能的时候，利用的是图像识别，就是用一些算法来比较系统里存的照片 和 前置摄像头拍摄的 照片是不是同一个人。这个办法最大的问题是很容易用一张照片“骗过去”。
   所以到了 iPhone X的时候，苹果提出了 Face ID的概念
   
   就是用 一种和 TOF 相似的技术 —— 结构光，来检测 摄像头前这张脸的 深度轮廓信息：哪里凹陷哪里凸起。在当时，这是个很惊人的技术，因为 它不只是实现了更安全的人脸识别， 更重要的意义在于破天荒给摄像头增加了一个维度。 
   而 苹果的 FaceID 和 TOF 到底哪个更好，现在还没有定论，但是在当时，Face ID 所用的结构光技术是更成熟的，因为苹果的 技术是收购来的，而被收购的那个公司早在2013年就展出了 TOF 样品，所以有理由推测，苹果最终选择了更成熟的结构光技术。
   背景虚化功能，在安卓手机上实现的更早一些，但是人物边缘声影的“抠图”处理，总是让人有出戏的感觉。毕竟，假如不知道眼前的人的立体信息的话，抠图只能是像photoshop那样对一张图片进行抠图，如果遇到背景杂乱的复杂场景，就很力不从心了。
   
   而 苹果 有了 结构光立体识别之后，使用前置摄像头时就可以拿到“轮廓信息”，进而可以建立更 精准，自然 的抠图蒙版，来实现更接近真实 大光圈镜头的背景虚化效果。当然对于 iPhone来说，这是前置摄像头的实现方式，而后置摄像头是利用了另外的技术来拿到深度信息，只不过精度要差很多。
   面部追踪，这是iPhone 首先推出的一个功能: 用实时轮廓识别 + 图像识别 来检测人脸几十块肌肉的动作，并映射到 动画小人模型上，来实现实时的表情追踪：
   
   动作识别，微软很早就为自家 游戏 机 xbox 配套了体感套件 —— kinect。而且目前已经进行了迭代，通过，对玩家身体动作的识别和追踪，可以实现非常有意思的 游戏 模式和互动方式，比如，打棒球，切水果等。
   有意思的是，第一代 Kinect 原理和 iPhone 的结构光原理非常相似，而据传下一代 Kinect 将会使用 TOF技术。
    AR 增强现实 
   AR 是 增强现实， 和 VR 虚拟现实的区别在于：AR 是在识别到 现实场景的基础上，为现实场景【增加】虚拟元素来实现交互效果。VR则是 不让你看到现实世界，完全通过显示手段（屏幕）来展示纯虚拟的内容。
   AR的代表产品是 微软的 HoloLens：
   
   VR的代表产品是 Oculus Rift：
   
   既然 AR 需要识别现实世界先，这种场景下，TOF等技术就会显得不可或缺了。
   简单介绍完 TOF 和目前的应用，希望能帮助到大家能对目前这些技术有个大概印象。那么 TOF 的未来又在哪里呢？我简单引申一下：
   目前能见到的 结构光技术也好，TOF也好，在识别 轮廓时精度还不是很高，在不远的未来相信，这个是可以数量级的提高的（30万像素到300万像素）。那样的话，Animoji 可就不再只是做个表情那么小儿科了，甚至可以实时的 和 3D建模进行高精度联动。
   参考：阿丽塔战斗天使的建模 + 追踪技术
   现在手机上的 TOF 功率限制，覆盖范围还比较有限，一般不超过1米。如果这个可以提高一个数量级达到10米，那么应用场景就会变得很有趣了。即便现在的水平， 我预测未来1-3年，各家手机会在背面摄像头模组加上一颗 TOF镜头，包括 iPhone 
   TOF也好，传统摄像头也好，都属于  传感器  的范畴，除此之外，传感器还有很多，比如气压传感器，有害气体传感器，陀螺仪，磁场传感器，光线传感器……
   如果再抽象一层，对于手机的 cpu 和 npu来说，这些传感器都是  数据源 。拿到数据之后，怎么做是下一步的事。
   而，TOF 为手机增加了一层 看世界 的维度之后，极大的拓展和完善了数据源的信息，有了深度/轮廓/空间分布信息之后，再结合现在手机已经普遍优化的深度学习功能，就可以产生很多之前难以实现的功能，比如： 根据脸部肌肉识别一个人的情绪，根据前置摄像头 + 深度信息识别来判断一个人的 健康 状态（肤色，皮肤纹理），通过走路姿态识别，提前预测一些脑部疾病…… 
   TOF 开了一个好头