时间:2024/9/19来源:本站原创作者:佚名

一、dToF开启深度信息的新未来

3Dsensing是智能手机创新的趋势之一,当前正加速向中低端手机渗透。目前实现3Dsensing共有三种技术,分别为双目立体成像、结构光和ToF,目前已经比较成熟的方案是结构光和ToF。其中结构光方案最为成熟,已经大规模应用于工业3D视觉,ToF则凭借自身优势成为在移动端较被看好的方案。

ToF的多场景应用呈现出了比结构光更为广阔的发展前景。作用距离的劣势限制结构光的应用,ToF技术则弥补了距离上的缺陷,可以被应用于包含3D人脸识别、3D建模以及手势识别、体感游戏、AR/VR在内的更多场景中,能够为智能手机带来更娱乐性和实用性的体验。此外,相比结构光技术,ToF的模组复杂度低,堆叠简单,可以做到非常小巧且坚固耐用,在屏占比不断提高的外观趋势下,更得到手机厂商的青睐。

ToF(TimeofFlight),通过测量发射光与反射光的飞行时间计算出光源与物体之间的距离,本质上是时间维度测量。根据测距的方式不同,目前存在两种ToF技术路线:iToF(间接飞行时间,indirect-ToF)和dToF(直接飞行时间,direct-ToF)。dToF直接测量飞行时间,原理是通过直接向测量物体发射光脉冲,并测量反射光脉冲和发射光脉冲之间的时间间隔,得到光的飞行时间,从而直接计算待测物体的深度。iToF则是通过发射特定频率的调制光,检测反射调制光和发射的调制光之间的相位差,测量飞行时间。

iToF间接测量飞行时间,具备低成本、较高分辨率优势,适用于短距离测距。iToF原理为把发射的光调制成一定频率的周期型信号,测量该发射信号与到达被测量物反射回接收端时的相位差,间接计算出飞行时间。由于iToFsensor的pixel相对较小,可实现相对高图像分辨率。但iToF问题在于的测距精度的实现限制了最大测距距离,从原理上看,调制频率越高则测距精度越好,高调制频率意味着对应的测距距离不能太大,并且环境光会对电路产生干扰。因此目前iToF主要应用在手机面部识别、手势识别等测距距离较短的场景中。

iToF传感器电路相对简单,难点主要在深度算法,安卓阵营自年引入iToF并推动其主流化。目前如三星、华为、OPPO、vivo等品牌均有在中高端机型中配臵,除此之外,iToF在物体识别,3D重建以及行为分析等应用场景中能够重现场景中更多的细节信息,因此还被广泛应用于机器人、新零售等领域。

dToF直接测量飞行时间,具备低功耗、抗干扰等优势,适用于对测距精度要求高的较远距离测距场景。dToF原理为向被测物体发射光脉冲,通过对反射和发射光脉冲时间间隔的测量,直接计算待测物体的深度。测距原理使得dTOF测量精度不会因距离增大而降低,功耗更低同时对环境光的抗干扰能力更强。

dToF深度算法相对简单,难点在于用以实现较高精度的SPAD。dToF要检测光脉冲信号(纳秒甚至皮秒级),因而对光的敏感度要求会很高,因此接收端通常选择SPAD(单光子雪崩二极管)或者APD(雪崩光电二极管)这类传感器来实现,集成度弱于普通的CMOS图像传感器,像素尺寸一般大于10μm,从而分辨率通常较差,成本更高。SPAD是dTOF技术的核心,技术难度大且制作工艺复杂,目前世界上极少厂家具备量产能力,集成难度很高难以小型化应用在手机等小型消费电子上,因而除传统热门应用领域车载LiDAR之外,消费电子领域目前仅有苹果一家实现商用(iPadPro首次搭载)。

未来TOF会向更高集成度、更小的传感器尺寸、更高分辨率发展。目前传统的CIS单像素尺寸最小可达到0.7μm,而目前0.6μm也已经在研发中。但ToF传感器更要求单像素获取信号的能力,因而需要更大的单像素尺寸;dToF传感器电路设计比较复杂,需占据较大的片上尺寸;iTOF像素尺寸则需暂时让步于更高的集光效率。种种原因使得ToF图像传感器的小型化存在一定困难。

半导体工艺改进将有望实现TOF传感器小型化。ToF传感器厂商通过半导体工艺方案的改进,如背照式(BSI)、堆栈式(Stacked)CMOS等技术,将原本位于光电二极管上方的布线层移至下方,以及将光电转换器、电子倍增器(electronmultipier)这些部分垂直堆叠,增大像素开口率,同时减小像素尺寸。目前根据松下最新的研究成果,dToF传感器也可以用CMOS工艺实现,集成度已经在数量级上逼近iToF方案。

目前ToF技术低分辨率的固有缺陷仍然存在,未来有望随技术更迭而实现突破。目前ToF测量精度量级仍然相较结构光方案落后,但近两年其传感器分辨率已经在提升。iToF方面,英飞凌面向消费市场的一般REAL3TM传感器(iToF)也达到了3.8万像素,年推出的IRSC则达到15万像素;dToF方面,例如iPadPro的LiDAR分辨率达到了3万像素;另外TDC电路设计进步也逐步提升着CMOS电路中的TDC时间分辨率精度,有望带来dToF的分辨率的提升。

二、ToF未来最有潜力的应用在AR领域

目前手机是ToF在消费电子中的主要应用领域,随着市场对3D视觉与识别技术的兴趣日益浓厚,头部终端厂商推动TOF技术在3D感知和成像方向上不断拓展,我们看到TOF技术在智能手机端加速渗透,TOF的使用进一步丰富着3Dsensing的应用场景。伴随AR/VR的发展,ToF有望成为智能手机摄像头的下一个风口。

ToF助力消费级AR普及。ToF技术的应用亦是AR、VR时代的催化剂。考虑到ToF的两个独特的优点——作用距离长、刷新率高,存在远距离3D测距需求的AR/VR是最能体现TOF优势的功能之一。3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。目前各大厂商推出的VR设备大都需要控制器,游戏控制器的优势在于控制反馈及时、组合状态多。

根据MarketsandMarkets,年全球AR市场规模达到亿美元,预计到年将达到亿美元,复合增长率达46.6%。过去几年中,以Facebook、英特尔、高通和三星为代表的公司在AR领域进行了大量投资,推动了全球AR市场的快速增长。中国AR市场规模预计在年将达到约59亿美元,从下游应用来看,工业应用占比最大,约占42%,其次是汽车(18%),零售(15%)以及航空与国防(10%)等。

AR室内设计。款iPadPro使用了dToFLiDAR技术,通过这一技术可以获得3D空间的深度信息,建立详细的室内环境空间数据,模拟出摆放了新家具后的情况。宜家的IKEAPlace应用,利用AR让家居产品的外观和在家中的摆放效果直接呈现在用户眼前。

医疗学习。CompleteAnatomy是一款教医学院学生通过虚拟技术了解心脏、实时肌肉运动、神经系统等人体结构的软件,在款iPadPro上可以使用这一软件,它将帮助专业人士更准确的评估病人的身体运动情况,为未来医学发展带来更多可能性。

3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。目前各大厂商推出的VR设备大都需要控制器,游戏控制器的优势在于控制反馈及时、组合状态多。以HoloLens为例,就拥有一组四个环境感知摄像头和一个深度摄像头,环境感知摄像头用于人脑追踪,深度摄像头用于辅助手势识别并进行环境的三维重构。

拍照虚化。ToF具备更好的景深信息采集功能,加入智能手机后摄模组后,能够实现快速、远距离获取更高精度的深度图(depthmap),从而完成较结构光范围更大的3D建模,而且由于自带红外光源,其在暗光环境下获得的景深信息同样准确。因此,有TOF摄像头参与的成像在虚化效果上会更加真实,富有层次。华为年发布的旗舰机P30Pro在后臵3D成像与感知模组中加入ToF镜头辅助,ToF镜头获取的更多景深信息加强背景虚化功能,相比双目视觉更加精准,使得得到的图像虚化边缘更加清晰、更具表现力。

手势识别。目前不少手机具备的悬浮手势识别功能,不用直接接触手机屏幕,仅借由前臵ToF的对手势的3D感知,通过如在手机前挥挥手这样简单的操作来实现翻页、滚屏等普通操作。体感游戏相比前者更具交互性,通过TOF技术能够采集到被拍摄人的身体深度信息,捕捉和采集身体的动作,进行手势判定,控制预制的3D建模人偶的形象和动作,实现真人和3D虚拟形象跟随,用身体、动作和手势做游戏交互。

ToF技术的应用是AR、VR时代的催化剂。考虑到ToF的两个独特的优点——作用距离长、刷新率高,存在远距离3D测距需求的AR/VR是最能体现TOF优势的功能之一。3D摄像头技术提供的手势识别功能将成为未来AR/VR领域的核心交互手段。

dTOF技术的应用有望推动AR内容的完善,加速消费级AR普及。苹果年便针对开发者们发布了用于iOS设备上AR应用开发的ARKit开发工具,年发布的iPadPro为消费电子设备首次搭载dToF模组,可视为苹果针对5G时代AR领域的进一步布局。

iPadPro搭载的LiDAR(激光雷达扫描仪),采用Sony3万像素10μmdTOF图像传感器,SPAD阵列的探测器,并集成了Lumentum的VCSEL芯片和TI的VCSEL驱动芯片,能达到ps级时间分辨率,可实现5米范围内的3D感知与成像,具备更快的AR建模速度、更高的测量精度和更少的抖动、错位。

Sony的dTOF方案首次采用3D堆叠工艺,像素内连接通过混合键合互连技术将探测器晶圆和逻辑电路晶圆键合实现,同时,深沟槽隔离(Deeptrenchisolation)也被应用,充满金属的沟槽完全隔离了像素。从而有效控制了dTOF传感器的尺寸,使其成功的应用在iPad这类小型消费电子设备中。

目前iPadPro的LiDAR共呈现出三种典型场景的应用。AR测量、AR游戏和AR装修设计。

AR测量:LiDAR可以快速计算人的身高,并展现垂直和边缘引导线。通过开发者开发的app可实现对物体尺寸、建筑物更精细的测量。

AR游戏:LiDAR通过对周围真实环境的扫描和快速获得深度信息能力,为AR游戏开辟了更广阔的设计空间。如
转载请注明原文网址:http://www.13801256026.com/pgyy/pgyy/7874.html

------分隔线----------------------------