2017年9月,苹果推出了全球首款搭载3D结构光技术的智能手机——iPhone X,并且以实现了3D人脸识别Face ID彻底取代了Touch ID指纹识别,随后众多手机大厂开始跟进,3D sensing市场被彻底引爆。

根据第三方权威市调机构Yole的预测数据也显示,全球3D成像和传感器的市场规模在2016–2022年的CAGR为38%,2017年市场规模18.3亿美元,2022年将超过90亿美元。其中,消费电子是增速最快的应用场,2016–2022年的CAGR高达160%,到2022年市场规模将超过60亿美元。

数据来源:Yole Developpement(单位:百万美元)

相比之下德银的数据更为乐观,根据德银预测,3D sensing的渗透率有望从2017年的3%提高到2018年的6%,2019年的20%和2020年的38%,搭载3D sensing的智能手机出货量有望从2017年的3800万部提高到2020年的6.35亿部。整个市场规模有望从2017年的7亿美金提高到2020年的140亿美金,4年间年复合增长率高达173%。

目前,主流的3D成像技术主要有三种,分别是双目主动立体视觉,结构光和TOF(Time Of Flight)。

从技术上来看,双目成像虽然有着3D成像分辨率高、精度高、抗强光干扰性强、成本低等优势,但是其缺点也非常明显,比如其算法非常复杂、容易受到环境因素干扰、依赖环境光源、暗光场景表现不佳等。因此目前在手机上应用相对较少。

3D结构光虽然识别距离相对较短(作用距离大约0.2米到1.2米,甚至更远一点),模组结构也比较复杂,成像容易受强光干扰,成本也相对较高,但是其通过一次成像就可以得到深度信息,能耗低、成像分辨率高,非常适合对安全级别要求较高的3D人脸识别、3D人脸支付等方面的应用。而且由于苹果iPhone X的率先应用3D结构光技术的带动,该技术目前已经非常成熟。

除了苹果之外,小米8透明探索版、OPPO Find X、华为Mate20 Pro/Mate 20 RS保时捷设计等众多旗舰机型都有采用前置结构光方案来实现3D人脸识别。

不过,由于结构光在识别距离上的限制,使得目前结构光在手机上的应用,主要局限于前置,主要用作3D人脸识别解锁、3D人脸识别支付以及3D建模等应用,相对来说应用面较窄。

而相比之下,另一种3D传感技术——TOF虽然3D成像精度和深度图分辨率相比结构光要低一些,功耗较高,但是其优势在于识别距离更远,可以做到0.4米到5米左右的中远距离识别,抗干扰性强,而且FPS刷新率更高,这也使得TOF技术不仅可以应用于3D人脸识别、3D建模等方面,还可适用于环境重构、手势识别、体感游戏、AR/VR等多方面的应用,相比结构光技术应用面更广。

所以,自去年下半年以来,不少手机厂商都纷纷开始推出基于后置TOF 3D技术的手机新品,比如OPPO R17 Pro、vivo NEX双屏版、华为P30 Pro、三星S10 5G版等。

总结来说,虽然在苹果的带动下,3D结构光技术得到了快速的商用和放量,随后众多安卓手机厂商的跟进,也推动了整个3D结构光产业链的快速成熟,可谓是占尽了先机。但是,得益于作用距离更远、应用面更广,可以为智能手机带来更多更好玩的应用体验,TOF大有后来居上之势。

虽然,结构光适用于近距离的3D识别,而TOF更适合于中远距离的3D识别,双方存在着一定的互补关系,而手机前置采用结构光,同时配备后置TOF,也确实可以给用户带来更好的体验(传闻下一代的iPhone就将配备前置结构光+后置TOF),但是这必然带来成本的大幅上升。

而且,从实际应用来看,相对于目前主要被应用于前置的结构光来说,适应性更强的TOF除了可被用在后置之外,其也可被用于前置,也能够与3D结构光一样进行3D人脸识别。而且,二者的成本也相差不大,所以结构光与TOF之间既有互补关系的同时,也不可避免的存在着较大的竞争关系。那么在智能手机应用上,3D结构光和TOF 3D谁才会笑到最后?

近期芯智讯分别采访了奥比中光、英飞凌、ams等3D sensing领域的重要玩家,来看看他们是如何看待这个问题的。

奥比中光:结构光成熟度更高,3D扫描效果更好

作为首家量产3D结构光的国产技术方案商,在2017年苹果iPhone X推出之前就已经在3D sensing领域有了较深的积累。而在iPhone X引爆3D sensing市场之后,2018年6月,基于奥比中光自研的3D结构光技术方案的OPPO Find X也正式发布。

虽然定价高达4999元起,但OPPO Find X在京东上首销就取得了47秒销量破万台,15分钟销售额破亿元的好成绩。2018年7月24日,丘钛科技发布的公告更是显示,丘钛科技拿到了OPPO的超100万颗3D结构光模组订单。而作为OPPO Find X的3D结构光技术方案的独家技术供应商,奥比中光也引起了业内更为广泛的关注。

▲OPPO Find X的前置3D结构光模组

值得一提的是,奥比中光的3D结构光的算法及ASIC芯片均为自研。而在3D结构光市场取得成功之后,奥比中光此前也曾透露,正在进行TOF技术的研发,而且奥比中光在3D结构光算法芯片研发上所积累的经验也能够很好的应用在TOF方案上。

而对于3D结构光和TOF两者谁更具前景的问题,奥比中光手机事业部总经理胡科峰表示:“结构光和TOF都是3D传感方案,两者各有优缺点,并不存在谁全面压倒谁的情况。我们不会单纯去对比不同技术的优缺点,而是从手机客户的角度出发,去分析哪种技术更适合落地到手机的应用场景里。”

确实,对于智能手机来说,选择一项技术,需要要考量的因素有很多,其中比较重要的是技术的成熟度和稳定性。

目前结构光落地在智能手机上的主要应用是解锁、支付。市面上采用结构光方案做解锁支付的有好几家,其中iPhone X / iPhone Xs系列和OPPO Find X都是将3D人脸识别作为唯一的生物识别方案。这意味着用户平均一天要解锁两三百次,就得让结构光输出两三百次的深度图,一年365天,这个使用频次是非常高的,而且是在各种环境下使用。另外用户的基数也非常重要,目前结构光方案的出货量都是千万级以上,这也意味着结构光已经能够应对这种千万用户以上的高频次应用考验,而TOF暂无对等数据,表现还有待观察。

“不管最终是做什么应用,3D传感方案的核心功能都是一样的,就是还原现实世界的三维特征。对现实世界三维特征的还原能力,就成了考量3D传感方案的重要指标之一。现实世界的物体有不同的材质和不同的轮廓,结构光在材质和轮廓的一致性方面有明显优势。比如一些低反射率的材质,球体,容易出现多路径反射的复杂表面,结构光都表现出更好的适应性。”胡科峰强调:“能让普通用户直观地看到这种还原能力的应用之一就是3D建模(也叫3D扫描),结构光同样也可以应用于手机后置,用来扫描3D物体,相比TOF,结构光扫出来的物体更加的真实,扫描体验也更好。”

当然,TOF技术也有它的优点,比如远距离的相对精度比较好。胡科峰表示,具体得看客户的选择,是否TOF的优点比“技术成熟度”和“3D还原能力”更重要。同时,两种技术都在不停的演进。而奥比中光作为3D方案的提供商,目标是致力于给客户提供最合适的3D方案。“我们会持续钻研含这两种方案在内的所有3D技术,全力将最合适的3D方案提供给所有客户。”

英飞凌:TOF前景更加广阔

虽然从目前来看,3D结构光的方案仍是市场的主流,采用的厂商较多(比如苹果、OPPO、小米、华为等等),出货量也很大。但是,从去年开始,在中远距离上适应性更强的TOF 3D技术也开始备受市场关注。不少上游厂商也顺势推出了可用于智能手机的解决方案。

在2018年的CES展会上,英飞凌携手pmd technologies(以下简称pmd)首次展示了全球尺寸最小的TOF 3D摄像头模组参考设计,其尺寸仅为12mm x 8mm。双方合作推出的这款TOF解决方案,包括摄像头、图像传感器、软件驱动程序、3D深度处理管道、参考设计和定制支持、模块制造商培训和支持资源,以及参考生产装置设置,以便模块制造商和原始设备制造商进行校准和测试。其中,pmd负责TOF技术研发、像素研发等,英飞凌则负责裸晶成像器、以及半导体工艺的研发,以及跟模块供应商做配合。

值得注意的是,在CES上pmd还宣布与集成光学器件和光学成像系统解决方案供应商舜宇光学建立合作,联合为中国及全球的移动设备OEM厂商,开发并市场化的TOF 3D传感摄像头解决方案。

随后在去年8月,OPPO在上海正式发布了OPPO R17系列手机。其中R17 Pro就首次搭载了后置的TOF 3D方案,其也成为了全球首个实现TOF 3D技术商用的机型。据了解,R17 Pro的TOF模组由舜宇光学供应,而其中的图像传感器芯片和TOF算法或由英飞凌和pmd提供。

▲OPPO R17 Pro的后置三摄,最右侧的是TOF 3D模组

此外,在今年2月的德国慕尼黑展会上,LG发布的2019款新机LG G8 ThinQ就采用了前置ToF 3D摄像头,同样也是基于英飞凌的REAL3图像传感器芯片和pmd的算法,可支持手机解锁和支付识别认证。

显然,TOF 3D方案在手机前置上的成功应用,确实会对于前置结构光方案形成了一定的冲击。那么英飞凌如何看待TOF与结构光之间的竞争呢?

在近日的第八届EEVIA ICT媒体论坛上,英飞凌电源管理及多元化市场事业部大中华区射频及传感器部门总监麦正奇在接受芯智讯采访时表示,结构光模组复杂度更高,而TOF则相对简单,并且可以做到非常小巧且坚固耐用。

此外,他还表示,TOF传感器功耗虽高,但其深度信息计算量小,对应的CPU/ASIC计算量也低,所以整体的系统级功耗也能够得到控制。因为,TOF的每个点都可以直接提供完整的深度信息,它在传输出来的数据就已经是可用的,并且光速等物理信息均为已知,因此只需通过相对简单的算法就可以将扫描对象从背景当中分离出来,获得3D图像。不需要像结构光那样,需要用大量的CPU/ASIC演算取得它的深度信息和幅度信息。

再加上TOF应用面更广,英飞凌也是坚定看好未来TOF的发展。

而在当天的论坛上,麦正奇也介绍了英飞凌此前推出的TOF 3D图像传感器REAL3以及与pmd合作的基于REAL3的TOF模组。

▲REAL3 3D图像传感器芯片可以实现小巧的摄像头模块,便于轻松集成到小巧的电子装置中

据介绍,REAL3 传感器可以直接记录深度图和2D灰度图,从实现又快又准确的3D成像。而且,即使是在明媚的阳光下REAL3也可全面运作,这主要是得益于其独专利的背景照明抑制(SBI)电路,能够在每个像素中扩展动态。

麦正奇还表示,基于REAL3的TOF 3D模组,采用的是紧凑式摄像头设计,不含机械部件,坚固耐用,高度的集成,可实现最小巧的摄像头模块和最低物料成本。在生产方面,也比结构光方案更为简单,可轻松完成一次性校准,无需进行机械调准和角度调整(已经批量生产验证的校准概念,在保证高精度的情况下,校准时间 < 5秒)。

而除了英飞凌和pmd之外,TI、松下、ADI、ams等厂商也有推出针对TOF 3D的方案。

比如去年12月vivo推出的NEX双屏版,其所搭载的TOF 3D摄像头模组厂为信利,其中的ToF Sensor供应商为松下,驱动芯片及算法均由ADI提供,VCSEL由ams供应。

ams:可提供全面的成熟的3D方案

作为目前在3D sensing领域布局最为广泛也最为全面的ams(艾迈斯半导体)来说,其不仅拥有TOF、结构光、主动立体视觉等3D传感器,还可提供其中的各种关键器件。

以3D结构光方案为例,ams除了可以提供关键的VCSEL芯片之外,ams还拥有WLO、DOE、光传感器等基于结构光技术的关键器件。

此外,ams还拥有TOF 1D/2D/3D技术的完整解决方案和主动立体视觉方案,以及其中众多关键器件。

ams先进光学传感器部门执行副总裁兼总经理Jennifer Zhao在第八届EEVIA ICT媒体论坛上也表示:“我们在3D系统领域拥有很大的优势。我们不仅有硬件,也有软件和相关的应用软件。在硬件方面,我们提供的有光源、光路和先进的光学封装装。另外也有NIR和TOF的摄像头;软件方面,我们也有很多的资源以及旷视科技等合作伙伴,可以提供更全面的软件方案。”

那么作为目前在3D sensing领域布局最为广泛也最为全面的技术厂商来说,ams又是如何看待TOF与结构光之间的竞争呢?

在此前的慕尼黑上海电子展期间,ams大中华区3D方案和器件产品线市场总监CK Chua在接受芯智讯采访时表示,“每一个技术在不同的距离跟应用场景下,它的性能是存在着差异的,结构光在近距离性能最佳,对于3D人脸识别等应用来说,结构光的识别距离、深度信息、安全性和适应性都是最佳的。而TOF则更适用于中远距离。不过,由于TOF模组尺寸相对较小,系统集成也比较简单,所以也有被用于前置。但是,在近距离的性能上,仍然是要比结构光要差。如果是用于3D人脸识别解锁可能没有大问题,但是如果是用于对安全性要求更高的支付,那么就会有一定的难度。”

Jennifer Zhao也表示,结构光与TOF各具优势,在智能手机市场将会长期并存。“除了智能手机市场之外,未来3D sensing技术还将在智能家居、工业自动化、汽车安全驾驶等各种不同的领域应用越来越广。我们公司的理念就是,不管客户选择哪种3D sensing方案,我们都有成熟的解决方案提供给客户。” Jennifer Zhao总结说到。

小结:

从上面介绍以及三家厂商分享的观点来看,结构光和TOF技术确实有着各自的优点,以及各自不同的更为适合的应用场景,具有一定的协同和互补特性。但是在厂商的对于方案的选择中,需要考虑的并不仅仅是技术效果上的问题,技术成熟度、成本、集成度、生产难度、各种关键器件的供应稳定性等等都是需要考虑的。

目前TOF的关注热度似乎比结构光更高,但是在技术成熟度以及出货量上,结构光更占优势。

所以,我们可以看到,虽然TOF更适用于中远距离,更适放在手机后置,但是实际上,其模组尺寸小、易集成、成本相对较低的特性,也使得其被一些手机厂商应用到了前置,来做3D人脸识别解锁和支付。同样,适用于短距离,适合放在手机前置的3D结构光,也可以被应用到后置,因为其能够在3D建模上提供比TOF更高的精细度。

特别值得一提的是,智能手机的一些较为新颖的设计方案也模糊了后置与前置3D sensing的区别,比如vivo NEX双屏版,其配备的TOF 3D,即可当做后置,也可当作前置3D sensing来使用。

此外,结构光和TOF两种技术同时也都在继续向前演进,各自的优劣势也并不是一成不变的。而且,市场也并非是简单的由技术的优劣所决定的,更重要的还是要看主流厂商的方向性选择和引导,用户的选择,以及应用生态的完善。

值得一提的是,随着结构光和TOF成本的下降,当到达一个相对舒适点的时候,可能会走向共存。比如目前的市场上,一些旗舰机在采用前置3D结构光的同时配备有屏下指纹识别。

另外在不可逆的全面屏趋势之下,未来屏下摄像头也将是一个新的方向。 ams先进光学传感器部门执行副总裁兼总经理Jennifer Zhao告诉芯智讯,目前ams也在进行这方面的研究,不过具体实现还需要与屏厂紧密配合。未来屏下摄像头一旦实现,那么前置的结构光或TOF模组或可被放置在屏下,无需在屏上开一个刘海或打孔,而这也必将进一步推动3D sensing在智能手机上的应用。

信息化和软件服务网 - 助力数字中国建设 | 责编:左右