【编者按】本文是由未来影像高精尖创新中心举办的ICEVE2016（第七届北京国际先进影像大会暨展览会）的精华演讲及专访整理而成的系列专题文章，本系列内容涵盖专家专访、大会报道、行业纪实等，致力于梳理和提炼ICEVE大会的精华内容并传播给行业和大众。

　　

未来影像高精尖创新中心一级研究员、星空手机网页版登录入口,星空(中国)信息与电子学部主任 王涌天

　　今天，我给大家介绍一下我们实验室在增强现实，特别是增强现实头戴显示技术上的一些工作。

　　既然来到了电影学院，自然也就离不开电影这个话题。众所周知，电影是要讲故事的，它是叙事的载体亦是造梦的机器。随着影像技术的发展，叙事作为人类生活中最重要的一部分，其展示形式和方法也在逐渐进化。

　　人类历史上出现的第一块屏幕是电影银幕，有了电影银幕以后就萌生了电影这种经典叙事载体，这也是人类最早通过技术手段对连续图像进行记录的形式。紧随其后的电视屏幕脱离了电影院的地点限制，出现在了人们的家中，拉近了影像与人们的关系，因而就出现了篇幅更长的叙事影像形式，比如电视连续剧。

　　随后，我们又有了第三块屏幕——手机屏幕。手机屏幕的便携性合理化了人们的碎片时间，所以随着智能手机的推广，就出现了用碎片化时间观看的超短网剧。随着现在虚拟现实技术不断的普及和发展，新的叙事媒体形式也将进一步进化。

　　我们认为，类似可以沉浸观看的虚拟现实技术可能是人类的倒数第三块屏幕，而倒数第二块则是增强现实。所谓增强现实，即虚实融合，让人们置身在真实场景中的同时观看到虚拟的影像内容。这是一种全新的显示形式，因此，如何利用增强现实这种虚实融合的影像形式来呈现故事内容，这是我们需要思考和探讨的。人类最后一块屏幕可能是直接连接脑神经了，这个离咱们比较远暂时就不做过多说明了。

　　下面介绍一下我们在增强现实技术方面的进展。首先讲一下研究背景。头盔显示器其实有很长的发展历史，其中很著名的一个学者Ivan Sutherland在1968年就提出来了一个头盔显示器：达摩克里斯之剑。由此，他被认为是虚拟现实之父。同时，他也是非常著名的图灵奖的获得者。多年以来，头盔显示器的技术一直在不断的发展，当然主要应用在专业领域特别是军事领域上。

　　但近来民用的VR/AR产品获得了长足的发展：2012年Google推出Google Glass，2014年Facebook收购了Oculus。近几年，信息领域的巨头们纷纷推出相关的头戴显示技术，诸如Sony，Samsung，Microsoft，Intel等等。这其中非常著名的Magic Leap公司，在未推出任何产品之时就得到了将近8个亿的C轮投资，据了解它的核心技术也是头戴式显示技术。现阶段国外很多公司都在做这方面的工作，国内也不少兴起的创业公司在做透视头戴式显示技术。

　　目前，增强现实头盔还存有一些问题。第一，目前面世的增强现实头盔中除了Google Glass以外重量都比较重。但是Google Glass也存在视场角太小等问题，这是因为在头盔的透视部分光学的虚实融合元件都比较厚，大部分还做不到跟眼镜一样薄，而且视场角和出瞳也比较小。此外，就是大部分头盔不能调节视度。一些出瞳足够大的头盔显示器允许用户佩戴眼镜使用，但是这样的系统在佩戴舒适性上存在较大问题。

　　所以，我们最终预期能够实现的由眼镜直接呈现且能够校正不同视度的技术。另外，头盔的电池续航时间短和透视眼镜研发成本高这两个问题仍比较突出。因此，增强现实头戴显示技术的两个发展方向，一个就是超轻超薄，达到跟戴眼镜一样便捷，这个方向主要针对大众应用；另外一个就是实现大视场角高分辨率，主要是针对专业应用。

　　为了解决上述问题，光学领域很多先进的技术都逐渐用到了透视头盔上，包括自由曲面光学，全息显示技术，波导技术以及光场显示技术等等。我们实验室从本世纪初就开始研究透视头盔显示器，1992年我们为加拿大的Queensland University做了一个120°的浸没式头盔，这也是我们做的第一个头盔。

　　2005年我们提交了一个专利申请，描述了一种光学透射式头戴显示器，与后来Google Glass的设计比较起来基本是同一个方案，但是我们的方案加了透镜以后视场角就比Google Glass大很多，Google Glass只有15°，我们能达到44°。我们采用的是旋转对称的传统光学系统，这种光学系统一般重量比较大，而且由于当时的技术限制，用的是2.2寸的显示器，就是当时的手机显示屏，所以整个系统比较重，达到400g的重量。后来的Google Glass采用了微型显示器，同时把视场角减小以后，整个系统体积变小了，所以比较轻，但在光学系统上和我们的设计思路是完全一样的。

　　到十一五期间（即2008年）我们又申请了用自由曲面光学实现的头戴显示器的相关专利。所谓自自由曲面，就是没有任何对称性的，用XY多项式来描述的复杂曲面。通过使用这种光学元件来设计透视头盔，我们实现了水平45°的大视场角，而且整个系统重量很轻。

　　如上图所示，这是我们基于自由曲面设计的目镜和传统目镜的比较，二者均获得了国家发明专利授权。对于一般目镜来说， 能做到50多度的视场角已属不易，而且自由曲面的出瞳比这个传统光学目镜的还要大一些，同时重量是传统光学目镜的七分之一，厚度是传统光学目镜的二分之一，此外加上一片补偿镜以后，可以实现光学透射的增强显示。现在该设计已经做成性能良好的产品了。

　　我们的透视头盔和国际上一些产品的比较可以看出我们的技术指标相当出色。另外，如下图所示我们的增强现实实验，计算机生成的任何东西都可以叠加到真实环境中。

　　我们目前最新的透视式头盔和实际的成像效果都很精良，此头盔完全用自由曲面做成，成像清晰且透视效果良好。这个头盔显示器厚度在10毫米左右，如果想要做得更薄，可以把波导技术（全息波导或者几何波导）结合起来，将厚度控制在8毫米。

　　全息波导的色差是非常大的，在初始的设计实验中，我们实现了超薄玻璃的横向传像。在该实验中，我们的像源是一个简单的手电，手电前面放了一块遮光板，形成了一个图像源， 加上全息光学元件以后我们实现了用2毫米厚的玻璃横向传像，但由于它有很大的色差，可以看到的是绿、黄、红完全分开了（如下图上半部分所示）。

　　这样的成像质量是不能接受的，所以后来我们又提出来用三次曝光的方法实现全息元件色差的矫正，矫正的效果较为理想（如上图下半部分所示），这篇文章发表在美国光学学会Applied Optics 50周年的封面文章。但是此种矫正方式在视场角大的时候仍然不能很好的解决问题。

　　我们用全息元件和自由曲面结合起来做了一个超轻超薄的单色透视头戴式显示技术的设计，正在加工中。如果想做大视场角、高分辨率的超薄彩色透视头盔，可以采用几何波导的方法，这种方法在输入图像的时候仍然用自由曲面光学器件，输出图像使用的是一系列的半反半透玻璃，也就是几何波导。几何波导的主要问题是会产生比较强的杂光和鬼像，我们从设计、加工和镀膜等各个方面来设法消除这个鬼像，我们做的几何波导样片，厚度是2.4毫米。

　

　　上图是我们做的样机，可以看出它非常轻小，这是和硬币的比较。

　　除了更加轻薄的AR头戴设备之外，我们也探讨其他的一些技术方案，比如大视场角的高分辨率头盔。视场角变大了之后分辨率就会降低，比如Oculus，它虽然拥有100度左右的视场角，但是每度分配的像素数很少，所以看到的网格很粗。我们有很多办法来解决这个问题，但是其中最彻底的解决办法就是用拼接式的头盔，也就是我们经常看到的拼接投影或者屏幕墙那样，用多块屏幕或者说微型显示器来拼接。

　　如上图所示，这是我们用传统光学的方式做了一个浸没式的100度大视场角的方案，它在实现100度视场角的时候角分辨率依然保持好于3.5分。同时这个方案基本没有畸变，不需要像Oculus那样用电子的方法来矫正。

　　由于这种拼接方法采用传统光学系统，所以它的各个sub-channel（子成像系统）的光轴都是倾斜的，不平行于人眼光轴，因此在人眼转动的时候它的畸变会发生变化，英文叫做perspective distortion，是指随着你视角的方向发生变化的畸变，这种畸变的电子校正需要对人眼的注视方向进行跟踪，要在头盔上加眼部跟踪系统，这个方案相对复杂，所以我们现在提出来用自由曲面光学来进行拼接。在这种拼接方案中，子成像系统的光轴和眼睛的光轴完全重合，也就解决了perspective distortion这个问题，另外我们加了一片补偿镜以后仍然可以实现光学透射。

　　此外，我们还有其他不同拼接方案，比如用2块、4块、6块的这种拼接方式，甚至可以做到120°的视场角的透视式头盔，这些我们都已获得了相关的中国、美国和欧洲的发明专利授权。

　　另外，我们也在研究真三维头戴式显示技术。现在所谓的3D电视和3D电影，实际上有很多的问题，其中一个重要的问题就是它和我们日常用眼的方式不一致。我们平时观看一个三维物体的时候，眼睛是同时会聚和调焦在物体上的，但是在看3D电视和3D电影的时候，眼睛为了看清图像永远调焦在二维屏幕上，所谓的3D立体显示，它显示的物体或者是突出于或者是深入到二维屏幕的，这时人眼会聚的距离和调焦的距离是不一致的，时间长了会引起视觉疲劳（Visual fatigue）。大家观看3D电影大约需要两个小时左右，属于可承受范围内，但是看3D电视时间长了肯定会引起视觉疲劳，这也是3D电视一直没有发展起来的重要原因。

　　而在头戴显示技术领域，同样的问题也存在，就是我们仍然是用左右眼视差的这种立体显示方式。那么怎么解决这个问题呢？用自由曲面光学可以解决这个问题，通过设计双通道的光学系统，让我们有两个像面，一个是比较近的，另一个是比较远的，那么你在看远处物体的时候，实际上看到的是远处那个像面，这样远处的像面就清楚了，近处的就变模糊了；同理，你在看近处物体的时候实际上看的是近处的像面，那么远处的就变模糊了，这个效果模拟出了我们日常的用眼情况。

　　由于这种方式使用了自由曲面，所以设计上的自由度非常大，可供选择的设计方案比较多。我们的最终设计方案达到了可接受的成像效果，但是目前还有一些畸变，这些畸变需要用电子的方法来矫正。另外，我们还提出来一种把光场（light field）显示技术和我们的头戴显示技术结合起来，做头戴式真三维显示技术。

　　这种显示技术可以实现不仅两个像面而是多个像面的同时成像。在我们做的初步实验中，我们的光学系统在真实空间中成像了一个斜放的虚拟光栅。当你的眼睛调焦在远处的时候，可以清楚地看到墙面张纸上的字，同时看到光栅的远处部分变得清楚了；当你的眼睛调焦在近处的时候，可以看到近处绿色屏幕和斜光栅的近处部分变得清楚了，这就实现了虚实融合的真三维显示。

　　实验室利用增强现实头戴显示器针对不同行业开发了一系列应用。其中比较有代表性的就是我们开发的轻型飞行模拟器。该系统在训练飞行员的时候，可以在显示出虚拟机舱和舱外景色的同时，让飞行员看到自己的腿和自己的手，是一种典型的虚实融合的AR应用。

　　此外，我们在广东省科技馆做了一个虚实结合的项目，它的真实场景是模拟出的海底场景，但是透过头盔可以看到虚拟的鱼类，而且能够实现虚拟鱼和真实水草之间的正确遮挡，甚至还可以跟鱼来进行交互，比如伸出手来可以给鲨鱼喂食。

　　同时，我们还研发了圆明园AR游览应用。佩戴此款增强现实系统后，人们可以在废墟上看到未被烧毁前的圆明园。这是一种新颖的旅游形式，也是一种很好的爱国主义教育方式，这种技术下一步也许可以用到未来影像里。

　　那么，这个领域未来会怎么样？如果我们把AR透视眼镜和户外的跟踪定位系统做好做完善，那么这种透视眼镜在导游、导览、导航、导购等各个方面都有广阔的应用前景，非常有可能取代我们的手机作为下一代的移动终端。因为手机不管屏幕做得多大，它的视场角也不会超过5°，而透视头盔做到30度以上是很方便的。

　　现在的手机让人类可以离开计算机桌随意走动，但它不是一种健康的生活方式，总是需要低着头，它对人的眼睛和颈椎都会造成损害，而且还把手完全占住了。与此不同，当我们戴上透视式的AR眼镜后，人类不仅可以再次昂首挺胸地站立起来，还能解放双手。所以我们说移动增强现实技术可以使人类第二次站立起来，它必将成为一个万众瞩目的新兴技术。但是，如何把这种技术和电影的叙事方式结合起来，则是需要探讨的新课题。

　　我的报告到此结束，谢谢大家！

【作者简介】

　　王涌天 1982年获天津大学精密仪器系工学学士学位，1986年获英国Reading大学物理系工学博士学位。星空手机网页版登录入口,星空(中国)信息与电子学部主任，光电学院和计算机学院博导，校学术委员会和学位评定委员会副主席，北京市混合现实与新型显示工程技术研究中心主任。兼任全国政协委员，国务院学位委员会光学工程学科评议组召集人，科技部信息技术领域专家组成员，国际标准组织（ISO）有关标准制定专家组成员，国家信息技术标准化委员会虚拟现实与增强现实标准工作组组长，国际工程光学学会（SPIE）、美国光学学会（OSA）和英国工程技术学会（IET）Fellow等职。长期在技术光学和虚拟现实领域从事教学和科研工作，主要研究方向包括光学系统设计和CAD、新型三维显示、虚拟现实和增强现实、医学图像处理等方面。2000年获得国家杰出青年科学基金的资助，2001年受聘教育部长江学者特聘教授，2006年成为教育部创新团队带头人，2011年荣获全国五一劳动奖章，2012年成为国家973项目首席科学家。出版专著1部，教材2部，其中《应用光学》英文版被评为北京市高等教育精品教材。指导的博士生先后在2006年和2011年获得全国优秀博士学位论文及其提名奖，在2013年获得北京市优秀博士学位论文。获得北京市教育教学成果二等奖和中国学位与研究生教育学会研究生教育成果奖二等奖各一项。曾两次被评为北京市教育创新标兵。有关科研成果先后获得国家科技进步三等奖1项，省部级技术发明一等奖1项、科技进步二等奖4项、三等奖1项；发表专著1部、译著2部、论文400余篇，编辑国际会议论文集12部；授权国际发明专利4项，国家发明专利36项。

（内容来源：未来影像高精尖创新中心微信公众平台 ）