SuperD3D技术白皮书无需眼镜立体显示技术粘合机带

发布时间：2022-08-12 13:46:04

SuperD 3D技术白皮书--无需眼镜立体显示技术

SuperD 3D技术白皮书--无需眼镜立体显示技术 2011年12月02日来源： 1. 无需眼镜立体显示技术立体显示领域包含多种实现方式，比如：全息技术、投影技术、眼镜式技术以及无需眼镜立体显示技术（裸眼技术）等。目前能够具备市场化潜力的是眼镜式立体显示技术和无需眼镜立体显示技术，这两种技术都是基于平面立体成像的技术。SuperD专注于提供无需眼镜3D立体显示技术的解决方案。1.1 2D/3D切换技术SuperD认为现在的立体显示技术还不能完全取代传统的2D显示模式，因此提出了研发了2D/3D显示模式的切换技术，能够让同一个屏幕分别在2D和3D两种状态之间切换。2D/3D共融技术在2D/3D切换技术的基础上，SuperD研发了2D/3D共融技术（又称为2D/3D逐像素点切换技术）。这一技术能够让2D内容和3D内容在同一个显示器上同时的显示出来。它特别适合互联网的应用，如图1.1所示，在一个网页上文字部分我们可以用2D模式显示，而图像部分我们用3D模式显示。

图1.1 2D/3D共融的概念

2. 立体图像处理为了能够形成更加“舒适”的立体显示效果，SuperD研究出专门的、符合立体显示技术要求的图形图像理论和方法。包括：基于光栅参数的立体图像像素排列，跟踪技术，动态视差调整，基于视差的图像滤波处理，基于视差的图形渲染等。2.1 立体图像像素排列除了符合无需眼镜立体显示技术原理的光栅外，还需要有特定图像处理算法配合才能形成立体显示效果。SuperD设计了一种基于光栅参数的立体图像像素排列算法，这个算法的优点是，它能够适应各种符合无需眼镜立体显示技术原理的光栅设计，并且对光栅参数的误差起到一定的校正作用。在SuperD立体笔记本产品中，这个算法被继承到ASIC中，SDK中会提供启动该算法的接口，帮助软件开发者开发自己的软件应用。

图2.1 像素排列方式

2.2 头部跟踪技术为了局部解决观看区域的受限制的问题，SuperD采用跟踪定位技术，首先通过人脸跟踪技术得到观看者的三维位置（x, y, z），并根据当前位置重新调整立体图像的像素排列，实时的生成符合当前位置的立体图像。这样就能让观众满足不受观看区域限制的要求。

图2.2 跟踪技术原理

图2.2描述了跟踪技术的基本原理图，首先通过一个置于面板中轴上方的webcam来获取观看者的位置，并把这个位置转变为三维空间坐标，然后将坐标传递给像素排列算法，这个算法就会根据新的坐标计算出只符合这个位置的立体图像。目前的跟踪技术只符合个人娱乐，不能多人观看。在未来，SuperD会研发出高清、广视角的无需眼镜立体显示技术，那时候，跟踪技术的作用将变成交互技术的一部分，而不再是为了消除切变现象。2.3 动态视差调整具有视差的图像一旦采集后所蕴含的视差也就固定了，有时候由于采集设备的局限，比如：镜头不能靠得更加紧密等，会使得视差过大或者过小。另外针对不同的显示平台，比如为大银幕拍摄的立体电影要在屏幕较小的笔记本电脑上播放，也会发现效果不理想的现象。针对这类问题，SuperD采用动态视差调整的技术，它的目标是自动的根据显示屏幕的尺寸来决定如何调整已经被固定下来的视差，以符合当前显示屏幕下的最佳立体效果。图2.2描述了动态视差调整的概念。

图2.3 动态视差调整

动态视差调整的目的如图2.3中所示，它能够实时的动态的调整不合理的立体效果，比如零视差面的位置（在图中用一个focus点来表示），或者是任意视差的大小的调整，能够让观看者产生不同的立体效果。2.4 基于视差的图像滤波无需眼镜立体显示技术在某些视差过大的高频分量出现时，会让观众产生明显的不适应感。传统的处理方式是对图像进行一个整体的低通滤波处理，把高频分量过滤掉，但是这种方法会影响整体的画面效果。其实只要能够把视差过大区域的高频分量过滤掉就可以在保证立体效果的同时，尽量不改变整体的画面效果，达到一个比较好的平衡点。图2.3表示了基于视差的图像滤波技术。

图2.4 基于视差的图像滤波技术

图2.4中所示的基于视差的图像滤波技术，重点是把视差过大区域的高频分量过滤掉，避免形成明显的Ghost现象。2.5 基于视差的图形渲染现在的图形渲染技术都是基于2D显示模式的，尽管现在的三维CG技术已经有了巨大的进步，在很多好莱坞商业大片和三维游戏中有精彩的表现，但是归根到底这些渲染技术都是以最终生成的图像在2D模式下显示为出发点的。所以在某些情况下，这种渲染技术得到的结果不一定适合在立体显示模式下使用。图2.5描述了基于视差的图形渲染技术的基本概念。

图2.5 基于视差的图形渲染技术

当我们在现有的“3D”图形学中渲染一个场景时，我们考虑场景中每个的点的深度，并制定不同的效果，比如：光照、阴影、投影大小以及模糊程度等等，但是在基于视差的渲染中，我们还要根据两眼光轴的焦点也即focus点或者是focus点在零视差面作为参考，针对凸出和凹进的程度不同渲染不同效果。同时对于诸如“3D”游戏一类的图形应用，立体效果可能是要经常调整的，这时候场景应该要根据新的focus设置产生不同的渲染效果。3. 内容制作与播放为了能够提供足够的立体内容和应用，SuperD的应用软件团队开发了一系列内容制作和观看的工具。3.1 Max/Maya立体插件3DS Max和Maya是Autodesk公司著名的三维动画渲染和制作软件，SuperD根据这两款软件的SDK开发了能够支持立体渲染（与图2.5中提到的基于视差的渲染不同，这里只是表示能够支持多个虚拟摄像机渲染场景）的插件。这种插件能够让动画制作者对每一个场景设置一组具有视差的虚拟摄像机，每个摄像机将得到一个视点的图像。这样一组具有视差的图像将可以用于立体显示。

(a) Max立体插件

(b) Maya立体插件图3.1 Max/Maya立体插件

Max/Maya插件具有良好的交互界面，并且支持Max/Maya自带的渲染器和一些主流的渲染器外部插件。用户在使用的时候只要设置好立体效果需要的几个简单参数，比如虚拟相机夹角，相机光轴的焦点等，就可以按照普通动画制作过程使用了。3.2 抠图软件SuperD开发了一款抠图软件，能够让用户通过简单的操作把2D照片制作成立体照片，这个软件要求用户先把2D图像交互式的分层，然后对每个层次设置一个深度，最后根据设置的深度自动的生成一组具有视差的图像。

图3.2 抠图软件

抠图软件的操作很简单，最复杂的抠图操作也是采用一种交互动作很少的交互式抠图算法，只需要简单几个动作，就能得到复杂场景的分层图，然后对每个层次设置深度后，还可以进行深度之间的过渡。这样可以让立体画面看上去更加真实。3.3 立体播放器SuperD开发的立体播放器支持左右、上下、2D+D以及Multi-view的立体影片格式，这个播放器是在DirectShow架构下设计和开发的，同时具备传统2D播放器的常用功能。

图3.3 立体播放器

SuperD的立体播放器将会扩展为支持网络播放功能的网络播放器，并将作为一个有关立体内容的共享平台，用户使用了带有SuperD立体播放器的立体笔记本电脑后，将可以随时上传、下载最新的立体内容。3.4 D3D游戏驱动SuperD开发了能够使得D3D游戏立体化的驱动程序，这个驱动程序目前支持D3D 9.0版本下开发三维游戏。SuperD有计划将它扩展到D3D 11.0上，这个驱动的原理是通过改变游戏对D3D接口调用的顺序和数据流来实现同一场景的多视点渲染来获得具有视差的图像，并把这些图像提交给SuperD设计的ASIC合成立体图像。该驱动的目标是能够支持大部分的D3D游戏，因而变成通用版本的驱动。

(a) 游戏的原始画面

(b) 具有视差的画面图3.4 D3D游戏驱动效果图

图3.4中描述了经过立体驱动处理前后游戏的画面效果，原始游戏可以看做只有一个视点下的图像，经过立体驱动后，同一个游戏场景得到两个具有视差的渲染结果。两个图像只有视差不同，其余效果都是一样的。

图3.41 D3D驱动的渲染流程

3.5 软件开发工具包SuperD根据立体图像处理技术和对光学器件的驱动接口统一封装在SDK中，来支持软件开发商或者个人开发新的立体应用软件。目前，这个SDK已经把跟踪算法、像素排列算法以及对ASIC和光学模组的驱动接口封装起来。随着后续图像处理技术的进展，将不断的增加新的算法接口。

图3.5 SDK在第一代3D解决方案中的作用

在图3.5中能够看到，SDK是起到了联系应用软件开发和SuperD立体解决方案的底层算法和硬件接口的作用，通过SDK软件开发者可以很简单的控制立体显示设备的硬件接口和调用底层算法，便于开发具有自己特色的立体应用软件。

图3.51 SDK的结构

SDK中主要包括了跟踪算法，2D+D算法、动态视差算法。4. 立体显示技术的未来当前人们对立体显示技术的热烈反响是源于对真实感显示的追求，就如同显示技术从黑白到彩色，彩色显示的发展又从伪彩色到真彩色，继而追求高清显示一样。在未来，立体必将作为一个像颜色一样的标准因素渗透到显示领域的方方面面，并且在此基础上产生全新的应用技术。现在所有的立体显示技术共同面临的一个问题是“不舒服”，即使像划时代的立体电影“Avatar”取得了如此大的票房成功，也没有解决这一问题，依然有观众抱怨说头晕、恶心等。造成这一问题的根本原因是这种利用视差模拟的立体环境与真实的立体环境之间存在差异，大脑中对真实的立体环境已经留存下来的印记、线索和先验知识都跟这种模拟的立体环境存在一些冲突，长时间观看就会引起“不舒适”的感觉。

图4.1 观众对立体显示技术的不适应

SuperD “还原真实”的创新技术的出发点就是要提出新的理论——立体成像理论来解决这一问题。图4.2描述了立体成像理论的地位和作用。

图4.2 立体成像的地位和作用

现在不管是无需眼镜立体显示技术还是眼镜式立体显示技术基本的原理都是采用两幅或者多幅具有视差的图像来形成立体的视觉效果，但是这些图像在采集、加工的过程中除了表现视差以外，并没有针对视差进行专门的图像处理，而是依然采用传统的2D图形图像理论来加工图像。这样就存在一个问题，在图像处理过程中，少考虑了一个z的维度。所以就会造成立体视觉的不真实感，进而造成观众对立体效果的不适应。立体成像理论（Z轴理论）将包含：立体图形图像理论和立体光学理论，结构如图6.2所示。

图4.3 立体成像理论的结构

这个理论架构主要分为图形图像处理和光学与材料两个分支，在图形图像理论中我们将围绕视差、构图、光照和色度以及渲染进行研究。在光学和材料理论中，我们将围绕立体成像的质量、光学采样和材料参数的要求展开研究。(end)