图像绘制范文（精选7篇）
图像绘制 第1篇
由于基于图像的绘制技术(Image-Based Rendering)在从电影特效(The"Matrix")到大场景虚拟漫游、远程现实等方面的广泛应用，其发展非常迅速，相继出现了一系列高效的技术方法。和传统的基于模型的绘制相比，基于图像的绘制有如下的优点：图形绘制独立于场景复杂性，仅与所要生成画面的分辨率有关;预先存储的图像(或环境映照)既可以是计算机合成的，也可以是实际拍摄的画面，两者也可以混合使用;算法对计算资源的要求不高，可以在普通工作站和个人计算机上实现复杂场景的实时显示。
本文把IBR技术分成无几何信息的绘制、基于部分几何信息的绘制和基于完全几何信息的绘制三类[1]。由于各种绘制技术和方法是相互关联的统一体，而不是完全彼此脱离的，所以分类界限并不是十分的严格，如图1示。从近几年研究的侧重点和成果显示来看，目前越来越多的研究集中于图像和几何信息之间相结合的方法，这样能使绘制效果更加完美逼真。
2 无几何信息的IBR绘制
无几何信息的IBR绘制方法都是基于全光函数及其变形的。早期的全光函数(PlenOptic Function)是由Adelson和Bergen命名的，简单的讲它描述了构成场景的所有可能的环境映照(Environment map)。若记录光线的照相机的位置为(Vx,Vy,Vz)，光线的方向为(θ,Ф)，光波波长为λ，光强随时间t变化，则全光函数可以表示为：
在上式中，场景内的所有光线构成了一个全光函数。基于此，IBR技术可以归结为以离散的样本图。
像重构连续的全光函数的过程，即采样、重建和重采样过程。表1给出了在各种对视域假定和限制情况下7D的全光函数被简化为从6D到2D的各种形式,以及一些文中提到的有代表性表示方法。
2.1 全光模型（PlenOptic Modeling)
McMillian和Bishop在文献[7]中对全光函数做了简化，假设场景的光波不变，且场景不随时间发生变化，则可以忽略场景的波长λ和时间参数t，全光函数从而简化为5维函数，即：
P5=P(Vx,Vy,Vz,θ,Ф)
这是一个柱面全景图的集合，这种表示在所有五维上都存在大量的冗余，而且方法中没有解决立体对应的问题。有关5D全光函数其他的应用实例可见文献[2]中。
2.2 光场（Light Field）和光亮度（Lumigraph）绘制
Light Field和Lumigraph的研究表明，若我们在包围场景的一个包围盒外对场景进行观察，且场景中的每一个矢量方向只存在一根光线(即场景无遮挡)，则5D的全光函数可以简化为4D的光场函数：
P4=P(u,v,s,t)
上式中(u,v)和(s,t)是两个参数化的平面，若场景的包围盒是一个6面体，则我们需要6组这样的参数化平面表示场景的所有光线。在Light Field系统中，为了得到均匀的采样图像，他们采用了专门的装置来采集图像样本，同时为了减少绘制的走样，图像数据预先进行了滤波处理。这Lumigraph的绘制利用了场景的部分几何信息，因此它不需要专门的图像采集装置，从而减少了场景的采样密度。两种方法的缺点是只解决了没有遮挡的、光照固定的、静态对象的表示及绘制问题，而没有解决完全的虚拟环境漫游。
2.3 面全光函数(The surface plenoptic function-SPF)
SPF首先在文献[3]中被提出，Cha等分析了IBR绘制中的光谱特性，观察全光函数的生成，很明显，自由空间中的每一条光线都有个光源。可能是像太阳那样的某个发光体发出来的，也可能是被物体阻挡反射的。如果物体是透明的，还会有折射现象。
2.4 同心拼图(Concentric Mosaics)
文献[4]中Shum等把照相机固定在一个圆轨迹上运动，照相机光心朝外，从而得到3D形式的全光函数，我们称之为同心拼图。光场(Light Fields)技术把全光函数缩小到了4D表达，但数据量仍然十分庞大而且不容易采集。同心拼图技术有效的解决了这些问题，使得数据采集变得非常简便，并且是以3D的形式表达，从而提供了很好的应用前景。
Sun等在文献[5]中，设计了一个简化的同心圆拼图系统，以往的同心圆拼图系统难点在于普通用户对参考图像精确拍摄时相机旋转问题，而在此系统中，相机的位置不用精确控制，而是从预先拍摄的图像中估计出来的。其中利用了立体技术代替传统的计算机视觉方法估计确定相机位置。其中的不足在于特征匹配错误导致的相机位置估计不准确，有待进一步的改进。
3 基于部分几何信息的绘制
有一类IBR绘制只需要很少的输入图像，但绘制依赖于图像之间的匹配信息。因为几何信息在这种方法中并不是直接明显的，所以称这类方法为基于部分的几何信息的绘制。该方法同时采用几何及图像作为基本元素来绘制画面的技术，根据一定的标准，动态地将部分场景简化为映射到简单几何体上的纹理图像，若简化引起的误差小于给定阈值，就直接利用纹理图像取代原场景几何来绘制画面。这种绘制技术可以在一定误差条件下，以较小的代价来快速生成场景画面，同时仍保持正确的前后排序，所生成的图形质量也很高。
3.1 视图插值技术（View interpolation)
给定两幅图像样本，若它们之间的光流信息已知，则可以重构出任意视点的新图像，这就是Chen和Williams[6]的视图插值技术。这种方法在两幅样本的视点很近时非常有效，否则绘制会出现“折叠”现象。另外当两幅样本图像之间的距离过大时，图像的共同区域将会非常小，从而影响绘制结果。当图像样本的拍摄朝着同一个方向时，视图插值方法效果最好。Sun等在文献[7]中提出一种新的基于匹配(Matching-Based)的视图插值技术，将大的场景区域划分成小的子区域，把虚拟相机的新视图插值到预先拍摄图像的临近区域。其中的子区域是三角形的，这种方法避免了对预捕获图像的相机位置的限制。
3.2 视图变形技术（View morphing)
Seitz和Dyer[8]的视图变形技术可以用两幅输入图像生成两个参考视点连线之间的任何新的场景数据。
另外，Nguyen等提出一种假定深度信息已知把真实相机所有的参数信息传递给虚拟相机的基于电磁波的算法，这种方法使I-BR问题转变成一个在虚拟相机图像平面上进行非均匀的插值的问题，可以在所有象素点一次性的高效完成[9]。
3.3 边界光场（Boundary Light Fields)
石教英等提出一种基于3D全光函数和场景几何相结合的方法-边界光场不像同心拼图那样把光线束载体定在原始的全光采样点，而是以景物几何为自然的光线束载体，实际上是将场景的几何信息与图像数据混合在2D运动的IBR系统中。边界光场方法克服可无几何信息辅助的同心拼图的一些缺陷，利用自适应的全光采样模式，根据场景复杂度或用户要求组织采样数据，降低了场景的数据量，纠正了较大的深度变形。但仍无法摆脱3D全光函数的限制，保持数值视差[10]。
4 基于完全几何信息的绘制
这一类绘制的前提是已知完全的场景的三维信息，这种信息可以是场景的深度信息，也可以是场景的三维坐标，传统的三维纹理映射就归于此类。
4.1 三维折叠变换（3D warping)
当输入的一幅或多幅参考图像中每一个象素的深度信息已知时，三维折叠变换可以方便地生成参考视点邻近区域的新视点场景，投影参考图像的一个象素到已知的三维空间，随后重投影该点到新视点的图像平面就可以得到新的视点场景。
三维折叠变换有一个缺陷就是容易在视觉效果上产生“裂缝”，这是因为视域的限制，这些边界空缺是由于当视线旋转时没有及时更新完整的新图像信息，结果会导致视觉上的“空洞”。
4.2 层次深度图像（Layered depth image,LDI)
为解决三维折叠变换中输出图像的“空洞”和“裂痕”，Shade等学者提出了层次深度图像的绘制方法在这种方法中，输入图像的每一个像素存储了一个链表，这个链表保存了从视点出发的一条光线与场景的每个交点(包括被遮挡的不可见的部分)的颜色信息和深度信息。
4.3 基于视点的纹理映射(View-dependent texture maps)
纹理映射方法被广泛应用于高度真实感图形的绘制。它需要完全场景的三维模型，对于合成场景，可以用CAD工具生成几何模型;而对于真实场景，用三维扫描仪或视觉方法也可以生成三维模型，不幸的是视觉技术和三维扫描仪不足以建立精确的三维模型。因此Debevec等学者提出了三维折叠变换和多幅图像组合的方法进行纹理映射，部分地实现了传统纹理影射所不能实现的视觉效果。文献[11]中提出了用双向纹理函数对表面纹理绘制的新方法。文献利用LDI和Warping技术形成柔和阴影的方法，基于图像的绘制最终也是要实现诸如阴影、反射、透明度等光照效果的，这在许多文献中都已经越来越多的被关注，如文献[12]中提出利用空间变化的双向反射分布函数(SBRDF)对表面反射效果的恢复。
5 总结与展望
本文对目前基于图像的绘制技术(IBR)做了综述性介绍，并讨论了各个分类中相关的表示方法的特征及其数学描述。通过对各种IBR技术的分析可以得出结论：图像和几何实际上是一个连续的统一体。
随着计算机图形学、虚拟现实和多媒体通信等领域中对复杂真实感场景的需求与日俱增，该技术必将获得更大发展。尽管对基于图像的绘制技术的研究已经取得了若干令人振奋的成果，但下述几个方面仍然是今后研究的热点和难点问题，迫切需要引起研究人员的高度关注：场景的高效表达;绘制的性能问题;图像的采集;表面细节的恢复。
参考文献
[1]ZHANG Cha.A Survey on Image-Based Rendering:Representation,Sampling and Compression[J],SP:IC(19),2004(1):1-28.
[2]Kang S B,Szeliski R.3D Scene Data Recovery Using Omni-directional Baseline Stereo[A].IEEE Computer Vision and Pattern Recog-nition(CVPR96)[C],1996:364-370.
[3]Wood D N.Surface light field for3D Photography[A].Computer Graphics(SIGGRAPH'00)[C],2000:287-296.
[4]Shun H Y and He L W.Rendering with concentric mosaics[A].In Proc.SIGGRAPH99[C],1999:299-306.
[5]Sun X,Dubois E.A simplified concentric mosaics system with non-uniformly distributed pre-captured images[A].Proc.Visual Commu-nications and Image Processing,(Beijing,China),SPIE vol.5960[C],2005:1255-1266.
[6]Chen S,Williams L.View interpolation for image synthesis[A].(SIGGRAPH'93)[C],1993:279-288.
[7]Sun X,Dubois E.A matching-based view interpolation scheme[A].Proc.IEEE Int.Conf.Acoustics Speech Signal Processing(Philadel-phia,PA)[C],2005:877-880.
[8]Seitz S M,Dyer C M.View morphing[A].In Computer Graphics Proceedings,Annual Conference Series,Proc.SIGGRAPH'96(New Or-leans)[C].August1996:21-30.
[9]Nguyen H T,Do M N.Image-based rendering with depth information using the propagation algorithm[A].Proc.of IEEE ICASSP[C].Philadelphia,2005.
[10]梅春晖,石教英.边界光场[J].计算机辅助设计与图形学学报,2003,15(8),972-978.
[11]Liu X G,Zhang J D,Zhang J D.Synthesis and rendering of bidirectional texture functions on arbitrary surfaces[C].IEEE Transactions on Visualization and Computer Graphics,2004:278-289.
借助Maple绘制马鞍面的图像 第2篇
1. 众所周知, 是双曲抛物面的标准形式, 因其形状似马鞍, 故也称其为马鞍面.而方程z=xy的图像也是马鞍面, 学习的过程中, 学生对两个方程及其图像的关系有些疑惑.
实际上, 根据线性代数中线性变换的相关知识, 把平面围绕坐标原点按逆时针方向旋转θ角, 就是一个线性变换, 我们用Iθ表示.如果平面上一个点在直角坐标系下的坐标是 (x, y) , 那么旋转θ角之后点的坐标 (x', y') 是按照公式来计算的, 也就是说
将曲面z=xy逆时针方向旋转θ=π/4后, 曲面的方程为此为双曲抛物面的标准形式.
将这两个曲面放在同一空间直角坐标系中, 相应的Maple命令为:
其图像为
2. 同济大学六版《高等数学》 (P 164) 中有几个积分的题目涉及了马鞍面.
(1) 由双曲抛物面z=xy及平面x+y=1, z=0所围成的闭区域.
相应的Maple命令为:
>maanmian:=plot3d ([x, y, x·y], x=0..1, y=0..1-x) :
cemian:=plot3d ([x, 1-x, z], x=0..1, z=0..x· (1-x) ) :
dimian:=plot3d ([x, y, 0], x=0..1, y=0..1-x) :
>display (maanmian, cemian, dimian)
图像为:积分区域为
(2) 由曲面所围成的在第一卦限内的闭区域.
相应的Maple命令为:
(3) 计算其中Ω是由曲面z=xy与平面y=x, x=1和z=0所围成的闭区域.
用于3DTV的图像绘制技术 第3篇
多视点成像是指用摄像机阵列同时获取动态时变场景,获得高性能的多视点视频数据,使人眼能直接从立体显示设备中获得具有真实、立体、交互甚至现实世界无法获取的视觉内容,由此逐渐引起人们的高度兴趣和重视,其中,三维电视(3DTV)是最重要的应用之一[1],成为继高清晰度电视(HDTV)之后的下一代电视技术,有广阔的应用前景。
3DTV能够给用户交互式的3D深度感觉[2],可让用户自由选择视点,通过3D立体显示器显示3D图像,给用户身临其境的立体感。如何发展自由视点视频的新的视点绘制方法是决定3DTV立体图像质量的关键技术之一。基于深度图像的绘制(DIBR)、基于光线空间的绘制以及光场绘制是3类典型的图像绘制技术[3]。针对3DTV应用,笔者将这3类图像绘制技术用于3DTV虚拟视点图像的生成,提出了几种改进的图像绘制方法,生成的新视点图像具有良好的质量。
2 基于DIBR和图像融合的任意视点绘制
基于深度图像的绘制(DIBR)技术[4]利用三维图像变换方程将参考图像中的像素映射到目标图像中。由于将场景的深度信息引入到图像绘制中,因此DIBR能大大减少参考图像的数目。为此,提出一种高效的基于DIBR和图像融合的新视点生成方法,与一般的DIBR方法相比,本方法对目标摄像机的位置没有限制,适用于生成真实场景的任意新视点图像。首先对参考图像进行预处理,包括深度图像边缘滤波和彩色图像规正,以减少在目标图像中产生的较大空洞以及虚假边缘;然后利用三维图像变换生成新视点图像,并对两幅目标图像进行融合得到新视点图像,最后用插值法填充剩余的较小空洞。算法流程如图1所示。
2.1 用边缘滤波预处理深度图
用边缘滤波器[5]平滑深度图像中深度值有较大变化的所有区域(对象的边缘部分而不仅仅是水平边缘部分)。为了减少赝像,在平滑深度图的时候,应当保持前景物体的深度值不变,因为人眼对前景对象的变化比对背景的变化要敏感。
2.2 三维图像变换
设三维空间中任意一点X(其世界坐标为(X,Y,Z))在参考摄像机C1平面和目标摄像机C2平面上的投影点分别为x1与x2,(u1,v1)T与(u2,v2)T分别为x1与x2点在图像坐标系下的坐标。两个相机的投影矩阵P和P′分别
推出一种简洁高效的三维图像变换方程式
2.3 图像融合
利用三维图像变换方程,根据深度信息可将参考图像中的像素坐标映射到目标图像中的对应位置。使用两幅参考图像分别生成目标图像,然后再将这两幅目标图像融合成最终的新视点图像,克服了仅由一幅参考图像提供信息的不充分性。
2.4 实验结果
用上述DIBR算法,对Microsoft Research提供的“Ballet”序列的测试结果如图2所示。摄像机4图像(见图2a)生成的摄像机5图像如图2d所示,摄像机6图像(见图2b)生成的摄像机5图像如图2e所示,图2d和图2e融合的结果示于图2f。与摄像机5的原始图像(图2c)相比,融合后生成的摄像机5图像的峰值信噪比(PSNR)可达32.03 d B,图像质量好,真实感强。
3 基于光线空间的自由视点绘制
光线空间表示法是实现复杂场景3DTV的关键技术,能在没有任何几何信息的前提下,利用一系列参考图像产生新视点图像。为了绘制出高真实感的新视点图像,需要对场景进行密集采样,但是在实际应用中,密集采样非常复杂而且代价昂贵,因此主要利用稀疏采样的光线空间数据进行新视点的绘制。
3.1 方法描述
首先需要求得从左到右以及从右到左的视差,可采用各种成熟且效果好的视差估计算法。然后需要根据视差找到对应点在中间视点图像上的坐标位置,这一过程需要将计算得到的视差投影到中间虚拟视点图像上。
设平行摄像系统,摄像机基线距离为B、焦距为F。假设场景中一点P与摄像机的距离为z,且P在最左端和最右端图像平面上的投影点为PL和PR,设d LR(x,y)表示以左图像为参考,从左到右的视差,则d LR(XL,Y)=|XR-XL|=BF/z。
设中间摄像机CI到最左端摄像机的距离为x,则在无遮挡时CI的视差为
视点CI中对应点的坐标值XI为
若已知中间虚拟摄像机位置α、左右图像匹配点的相对位置XL和XR(或者XL和d LR),则点P在中间虚拟摄像机图像上投影点的坐标XI可以由式(5)得到,由此可以获得XI的灰度值
若以右图像作为参考图像,以dRL表示从右到左的视差,同理可以得到
当中间虚拟图像中某一像素点(X,Y)在左右图像中都有对应点时,将式(6)和式(7)进行加权平均作为它的灰度值,即
对遮挡作如下处理:对中间虚拟视点图像中横坐标X<α·Image Width和X>α·Image Width区域的内容分别主要从左参考图像和右参考图像中获取。
3.2 实验结果
用实验室实拍序列“小熊”测试了以上算法,实验结果如图3所示。其中图3a和3b分别为最左端和最右端的参考图像,图3c为生成的新视点图像,可见本文方法生成的图像主观质量良好。
4 基于光场绘制的新视点生成算法
光场绘制利用参考图像数据库来合成新视点图像,其过程可以看作光线查找和插值的过程。为克服一般光场绘制存在的深度固定和焦距固定的缺点,提出一种新的光线数据库的参数化方法,该方法能在较低光场采样的条件下利用一个可变焦平面重构深度值未知且有较大变化的场景,同时还能交互地实现改变焦距和改变景深的功能。
4.1 算法流程
设一条光线r=(s,t,u,v)的颜色值c(r)=c(s,t,u,v),光线r与目标图像平面交点的像素坐标为(x,y),并且(x,y)的颜色值为c(x,y),用K表示投影中心为o的目标摄像机。令w(x,y)表示光圈加权函数,δ为光圈宽度。对于参考摄像机DS,t,用RC表示一个由{(s±δ/2,t±δ/2)}所确定的多边形C,用Rk表示RC在目标摄像机图像平面上的投影。对于在Rk内的每一个像素(x,y),用r表示穿过o和(x,y)的一条光线。
第一步,求出目标光线r与平面C与F的交点(s′,t′)和(f,g)F,并且设定好虚拟光圈的大小,即确定那些参考摄像机的光线参与对目标光线r的重构;第二步,利用映射MsF,t→D:(f,g)F→(u,v)求出光线r与目标图像平面的交点(u,v);第三步,根据第一步得到的(s′,t′),计算不同参考光线对应的加权函数weight;第四步,根据第一步确定的虚拟光圈大小及第三步确定的加权函数weight,利用方程c(x,y)=Σweight·c(s,t,u,v)来计算目标图像上坐标为(x,y)的像素的颜色值。
4.2 实验结果
用日本名古屋大学提供的测试序列“Akko&Kayo”对提出的算法进行验证。图4为利用不同的虚拟光圈生成的具有不同景深效果的虚拟视点图像,其中图4a,4b,4c分别为使用2,4,6条参考光线来合成虚拟光圈。图5为前后移动焦平面时生成的具有不同焦距的新视点图像,其中图5a,5b,5c分别为聚焦在左边人手位置、左边人脸位置和中间窗帘位置时的效果。
可见,所提算法不仅能够利用2D稀疏摄像机阵列生成任意位置的虚拟视点图像,还可以通过交互地改变焦平面的位置和虚拟光圈的大小实现改变焦距和改变景深的功能。
5 小结
笔者对3类图像绘制技术的典型方法进行了改进,提出基于DIBR和图像融合的新视点生成算法、基于视差估计的光线空间插值方法、新的光场参数化方法。所提出的新视点图像绘制方法实验效果良好,适用于真实场景的任意视点绘制,可用于3DTV的场景渲染,满足观众交互性视点变化的要求。
摘要：针对3DTV的应用,对深度图像绘制技术(DIBR)、光线空间表示法和光场绘制法这3类绘制方法分别提出了改进算法,实验结果表明新生成视图质量良好,可以用于3DTV系统的交互式场景渲染。
关键词：三维电视,图像绘制,深度图像绘制技术,光线空间,光场
参考文献
[1]KUBOTA A,SMOLIC A,MAGNOR M,et al.Multiview imaging and3DTV[J].IEEE Signal Processing Magazine,2007,24(6):10-21.
[2]MATUSIK W,PFISTER H.3DTV:a scalable system for real-time acquisition,transmission and autostereoscopic display of dynamic scenes[EB/OL].[2009-03-01.]http://people.csail.mit.edu/wojciech/3DTV/3DTV.pdf.
[3]CHEN Wan yu,CHANG Yu lin,LIN S F,et al.Efficient depth im-age based rendering with edge dependent depth filter and interpo-lation[C]//Proc.IEEE International Conference on Multimedia and Expo,2005(ICME2005).[S.l.]:IEEE Press,2005:1314-1317.
[4]鞠芹,安平,张倩,等.高质量的虚拟视点图像的绘制方法[J].电视技术,2009,33(9):9-11.
医学图像体绘制插值算法的研究 第4篇
关键词：三线性,贝塞尔,体绘制,插值
0 引言
采样计算是医学图像体绘制中经常碰到的问题, 原始的采样数据是一个三维的矩阵空间, 并且x, y, z三个方向上的自由度不同, 但在同一个自由度上采样间隔是相同的。由这样的原始采样点的值构成的三维数据称为体数据。由三维空间上相邻的原始采样点的值估算出其中内部任意一点的值, 我们称之为重采样 (Re-sampling) , 三维空间插值算法通常分为线性和非线性两类, 其分别包括最邻近插值算法 (NN) , 三线性插值算法 (Tri-linear) , 三维三次多项式插值, 三线性PV插值等。本文主要研究Tri-linear插值算法和Bezier’插值算法在医学体绘制中的应用分析与比较。
1 插值算法的原理
1.1 Tri-linear插值函数
线性插值:通过两个采样点 (x0, y0) 和 (x1, y1) 作直线P (x) ≈f (x) , 满足P (x0) =y0, P (x1) =y1, 最后得到的线性插值公式为:
P (x) =y0+undefined, x0≤x≤x1
在图1中, V1, V2, V3, V4, V5, V6, V7, V8为三位空间上相邻的8个点, G (u0, v0, w0) 为位于V1, VZ…V8之间的空间上的任意一点, 设V1, V2…V8这8个采样点上的原始采样值分别为f1, f2…f8, 用它们8个点的原始采样值估算出G点的值fG就是最后插值计算需要解决的问题。用它们8个点的原始采样值估算出G点的值fG。要利用8个邻点灰度值计算G的灰度值, 须做三个方向 (x, y, z) 的线性插值, 首先令x=u0得到的平面与点G所在体素相交于A, B, C, D 4点。在x方向做4次线性插值:f5, f6→fA;f1, f2→fB;f4, f3→fC;f8, f7→fD
再令y=v0, 得到过G点的平面与平面ABCD相交于E和F两点。在y方向做两次线性插值:
fa, fb→fE, fd, fc→fF;
最后, 令x=w0, 得到G点。在z方向再做1次线性插值:fe, ff→fG
1.2 Bezier’插值函数
假设给出n+1个控制点的位置:pk= (xk, yk, zk) , 这里k可以取到0到n。这些坐标混合产生下列位置向量P (u) , 用来描述P0和P1间逼近Bezier’多项式函数的路径。
undefined
Bezier’混合函数:
BEZk, n (u) =C (n, k) uk (1-u) n-k
参数C (n, k) 是二项式系数:
undefined
三次Bezier’混合函数:BEZ0, 3 (u) = (1-u) 3, BEZ1, 3 (u) =3u (1-u) 2, BEZ2, 3 (u) =3u2 (1-u) BEZ0, 3 (u) =u3
三次Bezier’样条插值为:
undefined
在图2中, V1, V2…V64为三位空间上相邻的64个点, W (u0, v0, w0) 为位于V1, V2…V64之间的空间上的任意一点, 设V1, V2…V64这8个采样点上的原始采样值分别为f1, f2…f64, 用它们64个点的原始采样值估算出W点的值fW 就是最后插值计算需要解决的问题。要利用64个邻点灰度值计算W的灰度值, 须做三个方向 (x, y, z) 的Bezier’样条插值, 首先令x=u0得到的平面与点W所在体素相交于A, B…O, P等16个点。在x方向做16次线性插值:f1, f2, f3, f4 →fA;f5, f6, f7, f8→fB;f61, f62, f63, f64→fP;
再令y=v0, 得到过W点的平面与平面ABCDMNOP相交
于Q, R, S, T 4个点。在y方向做4次Bezier样条插值:fA, fB, fC, fD→fQ;fM, fN, fO, fP→fT;
最后, 令z=w0, 得到W点。在z方向再做1次线性插值:fQ, fR, fS, fT→fW;
2 两种算法的性能比较
分别将两种算法应用到几种不同的MR断层扫描体数据上, 观察成像的质量同时计算运行的时间。
从图3中可以看出, 由Bezier’插值算法计算所获得的图像表面比Tri-linear图像光滑, 图像质量好, 能有效地消除插值而产生的阶梯效应。而表1说明, Bezier’插值所花费的时间远远大于Tri-linear插值算法所花费的时间。
3 讨论
插值计算是医学图像处理中急需解决的计算问题, 在这些问题中, 我们通常是根据原始的相邻的采样值去估算某一点上的采样值, 这种通过计算进行重采样的方法在一维、二维、三维空间上得到广泛的应用。重采样的计算通常可分为线性计算和非线性计算, 它们包括最邻近插值算法, 三次卷积插值, 牛顿插值, 三次多项式插值, 三次样条插值, Bezier’插值等。本文采用Tri-linear和Bezier’插值对医学三维体数据进行了相关的工程计算, 并对其计算结果从质量, 性能和速度等方面进行了评价。从图3、表1中可以看出, Tri-linear插值算法成像速度快, 质量也很好, 适用于在质量情况要求不是特别高的情况下, Bezier’插值算法成像质量高, 但计算量巨大, 成像速度慢;适合于在工业上的大型机或巨型机上使用。
参考文献
[1] Lolita, Robin, Virgil.Computed tomography:physical principles, clinical applications, and quality control (secondedition) [M].W.B.Saunders company, 2001.
[2]Jae Jeong, Choi Yeong, Gil Shin.Efficient multidimensional volume rendering, MedicalImaging99[M].USA:San Diego, 1999.
[3]Muharrem, Yazici, Selami Sozubir, Gamze Kilicoglu.Three-dimensional anatomy of the pelvis in bladder exstrophy:description of bone pathology by using three-dimensional computedtomography and its clinical relevance[J].Journal of pediatricortho-paedics, 1998, 18 (1) :132-135.
[4] Han x L.Quadratic Trigonometric Polynomial Curves with a Shape Parameter[J].Computer Aided Geometric Design, 2002, 19 (7) : 503-512.
基于图像的铅笔画模拟绘制技术综述 第5篇
1 基于图像的铅笔画绘制技术分类
目前,国内外有关于非真实感铅笔画绘制均有研究,可以根据其研究现状分为以下几类:正文内容。
1.1 基于执行方式分类
铅笔画生成方式可根据其执行方式进行分类:交互式铅笔画绘制和非交互式铅笔画绘制。交互式铅笔画绘制是指用户可以通过控制画笔的颜色,形状,方向等元素,实现铅笔画的模拟绘制,例如著名的交互式绘图系统Pencil Sketch [1],这个系统允许用户使用鼠标同计算机进行交互,对鼠标模拟出的画笔进行参数设置,例如铅笔的硬度,使用铅笔的压力,铅笔绘制的方向等等。这种绘制方式的优点在于用户可以自行选择在画布上绘图的工具,可以根据原灰度图像的明暗程度选择相对的笔触浓度,可以观察图像选择适当的笔触方向,即是说用户和计算机可以随时进行交互,这就需要有大量的人力介入,建立复杂的模型,并且对用户的绘画功底有一定的要求,限制了该方式的使用。
非交互式铅笔画绘制则是由计算机自动的模拟出具有铅笔画绘制风格的图像。Cabral和Leedom [2]在1993年提出的利用线性卷积技术(Liner Integral Convolution ,LIC)模拟铅笔画效果,在铅笔画仿真领域已是重要技术,之后由很多研究人员对该方法进行了改进,如Mao [3]等人提出的一种利用线性卷积LIC的方式直接将2D数字图像转化成铅笔画的铅笔画生成方法。由于LIC方法容易留下很多不必要的细节,基于这点,李龙生 [4]等人使用傅里叶功率谱法生成铅笔画的轮廓特征,这一改进使得绘制结果越来越接近手绘素描的结果。佟强 [5]等人则是根据已有的素描风格铅笔画自动生成算法,在输入的真实场景的二维图像平面中引入一个虚拟的点光源,通过计算虚拟点光源位置,使其对原图像的亮度梯度影响最小,继而在最终的素描结果中表现出更强的光影效果。莫晓斐 [6]等人则对物体的形体特征进行分析,提出了一种可以根据图像自身的形体特征信息自动绘制铅笔画的铅笔素描生成算法。
1.2 基于处理方式不同的分类
铅笔画生成方式根据处理方式的不同,可以分为二维铅笔画绘制和三维铅笔画绘制。二维铅笔画绘制往往是对已知的图像进行处理,将铅笔画定义成由矢量线段、绘制路径和特征函数组成的数字图像。如Henry Kang等人 [7]提出了一个新的线提取函数:likehood函数,该函数能模拟画家绘制素描的画线过程,通过考虑特征尺度,线与线的细节和聚焦级控制在渲染的模糊程度,从而有效地找到真正的图像形状边界,将2D图像自动生成线条图。
三维铅笔画绘制主要是对三维模型的轮廓和纹理进行渲染,可以比二维绘制提取更多的信息。国内外关于三维铅笔画绘制技术已经有了许多成果,如2012年NPAR会议中,香港中文大学Li Xu [8]提出对图像的轮廓线使用自动生成线条的技术,可以自然的生成各类笔画效果,实现铅笔画中线条分岔的效果,而纹理渲染则是利用一个参数化模型拟合铅笔素描色调,在细节上更进一步的接近铅笔画的艺术效果。
1.3基于色彩模式不同的分类
铅笔画绘制根据色彩模式的不同,可以分为灰色铅笔画绘制和彩色铅笔画绘制。传统的铅笔画绘制一般是指灰色铅笔画绘制,该绘制技术的基础在于对输入图像进行灰度变换,核心在于解决铅笔画的纹理模拟问题,是大多数国内外研究人员关注的对象。李智慧 [9]等人针对现有的NPR铅笔画绘制方法与真正手绘风格的铅笔画之间的差异,提出来一种利用多层双边线条分别与不同方向的运动模糊来生成具有层次感的素描纹理生成方法。
彩色铅笔画绘制同灰色铅笔画绘制不同,彩色铅笔画绘制能借助不同的色彩增添图像艺术效果,即比前者具备更多的色彩信息。谢党恩 [10]等人在传统灰度铅笔画绘制的基础上,提出了一种可以尽可能保留原始图像色彩信息的二维彩色铅笔画绘制方法,使色彩失真得到一定的抑制。
1.4 基于纹理渲染方式不同的分类
铅笔画绘制还可以根据纹理渲染方式不同,将铅笔画绘制分为:使用特定纹理图片与轮廓线融合的绘制方法;使用线性卷积的绘制方法;使用笔触滤波器的绘制方法。第一种使用特定纹理图片与轮廓线融合的绘制方法在NPR铅笔画绘制技术中十分常用,该方法往往伴随着一个调整纹理图像的参数,例如纹理图片的透明度、色调、饱和度等。通过对参数的设置,生成可以跟随图像信息变换的纹理图片,最后再与轮廓线融合生成铅笔画。第二种使用线性卷积的绘制方法是现今较主流的方法,往往先生成图像的梯度向量场,然后将图像按向量场的方向进行卷积操作,这是最早用来实现铅笔画绘制的方法。第三种则是使用笔触滤波器,即把该滤波器作为一个算子对图像直接操作。
2 铅笔画绘制技术的展望
目前,铅笔画绘制技术还处在发展中,其发展时间短,相关研究不够充分,应用领域不够广泛,应用技术也不成熟,但是,这并不影响铅笔画绘制技术的发展,相反,铅笔画绘制技术在今后有着很大的发展前途,主要表现在以下几个方面。
2.1 影视制作领域
在传统的影视制作领域中,宣传片、影视广告片、教育公益片、大型活动策划等视频大多数是以真人为主角,难免会有些乏味,没有创新,如果开发出一款铅笔画绘制软件,可以将拍摄的视频转化为铅笔画风格的视频,或者将计算机生成的卡通动画转换成具有铅笔画风格的动画,其铅笔画本身简单明了,人物造型干净生动,可以在制作过程中提高效率,减少成本,让观众在放松娱乐状态接受信息,还能给观众带来新颖的视觉感受。
2.2 数字娱乐领域
铅笔画风格的APP,其画风干净清新,从视觉上满足消费者的要求,如近年热门的脸萌和Uface,可以让使用者勾画出自己的头像,并加入各种表情,打造属于自己的卡通形象,非常受大众喜欢,再如Miniclip公司出品的《素描人》的涂鸦风格动作游戏,其游戏画面非常精细,没有粗糙感,关卡背景也相当开阔有气势。但是这样类型的游戏数量较少,和传统的游戏相比,玩家更容易被这类游戏吸引,在游戏制作领域具有广阔的前景。
2.3 艺术创作领域
传统的素描画绘制需要耗费大量的时间和精力,并对绘制者的技术有较高的要求,如果开发出素描画自动生成软件,帮助用户创作出精美铅笔画风格家庭、同学聚会相册,可以给大家耳目一新的感觉。
2.4 非真实感领域
非真实感技术的各个领域都是相通的,也就是说,铅笔画中使用的图像分割、轮廓提取、纹理渲染等技术可以很好的应用到水墨画、水彩画等领域中,同理,水墨画等其他非真实感艺术风格生成技术也可以应用到铅笔画绘制技术中,在非真实感技术领域有着重要的意义。
3 结论
本文介绍了非真实铅笔画绘制技术的研究背景和意义,对非真实感铅笔画技术的研究现状进行了阐述,对不同分类方式进行比较,并分析了该技术在影视制作、数字娱乐、艺术创作、非真实感领域的发展应用前景。
摘要：铅笔画运用画笔在平面上表现出万物的形态、结构、色调、空间、位置、明暗,是造型艺术的基础,是科学、哲学、美学的世界。近年,随着计算机技术及软件技术的进步,铅笔画逐步走上了数字领域。从非真实感铅笔画绘制技术的研究现状出发,根据不同的分类方法分析目前铅笔画模拟绘制技术的优缺点,并对未来的研究方向进行展望。
图像绘制 第6篇
实时阴影生成算法是计算机图形学研究中一个基本问题,同时也是研究的难点和热点。通过阴影可以反映出物体之间的位置和相互关系,增加图形的立体效果和真实感。最主要的实时阴影绘制算法是SM(shadow map)和SV(shadow volume),前者基于图像空间,绘制耗费较低,但容易产生走样现象;后者虽不产生走样,但是基于几何空间,算法耗费大,性能受到像素填充率的制约。近来的研究主要针对两种方法进行改进,也出现了混合方法,比如McCool[1]在SV绘制中使用了深度表。
本文综合了两种方法——基于图像与几何空间的方法。在具体实现中,引入了计算掩码技术,以实现对阴影边缘区域的划分。
1SM算法与SV算法
shadow map方法最早由Lance William[2]在1978年提出,它是一个完全基于图像空间的算法,由于它的快速及鲁棒性,很快就被大家所熟识。WilliamReeves[3]对走样现象进行了分析并使用PCF来降低走样,Randima Fernando[5]提出了自适应的阴影表。
SM算法的过程是对场景进行两遍绘制:首先,从光源所在的视角,将场景渲染到深度缓存中,从深度缓存中可以取得一个深度表,并将其存储到一个纹理对象中。其次,从真实视点角度,以常规方式绘制场景。对于每一个绘制的片元(fragment),计算其在光源裁剪空间中的深度值D2,并将此深度值与第一遍绘制后生成的纹理中相应的深度值D1 做比较。如果D2 > D1,则表示该片元与光源之间还有其它片元,片元位于阴影中;否则,当前片元不在阴影中,被光源照明。
shadow volume方法是一种基于几何空间的算法,使用纯几何信息来生成阴影。最先提出这一方法的是Crow[6],而最先用硬件将这一方法加以实现的是Heidmann[7]。
SV算法介绍:SV算法先从光源的方向去找出遮挡物的轮廓线。然后将轮廓线沿着光源方向延伸。这样,所有延伸出来的面形成了一个筒形的区域。如果我们在筒的一端用面向光源的遮挡面封闭,而在延伸出去的无穷远处也用一个平面进行封闭。就可以得到一个完全密封的区域,我们称这个区域为阴影体。这样处于阴影体内的物体就位于阴影之中,而在阴影体外面的物体就会被光源照到。
2融合图像与几何空间的方法
2.1关键思想
Sen8注意到了SM走样现象只在阴影边缘处——阴影和照亮区域的边界处出现,另一方面SV方法对于每一像素都进行精确计算,但是这种精确计算在非阴影边缘处是没有必要的。这一发现使人们想到了一种混合SM和SV的新方法,各取所长、互避其短。关键思想:首先建立一个阴影表,然后使用该阴影表迅速找出图像中位于阴影边缘处的像素区域,接着只针对该区域使用SV算法,而非阴影边缘区域由SM算法计算。这种方法可以大大降低SV算法所需要的像素填充率,因为在整个场景环境中,阴影边缘区域只占一小部分。该方法有绘制更精确的阴影(相对SM),而且大大降低像素填充率需求(相对SV)的优点。为了避免在SV光栅化渲染中,处理非阴影边缘区域,引入了GPU中的计算掩码技术。
2.2方法步骤
(1) 建立阴影表。以光源为视角,渲染深度缓存,考虑到只需阴影表大致的计算阴影边缘区域,故使用低采样率的阴影表,这样可以提高shadow map渲染速度。缺点是低采样率会遗失一些边缘特征信息,通常使得更多的像素被归为阴影边缘区域。
(2) 识别阴影边缘区域。以观察者为视角渲染场景,把各采样点的深度值d转换到光源空间,然后与相对应的阴影表中最近的四个采样点的深度值(d1,d2,d3,d4)比较。如果比较结果不一致(如d>d1,d>d2,d≌d3,d≌d4),该采样点就被分为阴影便边缘区域,否则,该采样点属于非阴影边缘区域,根据具体比较结果,确定为阴影区域(d>d1,d>d2,d>d3,d>d4)和非阴影区域(d≌d1,d≌d2,d≌d3,d≌d4),如图1所示。
(3) 绘制shadow volume.使用基于模板缓存的深度测试,本文使用z-fail深度测试方法,只渲染阴影边缘区域的像素点,只更新帧缓存中包含阴影边缘区域的模板缓存。最后得到的模板缓存包含了非零值和零值,非零值表示该像素点处于阴影中,零值表示该像素点处于非阴影边缘区域。
(4) 计算阴影。最后使用shadow map 绘制非阴影边缘区域。
2.3编程实现的相关问题
在shadow volume绘制中,为了仅对阴影边缘区域进行光栅处理,我们使用GPU中的计算掩码技术,使用它将特殊的帧缓存地址屏蔽掉,这样就可以避免硬件处理这些区域,计算掩码在多通道渲染中得到广泛应用,它可以大大提高渲染速度。当前的GPU并没有直接支持计算掩码,但是使用OpenGL扩展EXT_depth_bounds_test可以解决这个问题,解决方法是:使用像素着色器将超过深度值范围的像素标定为恒定的深度值,启动深度测试,将这些帧缓存地址屏蔽掉,这样就可以在接下来的渲染过程不用处理这些内容单元。
在具体实现(代码如下)中,首先建立2*2的过滤器,然后使用像素着色器将非阴影边缘区域的像素点深度值置为z=0,其余不变;然后启动深度测试,将测试范围置为[ε,1],ε≈0.001,最后使用z-fail模板测试的shadow volume进行渲染。由于GPU忽略了帧缓存中深度值为0的像素点,这样就只渲染阴影边缘的像素点。
// 找阴影边缘区域
3实验结果与讨论
本文通过实验测试了上文所述的阴影绘制方法,并与经典的shadow map进行比较。实验环境为:奔腾4 1.7GHz的CPU,NVIDIA GeForce 6200的显卡,分辨率为1024*768,256M内存,window XP操作环境,使用visual c++进行OpenGL编程实现。
实例:图2为一圆柱体和球体在光源下的阴影效果,A图是使用1024*1024阴影表和2*2线性PCF的SM方法,B图是采用新方法得到的效果图,使用了512*512的阴影表,明显降低了走样现象,使用了较低采样率的阴影表,得到更佳的效果,这是由于使用了SV处理阴影边缘。
本文还将方法应用于复杂模型,新方法有效地克服了走样,取得了良好的绘制效果,同时本文还对实时性能进行了比较,实验结果如表1和图3所示。新的方法增加了处理阴影边缘区域的开销,速度上比shadow map慢,这是由于新的方法使用阴影体方法处理阴影边缘区域,但开销并不大,这是由于本文通过硬件扩展编程实现,节约了CPU时间、加快了绘制速度。
4结语
本文综合了阴影表和阴影体两种方法的优点,同时也有相应的局限性,相对于shadow map的几何无关性,新的方法需要闭包的多边形模型以适应shadow volume处理;相对于shadow volume,新的方法仅局限于方向光源,多了一次渲染过程——阴影体算法识别边缘区域,还好这个额外的开销并不大。
参考文献
[1]Michael DMcCool.Shadow volume reconstruction from depth maps.ACMTransactions on Graphics,2000,19(1):l-26.
[2]Lance Williams.Casting curved shadows on curved surfaces.Computer Graphics,1978,12(3):270-274.
[3]William TReeves,David HSalesin,Robert Cook.Rendering anti-aliased shadows with depth maps.Computer Graphics,1987,21(4):283-291.
[4]薛守良,苏鸿根.实时阴影算法及实现.计算机应用,2004(3):82-84.
[5]Randima Fernando,Sebastian Fernandez,Kavita Bala.Adaptive shadow maps.Computer Graphics,Annual Conference Series,2001:387-390.
[6]Franklin C.Crow.Shadow algorithms for computer graphics.Computer Graphics,1977,11(3):242-248.
[7]Tim Heidmann.Real shadows,Real time.In Iris Universe,Silicon Graphics Inc.,1991,1:23-31.
[8]Pradeep Sen,Mike Cammarano,Pat Hanrahan.Shadow silhouette maps.ACMTransactions on Graphics,2003,22(3):521-526.
图像绘制 第7篇
关键词：高效视频编码标准,快速帧内编码,区域划分算法,编码单元决策
随着多媒体应用高速发展,为了更好地适应高效编码和网络友好型编码的需求,在2010年VCEG ( Video Coding ExpertsGroup) 和MPEG ( Moving Picture Experts Group) 联合成立了视频编码联合组 ( Joint Collaborative Team on Video Coding,JCTVC) 来制定高效视频编码标准( High Efficiency Video Coding,HEVC)[1]。HEVC采用了多种新的编码工具来提高编码性能[2],这就导致计算复杂度大幅地上升,于是针对HEVC出现了很多的快速算法,Shen等人[3,4]提出了利用空域相关性快速编码单元( Coding Unit,CU) 和帧内模式决策算法; Jiang和Zhang等人[5,6]提出基于梯度的快速编码模式决策算法。
由于深度图像是用来绘制虚拟视点并不需要显示,这样针对深度视频这一特性在原有编码算法上产生了很多的改进快速算法,Chang等人[7]利用深度图像特征提出了一种快速模式决定算法; Zhang等人[8]提出了一种深度图像楔形提前决定算法; 在多视点加深度( Multiview Video Plus Depth,MVD) 中,文献[9]利用深度图像和彩色图像的相关性提高编码深度。
综合考虑深度图像特性和HEVC编码框架,本文在HEVC参考代码[10]上实现了基于绘制质量的深度图像快速帧内编码算法,实验结果表明在保证绘制质量的前提下,该算法明显降低了编码时间,提升了编码效率。
1 深度图像特性和绘制失真
1. 1深度图像特征概述
深度图像表征了场景中的几何信息,图1( 原图为彩色图片) 可以看出深度图像是1幅灰度图像,其纹理与对应的彩色图像有很强的相关性且纹理较简单。深度图像的深度值表示镜头到目标物体之间距离,这样也就从另一个侧面表示场景中的物体之间的远近关系。由于同一个物体的表面到镜头的距离是平滑变化的,所以深度图像边缘中间存在大片的平滑变化区域( 平坦区域) 。
总结深度图像特征主要有以下几点: 1) 深度图像的深度值表征了目标之间的远近关系; 2) 深度图像的纹理表示了物体的边缘,且纹理较为简单; 3) 深度图像纹理的中心是大片的平坦区域。
1. 2 深度图像失真与绘制失真
在3D系统的客户端通过基于深度图绘制( Depth-ImageBased-Rendering,DIBR) 技术[11],利用深度图像绘制虚拟视点,下面研究深度图像编码失真与绘制的虚拟视点失真之间的关系。Zhang等人[12]利用DIBR映射原理推导出了在水平阵列相机情况下深度失真与绘制失真可以近似表示为
式中: ΔPr( Δxh,Δyv) 表示在P位置水平失真Δxh和垂直失真Δyv产生的绘制失真; k是尺度因子; ΔDp( xp,yp) 表示在P位置深度图像的失真。可以看出深度图像失真和绘制失真是成线性关系。由于深度失真ΔDp( xp,yp) 产生映射旋转失真,当深度失真一定时,xp和yp可以分别表示为
式中: z,Δz分别表示镜头到目标之间的距离及其失真; x和y分别表示有失真时对应的虚拟视的位置。可以看出当距离失真Δz一定时,距离越远绘制失真越小。深度值和距离的对应量化如下
式中: d为深度图像的深度值; znear和zfar分别表示镜头到目标之间的最近距离和最远距离。
总之,在水平相机阵列中,深度图像失真和对应的虚拟视点失真成线性关系,且相同深度值失真的情况下,深度值越大的区域失真越大,也即越近的目标失真越大。
2 本文算法
深度图像的作用是用来绘制虚拟视点,所以绘制图像的质量是评价深度图像编码性能的重要指标,笔者基于HEVC平台提出了一种面向绘制质量的深度图像快速帧内编码算法,该算法利用深度图像特征提出了基于统计特性的深度图像区域预划分算法,并利用空域相关性对深度图像进行区域再划分。笔者在研究了深度图像编码失真对绘制视质量的影响之后,结合人眼主观感兴趣区域特性,提出了快速CU决策算法和帧内编码模式预先选择算法。
算法实现主要包括3个部分: 首先,利用深度图像的特征采用统计的方法将编码树单元( Coding Tree Unit,CTU) 所属图像区域进行预划分,划分出前景、背景和待定区域; 然后,利用CU空间相关性将待定区域划分为平坦和纹理区域,并对不同的区域做CU和PB块大小做提前决策; 最后,根据PB区域属性对PB帧内模式进行提前选择。
2. 1 深度图像区域预划分
由于深度图像的深度值可以表征目标之间的远近,本文提出了一种基于统计的深度图像区域预划分算法。首先统计得到深度图像值的最大值和最小值,获得判决图像区域的阈值,如图2所示; 然后分别统计每个CTU像素点属性,对CTU所属图像区域进行预划分,程序流程如图2所示。
图2是统计1帧获得当前帧深度值的最大值Dmax和最小值Dmin,然后通过式( 5) 、式( 6) 获得当前帧的前景和背景划分的阈值
式中: fg和bg分别表示前景和背景像素点个数; Tfg和Tbg分别表示前景划分阈值和背景划分阈值。这两个阈值对输入的CTU进行区域预划分,通过图3的过程统计当前CTU属于背景和前景像素总数,当前景像素总数大于预划分阈值时,把该CTU划分为前景区域; 当背景像素总数大于预划分阈值时,把该CTU划分为背景区域; 其他CTU划分为待定区域,这样就完成了CTU区域预划分。预划分阈值Tpre为
式中: WCTU和HCTU分别CTU的宽和高,是常量。
2. 2 HEVC 的 CU 和 PB 决策算法
HEVC中每个CTU按金字塔分层结构分成一定层数的CU( 用CU的深度表征层数) ,而每个CU在帧内编码时又划分为2N×2N和N×N两种形式的PB。
从1. 1节得出深度图像有以下特征: 深度图像纹理的中心是大片的平坦区域,表征目标的表面。该文算法预划分的前景区域就是近景物体的表面,该区域属于平坦区域,适合HEVC的大块编码,结合经验选择CU的深度为0,PB的大小选择2N×2N和N×N两种; 从1. 2节得出越远的目标( 背景区域)编码失真对绘制质量影响越小,由基于人眼视觉特性( HumanVisual System,HVS) 可知人眼对背景区域的失真不敏感,综合考虑这两点笔者对背景区域进行了提前决策: CU的深度选择1和2,PB的大小选择2N×2N。
CU和PB决策算法充分利用了深度图像的特征和HVS,对前景和背景区域的编码CU和PB块大小提前进行了提前决策,减少了块模式选择运算,有效地减少了编码器的编码时间。
2. 3 帧内编码模式预先选择算法
该部分主要包括两个部分: 根据空域相关性再划分待定区域的CU属性以及帧内编码模式预先选择。流程图如图4所示,首先判断当前CU是否属于待定区域( 2. 1节已经对CTU进行了区域预划分) ,如果不属于,即当前CU属于前景区域或者背景区域,则选择当前PB的编码模式为0( planar模式,适用于表面平滑滤波) 和1( DC模式,适用于平坦区域) ; 如果属于待定区域,则根据左上PB的编码模式来判定当前PB属性,如果左上PB均为方向模式( 帧内模式2 ~ 34) 则当前PB属于纹理区域需遍历所有模式; 如果左上PB均为模式1则当前PB属于平坦区域采用模式1; 如果左上PB均为模式0则当前PB属于目标表面区域采用模式1; 其他情况则采用模式0和1。
本部分利用了PB与周围PB的空域相关性,通过已编码的PB对当前PB属性进行预测,对待定区域的CU进一步细划分,然后利用不同区域的特点对编码模式进行预先选择,减少了模式候选项,有效地提升了帧内编码速度。
3 实验与分析
在Intel( R) Core( TM) i3-2120 CPU,4 GHz RAM,32位Windows 7操作系统下进行了实验,算法实现的平台为HEVC参考模型HM10. 0,测试序列 为JCT -3V ( Joint CollaborativeTeam on 3D Video Coding) 官方标准序列,左视点序列分别为Balloons( 视点3) 、Champagne Tower( 视点39) 、Kendo( 视点3) 、Lovebird1( 视点6) 、Newspaper( 视点4) 、Pantomime( 视点37) ;右视点序列分别为Balloons( 视点5) 、Champagne Tower( 视点41) 、Kendo( 视点5) 、Lovebird1 ( 视点8) 、Newspaper ( 视点6) 、Pantomime( 视点39) 。然后分别利用HEVC和本文算法编码左右视点并绘制虚拟视点。本文利用时间节省率( Time SavingRate,TSR) 来表征快速算法编码速度提升
由于绘制视点质量是表征深度图像编码的一个重要指标,本文利用PSNR提升( Increase PSNR,Inc_PSNR) 来表征虚拟视点的客观质量提升,计算如下
式中: THM10. 0,Tprop分别表示HEVC和本文快速算法的编码时间; PHM10. 0,Pprop分别表示HEVC和本文快速算法编码的深度图像解码后的绘制视点的PSNR。
从表1可知本文快速算法可以平均提升35% 以上的编码速度,最终绘制的虚拟视点保持了和HEVC编码基本一致的客观质量。
4 结束语