相关电子技术论文

相关标签

基于切换滤波方法的墙面触控系统设计

发布时间:2019-12-04 15:13

  摘 要

  现今信息技术的蓬勃发展带来了全新的网络信息时代,现有的传播媒介已发生了巨大的变化,从传统的通过视觉传播信息的电视机、计算机等到现在的提供人体与媒介实时互动的人机互动技术。现如今大量的教育汇报、商业广告、游戏娱乐中应用了大屏幕人机互动模式,使人们能够身临其境的操作,最大程度上激发人们的互动兴趣。但是,由于大屏幕人机交互技术属于新兴领域,目前投入使用的各类大屏幕人机交互设备仍存在着诸多不足。例如,基于大型激光传感器检测目标的人机互动系统虽然拥有着较高的精确度,但是硬件设备本身成本已足够高昂,对于应用场合也有较大的限制难以得到大范围的使用;而基于小型Kinect深度传感器的人机交互系统,凭借其体型小巧且成本低廉,能够应用于各类场景等特点,已成为如今发展大屏幕人机互动系统的重要媒介,然而由于Kinect硬件本身采集图像分辨率不高且图像中常常存有大量噪声,从而导致系统难以得到高分辨率的精准的图像。

  针对上述问题以及如何对界面进行快速有效的创建的问题提出解决方案,在对国内外互动投影的发展现状的分析后,基于梯形校正法设计了基于Kinect传感器的墙面触控互动系统,该系统能够在任意墙面上达到实时精准的人机互动操作效果。在图像预处理阶段将工程中的切换系统引入数字图像滤波提出基于切换系统的贝叶斯估计切换滤波方法,在目标追踪阶段采用半身骨骼追踪法排除干扰项,最后基于Ventuz三维编辑软件平台进行实际案例操作演示,验证了本文提出的基于切换系统的改进算法在实际应用中的可行性。

  关键词:大屏幕人机互动系统;Kinect传感器;切换滤波;Ventuz

  第一章 绪论

  1.1 研究背景和研究意义

  现今信息技术的蓬勃发展带来了全新的网络信息时代,现有的传播媒介已发生了巨大的变化,从传统的通过视觉传播信息的电视机、计算机等到现在的提供人体与媒介实时互动的人机互动技术[1]。当受众数量增加,使用者不可能仍使用一个鼠标或键盘来控制屏幕操作,因此更多的非接触式人机互动被投放至学校、商场、博物馆等通过大屏幕展示所需内容的场所,使得受众能够如临其境地自然操作,促进了传播信息的接受度、参与者的积极度。

  目前的人机交互多由语音识别[2]和基于计算机的视觉检测[3]技术实现操控。但使用语音识别时容易被环境噪音等影响,导致识别效率低下、交互反馈较差,尤其是受众数量大的情况下,多人语音识别效果不甚理想。基于计算机视觉开发的图像采集设备能够实时跟踪受众的操作资质,通过一系列的目标分割、动作捕获、实时跟踪等操作,辨别有效操作点,于操作面上反馈匹配触发的事件完成人机互动操作。由于视觉技术使用简易并提供多种交互方式,对于环境内其余干扰项能够较好的去除,因此如今的大屏幕人机交互系统多采取基于视觉技术的交互模式。

  当前的动作捕获研究[4]集中于基于RGB图像对人体图像的灰度特征、运动特征的处理来跟踪检测目标,但由于RGB图像不存在对目标三维空间的信息反馈,难以对复杂环境中的目标检测,目标的跟踪鲁棒性较差,应用范围受到较大限制。因此,现有的研究方向开始更多的集中在利用深度图像对目标进行检测和跟踪,通过Kinect传感器采集目标环境中的深度信息,避免了目标附近的干扰项的影响,将目标从复杂背景中分离出来,提高了检测的准确性与跟踪的鲁棒性。为了克服RGB图像以及深度图像中对人体检测的局限性,本文采用成本低廉的Kinect传感器获取深度图像,并基于Kinect采集的深度图像采用了常被使用在工程领域的切换系统以提高对图像滤波的准确性,完善对操作者的动作跟踪,实现复杂环境下的自然的墙面人机交互。

  深度图像[5]被广泛应用于无人驾驶导航、大屏幕人机交互等领域。当前获取深度图像主要为两种方法,第一种是通过计算机视觉技术计算二维图形特征与三维空间的几何对应关系,但是这种方法存在严格的限制条件,对于图像的校正也提出了相当高的要求,因此在实际应用中很难得到大范围的使用。第二种方法是通过ToF(Time of flight,飞行时间)或光编码技术捕捉三维场景的深度,由于能实时获取深度图像,这种方法受到了越来越多的关注。

  1.2 国内外现状

  随着人机互动多媒体技术的近十年的发展,互动投影成为人们对与更高水准交互式体验的产物,结合了虚拟仿真技术和人机交互技术的互动投影为人们营造了直观逼真的环境氛围,创造出一个具有真实感的自然环境。美国GestureTek[6]公司是在互动投影领域已有了几十年的历史,在运动检测方面也处于世界级领先地位。该公司的VGC(多视频手势控制)技术让操作者直接控制多媒体,通过对获取到的人体运动信息进行处理,从而触发沉浸式的3D虚拟互动世界。同时,GestureTek公司也创造了多种多样的的体感操控设备,Gesturepoint的高清播放机的开发更是使得操作者无需使用任意辅助设备就能通过自身身体控制,更大程度上的营造了一个具有真实体验感的虚拟环境。而相对于国外的先进技术发展,目前国内对于互动投影技术的研究仍处于落后阶段,更多的是对于国外引进产品的研究,这种缺少创造性的研究极大程度上削弱了国内类似产品的竞争力,因此对于互动投影的进一步研究迫在眉睫。

  图像滤波处理在整个图像分析阶段中属于图像的预处理阶段,属于对数字图像恢复的技术范畴。深度图像与彩色图像是对三维空间场景的不同观察方式,两者之间存在很强关联性。传统的目标识别研究大多基于对RGB图像的检测,并在过去的数十年中取得长足的进步。但基于RGB图像的目标识别仍然是一项复杂的工作且并不具备非常理想的识别效果。由于人体的个体差异性、动作习惯、衣着个性等都有显著的差异,对于最终的识别结果均会带来难以预估的影响。针对采用深度图像识别目标的深度传感器一经上市就有效地提升了机器视觉感知三维世界的信息受理能力。由于对工作场所的光照环境要求不是很高,并且是基于对检测范围的物理距离远近的探测,相比RGB图像,深度图像的产生使得目标物能够更加精准简易地从工作环境中被识别提取出来。尽管深度图像的出现为目标提取提供了新的方向,当前的滤波算法仍大部分面向彩色图像,适用于深度图像的较少,很多研究者都将针对一般图像的滤波算法直接应用于对深度图像进行滤波,如高斯滤波[7]、中值滤波[8]、均值滤波[9]和小波算法[10]等。而双边滤波算法自提出以来,由于其够有效的进行去噪并能够兼具良好的平滑效果和无需迭代的特性,在图像处理领域获得了广泛运用。通常,针对深度图像的增强方法可概括为以下2大类:基于全局优化的插值方法[11]和基于双边的插值方法[12]。在双边滤波基础上提出的联合双边滤波器是 Petschningg 等[13]于2004年提出的一种改进算法,以加入另一幅导向图的方法减少空洞,得到效果更好的权值。椒盐噪声通常使用中值滤波进行去噪处理并能得到效果良好的去噪后图像,在文献[14]中两个用于减少图像中椒盐噪声的滤波器,即自适应边缘保持滤波器和自适应开关双边滤波器被提出。

  运动跟踪的研究起源于上个世纪六七十年的西方国家,Dalal等人[15]提出了基于HOG(Histogram of oriented gradient)梯度直方图特征的算法,解决了静态图像中行人监测的问题。文献[16]在人体跟踪方面,提出了基于改进的Meanshift算法的目标跟踪方法,通过判别跟踪区域是前景区域或背景区域以设置权重系数,同时将跟踪区域精确到检测范围内的目标人体,再结合Kalman滤波器对人体下一步的运动方向进行预测,能够有效降低由于背景区域干扰带来的的计算量达到更好的跟踪效果。我国科学部门对目标跟踪技术给予了充分重视,在召开了三届智能视觉监控会议后,大幅度提升了利用人体追踪技术对日常监控的广泛利用程度。目标检测技术也被应用于日常很多公共场合的监管或生活监控,例如银行、机场、火车站等对安全系数要求较高的公共场所就能看到该技术的使用。

  1.3 主要研究内容

  本文提出一种低成本、便捷、精准的新型互动投影系统——基于切换系统的Kinect墙面触控互动投影系统,并对其从滤波、跟踪、实际应用等方面进行介绍优化。针对Kinect采集的深度图像存在噪声导致图像粗糙的问题,提出将切换系统应用于图像滤波的研究方向,通过子系统去除普遍存在的高斯噪声、椒盐噪声,加入基于骨骼定位的动态手势追踪方法,优化实际墙面触控应用中存在的追踪目标不当等问题。将提出的切换系统投放到实际应用场合。结合ventuz界面给出实际效果图,通过对轨迹的追踪测试,验证实际应用场合的系统稳定性。主要内容可概括如下:

  (1) 搭建一个基于Kinect传感器的互动控制系统,阐述其基本原理,并利用投影技术和动态捕捉方法来创建智能交互区域。

  (2) 在深度图像预处理阶段,针对常用的滤波算法复杂度高、耗时长,影响互动投影系统的实时性等问题,提出一种基于切换系统的切换滤波算法以优化去噪图像。

  (3) 在目标跟踪阶段,针对可能出现的背景干扰项提出采用Kinect的骨骼追踪法,以保证仅将人体目标判断为有效操作点,避免了可能存在的背景干扰项。

  (4) 结合Ventuz三维编辑软件与基于Kinect的墙面触控投影系统通信的相关技术,通过对目标轨迹的跟踪测试验证系统的优化性能,最后以汽车部件展示为例,介绍墙面互动投影系统的实际应用,并展示其互动内容及其互动效果。

  1.4 章节安排

  全文共分为五个章节,其中各章节主要内容安排如下:

  第一章,绪论。该章节首先阐述了当前大屏幕人机互动技术的发展情况,并指出其不足。其次介绍了大屏幕人机互动技术相关的互动投影技术,数字图像滤波技术以及人体目标追踪相关的国内外研究现状。

  第二章,基于Kinect的墙面触控系统设计方案。该章首先介绍了基于Kinect的墙面触控系统的主要构成,分别介绍了硬件部分和软件部分的相关部件。然后介绍了系统的整体搭建和互动投影面的标定过程。最后介绍了Kinect传感器的深度摄像头所拍摄到的深度图像中有哪些需要经过滤波去除的噪声点,去除噪声的方法在第三章中详细阐述。

  第三章,基于切换规则的深度图像切换滤波算法。该章节首先对本文采用的切换系统进行了简单介绍,为了达到去出多种噪声的目的将工程中的切换系统引入数字图像滤波中。其次对切换系统中的切换规则进行详细阐述并给出算法流程,并对切换系统中采用的两个子系统,分别为联合双边滤波子系统和改进的自适应中值滤波子系统作介绍。最后通过客观评价法验证系统的性能,实验安排如下:通过对比原始含噪图像、单一去噪算法滤波后图像以及本文中的切换滤波滤波后的图像,给出不同算法下的峰噪比与运行时间对比以验证算法的优劣,能够看出滤波后图像中存在的噪声能够基本去除。

  第四章,墙面触控系统基于Ventuz平台的实际应用效果。该章首先是对针对动态目标跟踪使用的Kinect中的骨骼追踪进行了原理介绍。然后介绍了Ventuz软件平台的使用。其次,基于Ventuz平台通过对单点简易操作、单点复杂操作和多点操作的轨迹操作分析给出实际应用示例,验证基于切换系统的墙面触控系统的性能的鲁棒性。并基于Ventuz平台,操作汽车模型实际案例,通过对汽车“分”操作的演示,以及汽车车体颜色选择的演示,验证切换系统在实际应用中的准确性与实时性。

  第五章,总结与展望。该章对本文的主要工作和研究进行总结,并对下一步的相关工作研究进行展望。

  第二章 基于Kinect的墙面触控系统设计方案

  本章节将介绍基于Kinect的墙面触控系统设计方案,针对系统的搭建和具体实际使用方法进行介绍,并提出系统存在的需去除的噪声问题。

  2.1 设计方案概述

  本系统在捕获用户姿势信息方面使用Kinect传感器,通过数据线将信息传至控制平台,经过软件运行并识别后上传至应用层,将识别出的姿势信息匹配至相应的触发事件于互动平面上显示,以此完成操作更简便、使用更卫生的墙面触控。系统的硬件部分主要由控制主机、Kinect体感传感器、投影设备等硬件组成。

  硬件部分主要由控制主机、Kinect传感器以及投影设备构成。通过对操作者动作姿势的实时监测,反馈相应的触发事件。

  (1) 控制主机:通过对Kinect传感器传递反馈的信号作软件处理,将所得实时结果输出到屏幕上。

  (2) Kinect传感器:通过RGB(彩色)摄像头、红外摄像头和红外线发射器的配合探知操作者的位置深度等信息,经简单处理后传输给控制主机。Kinect for Xbox360以每秒30帧的速度获取RGB图像和深度图像的数据流,所得图像分辨率均为640×480。

  (3) 投影设备:输出经控制主机处理过的图像信号,显示精准的时时操作结果。

  软件模块分为控制软件和显示软件两部分,基于OpenCV函数库通过Visual C++6.0编程,达到将数据采集、图像滤波、屏幕显示、算法仿真与实时控制集合一体的目的。

  (1) 控制软件:由数据采集、图像滤波和数据通信三大模块组成。数据采集模块负责接收来自Kinect传感器采集并传输得到的原始数据,数据滤波模块负责去除原始数据中存在的噪声、空洞,数据通信汇总所得数据后传输至互动操控软件。

  (2) 显示软件:根据用用户所需编辑合乎要求的的互动内容,并将互动结果投影至互动界面上。

  对于系统软件环境配备,要求操作系统支持Windows7以上版本,性能良好的Kinect设备处理器程序。Kinect传感器的控制分析程序用C/C++实现,最终通过Ventuz软件实现展示。本文采用的Kinect v1如图2所示,可使用USB2.0接口进行数据连接,并支持大部分的电脑以及笔记本的使用。。

  2.2 硬件选型与介绍

  为了获取图像中的深度信息,常用单目相机、双目相机和深度相机来捕捉深度信息。其中,单目相机拍摄的图像是将三维空间投影至二维平面,在恢复三维结构以获取深度数据的过程中必须更换视角,即需要在实时获取数据时不断挪动相机,无法满足在不移动相机时获取深度数据的要求。而双目相机具有能够很好的排除光照影响的性能,但在昏暗的环境中不能表现很好的鲁棒性,时间复杂度高占用相当高的性能,无法满足系统的实时反馈要求。而本文选择的基于结构光技术的Kinect能够完成较短时间内的实时反馈,能够在固定相机的条件下满足中高精度的场合的操作应用,但获取的深度图像中仍然存在一系列噪声,因而需要对获取的深度图像进行去噪处理,具体的去噪算法将在第三章中详细介绍。

  Kinect主要包括彩色摄像头,深度传感器和多阵列麦克风等部件,Kinect传感器设备如图2.2所示。主要部件及功能如下[17]:

  (1) 红外线发射器:通过主动将近红外光谱投射到粗糙物体表面,光谱将会发生扭曲,由红外摄像头读取随机的反射斑点。

  (2) 红外成像摄像头:分析红外光谱,创建可视范围内的人体、物体的深度图像,分辨率均为640×480,每秒30帧。

  (3) 彩色摄像头:用于拍摄视角范围内的彩色视频图像,分辨率均为640×480,视角为垂直方向43°,水平方向57°,每秒30帧。

  (4) 麦克风阵列:由四个麦克风组成,能够接收声音信号,用于检获声音指令,处理背景噪声。

  (5) 仰角控制马达:座内装有驱动一组塑料齿轮的马达和空间感知器,具有机械转动功能,调节范围

  ,从而帮助Kinect获得最佳的有效观察位置。

  (6) 逻辑电路:该部分由三块电路板构成,两块装有核心芯片Prime Sense PS1080用于图像处理和语音处理,第三块电路板配有加速度传感器以判断设备的倾斜度。

  Kinect传感器本质上属于输入设备的范畴。它给用户提供包括深度数据流、彩色视频流、原始音频数据等的三大类原始数据信息。

  Kinect的红外线发射器采用光编码技术,主动将近红外光谱投射到预设场景中,通过另一个红外成像器所捕获到的红外光谱的变形,从而来确定深度信息。它所应用的深度测量技术为一种结构光(Light Coding)技术,也就是用光源打到需要测量的场景并对其进行编码,但与结构光不同的是它的光源成为"激光散斑",它是由激光从粗糙表面反射,或者从具有散射功能的物质如毛玻璃等的内部穿射后,形成具有高度的随机性散射或透射时随机形成的斑点,并且会随着距离的不同而变换形状。这些斑点随着不同的距离变换形状,因此只要在检测空间中加入此类结构光,整个空间就会被标记,且空间中任意两处的散斑形状都是独一无二的。在对存在于检测空间内的目标进行距离检测之前需要将整个空间的散斑图像记录下来,所以需要对待测空间做一次光源标定。标定的方法是隔开一定特定的段距离取一个参考平面,把参考平面上的散斑图像记录下来。通过对整个待测空间进行标记,当把一个物体放进这个空间,通过对物体上面的散斑形状的观察,就能够得出该物体在待测空间中的实际位置情况。

  在深度图像中,规定纯白代表无穷远,纯黑代表距离无穷近,灰色区域代表距离区间内的物体到传感器的实际物理距离,通过对应距离函数公式计算,生成由颜色深浅代表不同距离的深度图像。通过传感器的每秒30帧图像,完成对周围环境的实时监测。下图2.3为使用Kinect获取的RGB图像和深度图像:

  2.3 系统的搭建与界面标定

  本文的墙面触控系统通过借助投影仪在任意墙面或幕布投影构成互动界面,如图2.4所示。

  Kinect的固定范围为待互动屏幕正上方1-3m范围,距离墙面5cm至6cm。投影仪置于互动面正前方,通过调整投影仪距互动面的距离来调节投影面大小。操作者站在互动区域内通过手部的点击、挥动、旋转等对互动界面进行操作。

  传感器连接在控制主机上,打开互动控制软件,出现控制界面如图2.5所示,勾选Monitoring以及左下角Available,根据实际操作情况确定界面的Maximum depth和Minimum depth(投影底部和顶部深度),左右画面中间的滚轮可上下调节,确定互动投影操作面距离墙面的距离,在出现的绿线以内靠近墙面的范围皆为有效操作范围。点击START按键,出现监视画面。界面左侧显示的是传感器捕捉到的画面,右侧是跟踪定位的显示面,互动投影面为倒梯形。投影界面标定注意事项:

  (1) 确认投影界面设置在控制界面范围内;

  (2) Lefttop corer、Righttop corner、Leftbottom corner、Rightbottom corner是互动投影面定位校准按键,校准后点记录保存;

  (3) Left Kinect、Right Kinect表示系统可以同用一台或两台Kinect。

  操作者只有在互动投影范围内操作才能被系统捕捉,而Kinect检测的范围与投影设备投影的互动面有所偏差,因此在实际操作之前需要对投影面进行校准。图中所示蓝线为投影画面畸变产生的误差线,为消去与Kinect传感器检测的存在的偏差使其与系统框定范围一致,本系统采用梯形校正法,原理图如图2.6所示。

  图2.7 实际校正操作图

  2.4 图像噪声分析

  基于摄像机拍摄得到的图像受离散的脉冲、椒盐噪声和高斯噪声等的影响,图像的质量得不到保证并使得原图像的细节信息被覆盖,对后续的图像分析和应用带来不便,导致无法得到理想的应用结果,因此在处理图像之前需要对图像进行去噪预处理。

  理想的图像去噪应满足以下三方面。首先,去除图像中尽可能多的噪声点;其次,原图像中的重要细节信息应当被尽可能多的保留;最后,在去除噪声的同时不加入额外的噪声干扰。通常,现有噪声征可分为:

  (1) 高斯噪声。由于工作范围内存在的不良照明和传感器的高温影响,在实际使用中,很难达到完全去除热噪声等的工作条件,因此抵抗高斯噪声也是滤波的重要的环节。

  (2) 椒盐噪声可以认为是白噪声(盐噪声)和黑噪声(椒噪声)的叠加,在视觉上表现为黑白随机分布的噪点。通常在传感器的图像获取阶段、信号传输阶段和图像编码阶段产生,包括传感器的局限性和通信过程中的故障等。在数字化通信中,椒盐噪声是出错的主要诱因。

  (3) 冲击噪声指的是噪声的亮度与其领域像素差异很大,若图像中存在冲击噪声则会对图像造成较大的破坏,一般情况下仅少量的冲击噪声就可对整个图像造成不可磨灭的影响。

  (4) 量化噪声指的是非数字图像在量化为数字图像的过程中产生的噪声。

  除此以外,低成本的深度图像获取设备存在分辨率低、存在空洞等问题。

  本文提出的墙面触控系统主要存在深度图像中的空洞、以及图像传输中无法避免的椒盐噪声以及少量高斯噪声,若能完成对噪声的理想去噪,则能输出不影响后续姿势匹配的输入结果。针对无法同时去除多种噪声的情况,本系统提出引入工程中的切换系统进行数字图像滤波切换,以此提出可滤除多种噪声的可行方法。

  2.5 本章小结

  本章首先介绍了墙面触控系统的硬件部分和软件部分的主要构成,并介绍了其中应用到的相关部件。然后介绍了系统的整体应用环境的搭建和互动投影面的标定过程。最后介绍了Kinect传感器的深度摄像头所拍摄到的深度图像中有哪些需要经过滤波去除的噪声。

  第三章 基于切换规则的深度图像切换滤波算法

  本章将详细介绍切换系统的工作原理,并介绍本文采用的滤波子系统,将切换系统引入对深度图像的滤波系统,通过使用在已设计并校正好的控制平台进行实际操作,比对实验结果并给出分析。

  3.1 切换系统介绍

  切换系统[18,19]在实际应用中有着广泛的应用,其可将复杂的难以控制的复杂系统转换成相对简单的切换系统,一般由系统的内外环境变化引起子系统的切换,例如用于电力系统的继电器开闭等。

  切换系统是以切换为主要特征的重要而典型的一种混杂系统。切换系统的稳定性不同于一般的线性系统或是非线性系统,由于系统状态是由切换信号改变而跳转至下一连续区间子系统,子系统相互之间是离散的关系,而各个滤波方法之间也存在离散的关系,为切换系统引入数字化滤波提供逻辑依据并确保其可行性。

  3.5 切换滤波算法实验结果分析

  图像质量评价是数字图像处理领域的基本技术之一。当一副图像在传输的过程中,可能受到各种内外部干扰造成的噪声,对其作去噪处理使得图像更接近未干扰的原始图像,通过对比实验验证本文提出的切换滤波的滤波性能。

  首先做一组操作者从屏幕从左至右移动,Kinect采集的原始深度图像的滤波效果试验。在Kinect采集的原始深度中人为加入噪声,第1、5、7帧加入标准差其中,M代表图像的长,N代表图像的宽。MSE是原始图像与处理之后图像之间均方误差,MSE值越小说明滤波后的图像和原始图像越接近,从而PSNR值越大说明滤波效果越好。借助Matlab软件分别求出经过上面提到的三种滤波算法处理的图像的峰值信噪比。

  表3.1 两次试验后各图像的峰值信噪比

  第1帧第3帧第5帧第7帧

  联合双边滤波31.10214.78529.25830.768

  自适应中值滤波28.93415.21129.25128.907

  切换滤波34.09833.73834.17133.549

  对比分析表3.1可知,经过联合双边滤波,空洞有所减小但仍然存在,主要受高斯噪声的几帧图像PSNR值较大,而主要受椒盐噪声影响的图像PSNR值较小;经过自适应中值滤波,空洞略微减小,而受椒盐噪声污染的的几帧图像PSNR值较大,受高斯噪声影响的图像PSNR值较小;而经过基于切换系统的切换滤波后,各帧图像的PSNR值比另外两种算法的都大,基本在34左右,空洞也明显减小。由此进一步说了单一的去噪算法只能去除特定噪声的情况,而本章提出的切换滤波对混合噪声的处理效果明显比任何一种单一的滤波器都要好。从实验数据可得出,本文提出的基于切换系统的切换滤波效果最佳。

  表3.2 两次试验不同算法运行时间对比(/ms)

  实验1实验2

  联合双边滤波1911/

  自适应中值滤波/1203

  串联滤波29833002

  切换滤波18481821

  于表3.2中,加入串联滤波共同验证不同算法的运行时间,串联滤波表示使用联合双边滤波后,进一步引入自适应中值滤波进行滤波。表数据说明,由于加入了墙面切换算法,切换滤波的运行时间虽然比单一使用联合双边滤波算法和自适应中值滤波算法长,但相比重复滤波的串联滤波的时间短。相比较而言能够实现算法运行时间的优化。

  3.6 本章小结

  本章首先对本文采用的切换系统进行了简单介绍,提出将工程中的切换系统引入数字图像滤波中,达到切换多种噪声的目的。其次对切换系统中的切换规则进行详细阐述并给出算法流程,对切换系统内的联合双边滤波子系统和改进的自适应中值滤波子系统作介绍。最后通过客观评价法验证系统的性能,通过对比原始含噪图像、单一去噪算法滤波后图像以及本文中的切换滤波滤波后的图像,通过对不同算法下的峰噪比与运行时间对比,验证算法的优化性能,实验可得经过墙面切换滤波后的图像中存在的噪声能够基本去除。

  第四章 墙面触控系统基于Ventuz平台的实际应用效果

  本章首先对动态目标追踪所使用的半身骨骼追踪法进行了介绍,并介绍了Ventuz三维人机互动内容编辑软件功能以及与Kinect传感器通讯的原理,并在通信基础上介绍了实际工程案例——汽车模型互动操作演示,并通过对系统原始算法和改进算法的互动效果对比分析,进一步验证改进算法对于系统的优化效果。

  4.1 基于Kinect骨骼追踪的动态目标追踪

  Kinect传感器由于其多方面的优势已在大量的互动操作领域有所使用[23]。基于现有大量对手势识别的复杂算法相比,由Kinect传感器获得的人体骨骼信息包含的数据量更小,并且能够对人体进行实时准确的动作姿态定位,为人体识别提供了有利的基础条件,被应用于对失能老人的监控[24]、对音乐喷泉的控制[25]等新兴领域。由于系统的操作界面为一个可操控的空间范围,当设定的操作点进入范围内即可认定为有效操作,本系统采用对人体骨骼点的探测激发墙面触控系统的有效操作点的识别。

  骨骼追踪[26,27]是获得人体实时骨骼点的重要追踪过程,通过获取切换滤波算法去噪后的深度数据流,分割出人体并对人体部位逐点扫描,如图4.2所示,Kinect识别出人体多达20个的关节点,最终生成需要的人体骨骼架构,准确判断人体的实时位置,具体流程如图4.1所示。另外,Kinect 的骨骼跟踪能够兼容不同身高的目标人体,提供幼儿到成年的各个身高要求的追踪,使得用户的多样性得以保证,除此以外Kinect传感器还可以通过使用半身骨骼追踪模式分辨坐在椅子上的人体。为了更好的追踪判别目标,Kinect配备有追焦技术,装载了仰角马达以此进行摇头操作,使得检测视角大大扩展,检测范围也得到了显著提升。

  如图4.2所示,Kinect传感器所能识别的20个骨骼点分别为:头部、肩部中心、左肩、右肩、左肘部、右肘部、左手腕、右手腕、左手、右手、脊柱、臀部中心、左臀、右臀、左膝、右膝、左脚踝、右脚踝、左脚、右脚。Kinect传感器识别的20个骨骼点信息中,如图4.3所示,设每个骨骼点的空间位置为4.2 三维编辑软件Ventuz平台介绍

  Ventuz[28]是由德国维图斯公司开发的一款实时互动影像3D设计平台软件,是一套专门为设计师制作高品质的实时影像而开发的3D设计平台,由电视广播、专业多媒体和后期制作行业的专家在2004年研发设计,主要用来解决在利用传统常规技术所出现的问题。可以被各种复杂的硬件系统兼容,集虚拟植入、大屏展示、多媒体互动、周边系统整合一体化、实时互动、控制指挥的等功能于一体,运行可靠且稳定。

  2018年2月,高端珠宝品牌卡地亚为了再次进入科威特市场,并介绍新系列产品——Cactus de Cartier,于科威特的一个公园举办了为期5天的颇具影响力的绿色主题活动。在Ventuz三维编辑软件的帮助下,卡地亚建造了一个长度为8米的媒体隧道,并配以一个大小为20平方米的交互式视频投影墙,如图4.5所示。在展示策略方面选择一个具教育意义的绿色主题,主要介绍了仙人掌的特性、仙人掌的栖息地和相应的繁殖周期。当有访客进入这个区域时,媒体隧道将会显示出一个美妙的沙漠环境,让访客仿佛置身于沙漠之中。当系统捕捉到访客的动作操作后,仙人掌会徐徐盛开,鸟儿飞翔而来给花朵授粉,这副美妙的场景将一直陪同游客走到媒体隧道的尽头。

  在互动投影系统的实际操作中,当互动区域确定之后,还需要一个控制软件与Ventuz内容显示软件进行通信。在应用程序和系统软件比较复杂的情况下,需要中间件来协调二者的关系。本系统主要应用中间件MOM(Message Oriented Middleware)来接收输入设备发送的数据,进行相应的处理后,将转换后的消息发送到Ventuz软件。系统中利用面向消息的中间件MOM后,可以兼容多种输入设备[29],如Kinect传感器、移动设备终端等系统中MOM的对输入设备传送的数据按照可制定的映射关系表进行转化,满足不同应用场景的需要。

  4.3 基于Ventuz平台的轨迹操作分析

  在自主搭建的触控系统上进行轨迹跟踪实际案例,系统的搭建在第二章中已介绍,通过MOM中间件Ventuz与Kinect完成通信。在VENTUZ中打开轨迹跟踪,在已校准的互动界面内开始操作。

  操作平台与Ventuz连通后,点击轨迹显示,随着操作者手的移动,互动界面中显示出一条平滑的轨迹,如图4.6所示。

  图4.6 单点简易操作示意

  其次,在平台界面中演示较为复杂的单手移动操作,图4.7中所示本系统在操作者单手操作的情况下能够得到平滑精准的轨迹示意图,显示出本系统对于复杂轨迹的跟踪也能满足较高的实时性与精准性,具体操作如图4.7所示。

  图4.7 单点复杂操作示意

  接着,操作者在墙面触控系统平台下双手操作,通过Ventuz轨迹跟踪可得多点操作的跟踪图,轨迹显示各个指示都能得到迅速的反馈,显现出本系统在多点触控下的较好的跟踪性能,互动效果优异。双手操作轨迹如图4.8所示。

  图4.8 多点操作轨迹图

  最后,未采用基于切换系统的滤波时,尽管操作者的操作速度缓慢,但轨迹跟踪仍时常出现如图4.9所示红色警示标志,警示标志的出现表明滤波前的系统无法对操作者的手部进行实时准确的跟踪,体现了较差的鲁棒性。

  图4.9 滤波前操作轨迹图

  针对具体操作示意图,通过主观评价的方法评判采取基于切换系统的墙面触控系统性能。通过对上述系统轨迹图像的质量判断好坏判断,得出本切换系统的墙面触控系统具有较好的实时性、精准性、鲁棒性。

  4.4 基于Ventuz平台的汽车模型案例

  在自主搭建的互动投影系统上进行实际案例演示,Ventuz通过MOM与Kinect通信。系统总体构架已在第二章中详细介绍,在此不再赘述。Ventuz与Kinect通信成功后在校准好的互动面内进行互动操作。在Ventuz中打开汽车模型演示的样本案例,打开案例后随意触碰互动平面内一点,一辆设计好的红色汽车通过短暂的动画效果由远及近停至界面中央,由图4.10所示为触碰随意一点后案例初始界面。

  图4.10 汽车模型案例初始界面

  在互动界面中,汽车模型根据操作者点击界面下方两侧的方向按键控制车身全方位旋转。互动界面右上角列有“分”、“合”两个选项,通过依次触控按键控制车身的分开整合,可以依此对车身的内外部构造进行演示。操作者轻击“分”按键,汽车内外部构造展开,且如图4.11所示界面上从左至右从上至下出现传动系统、转向系统、辅助部分、车身四个可加载选项,可通过点击相应按键展开详细内容介绍。

  图4.11 汽车模型“分”状态

  界面左上角在“首页”选项右侧附有颜色选项,点击进入颜色选择状态下,点击下方多种颜色条带即可改变车身颜色。如图4.12所示,不论系统当前处于何种界面,只要用手点击界面左上角的“首页”键并保持到进度条满,即可回到系统的初始状态。通过本案例的演示,体现出本系统在基于Ventuz平台下的可执行性,可以满足多种类多方面的教学、商业等操作演示。

  图4.12 选择汽车车体颜色状态

  4.5 本章小结

  本章首先对应用于对动态目标跟踪的半身骨骼追踪法进行了简单介绍,然后介绍了采用的Ventuz三维编辑软件平台的功能及使用。其次,基于Ventuz平台通过对单点简易操作、单点复杂操作和多点操作的轨迹操作分析给出实际应用示例,验证基于切换系统的墙面触控系统的性能的鲁棒性。并基于Ventuz平台操作汽车模型实际案例,以此验证切换系统在实际操作应用中的准确性以及实时性。

  第五章 总结与展望

  5.1 本文总结

  目前,在人机互动技术多方面多角度的发展背景下,越来越多的人机互动系统出现在人们的日常生活中。本文针对现有的大屏幕人机互动或内外的研究现状,提出了一种基于切换系统的墙面触控系统设计,可以在任意墙面下达到清晰良好的互动效果。通过Kinect传感器在自主搭建的互动平台中验证系统性能,针对系统存在噪声以提高系统精确度和实时性为目的提出了基于切换系统的滤波改进。最后,将改进算法在Ventuz软件平台上演示,实现现实工程中的应用。本文完成的主要工作总结起来有如下几个方面:

  (1) 研究的准备阶段。阐述了本文的选题的研究背景以及研究意义。通过自主搭建的一个基于Kinect传感器的墙面触控系统,介绍了系统的基本构架和相关技术原理,并利用梯形校正方法确定实际互动界面。

  (2) 图像预处理阶段。针对低成本深度摄像设备存在的空洞现象,以及深度图像在采集传输过程中无法避免的高斯噪声和椒盐噪声,提出了一种基于切换系统的切换滤波算法。将切换系统引入到数字图像滤波过程中,针对不同帧节的不同噪声,通过满足贝叶斯估计的切换规则切换至能够去除当前图像中噪声的滤波算法,同时满足了滤波的准确度和实时性。通过对比实验结果得出,本文提出的切换滤波对多种随机噪声的滤波效果优于一般的滤波算法,同时能够在运行时间方面达到小于两种滤波算法叠加的目的,使得滤波算法的实时性与准确性有所保证。

  (3) 目标跟踪阶段。通过对人体骨骼的追踪省去了对目标追踪的复杂运算,并通过判断Kinect传感器所给出实时骨骼点进入操作面确定实时有效操作点。根据Kinect位置的特殊性,针对可能存在的人体遮挡以及追踪不完整的问题,采用了半身骨骼追踪的方法省去对操作者下半身的有效操作点判断,节省了大量的时间和运算复杂度。

  (4) 系统展示的实际应用。对Ventuz三维编辑软件及相关技术简要介绍,设计编写了一段汽车结构互动内容并在Ventuz平台下实际演示,并介绍了与Kinect通讯的中间件技术MOM。借助该软件编写了一段汽车模型展示互动内容,并给出了多种操控的人机互动演示,对演示效果做了算法改进前后对比,进一步验证了改进算法的优化性能。

  5.2 展望

  本文所提出的基于切换系统的墙面触控设计虽然已经被验证了能够应用在实际场景中,并在实验研究中显示了较好的可操作性,但随着研究的深入也发现了一些无法周全考虑的问题,由于研究时间的限制,在这里作一展望,可以给后续研究提供新的思路和方向。

  (1) 首先是精确度(包括鲁棒性),互动系统对精确度的要求会随着用户需求不断提高,预处理滤波和改进跟踪算法只是其中一方面,可以考虑从硬件设备升级、识别控制软件的优化的等全方位提高系统精确度,实现更自然的人机交互。

  (2) 其次算法本身也存在者需要改进的地方:图像预处理阶段使用的基于贝叶斯估计的切换规则能对下一帧图像的选取做到有效预判,但无法减小滤波时间,存在一定时间上的延迟。考虑接下来进一步对切换规则优化,拟采用平均驻留时间切换方法以减小滤波的最小切换时间。在进行试验时仅以单目标为例,而没有进行多目标追踪的控制。考虑加入对多个互动目标的跟踪效果。

  (3) 然后系统存在对超大屏幕的互动范围限制,由于本文系统选取了使用投影仪投影至操作墙面作为互动平面,虽然能够达到多种场合使用、设备简单易携带的目的,但是投影的画面尺寸并不能超出一般投影仪所能清晰投影的范围,对超大屏幕的显示操作不是很友善。考虑在投影界面中增加一个小型可操作界面代替对全屏的操作,从而能够对超大屏幕互动范围进行有效操作。

  (4) 再者,本文系统只能够识别进入操作平面的点击触控操作,而无法识别人体手势达到快捷操作的目的。考虑在系统中加入对人体复杂手势的跟踪判别,增加人体手势扩展库,使得人机系统的操作不局限于对有效操作点的判断。

毕业论文:http://www.3lunwen.com/jsj/dzjs/5418.html

上一篇:基于内容的图像检索系统的设计与实现

下一篇:没有了

     移动版:基于切换滤波方法的墙面触控系统设计

本文标签:
最新论文