客服电话:15682930301

电子技术论文

当前位置: 毕业论文>计算机论文>电子技术论文 > 正文

基于矩阵分解的单样本人脸识别算法研究

发布时间:2020-02-03 15:51文字数:16059字

  摘 要:随着计算机软硬件处理能力的提升,人脸识别成为当前模式识别研究领域的研究热点之一。但是,大多数现实应用系统都采用存储单样本人脸图像的方式来记录用户的面部信息,采用多样本人脸识别算法进行处理的结果往往不如人意。所以单样本人脸识别技术有着重要的实际应用价值,得到了广泛的关注。

  本文以基于矩阵分解的单样本人脸识别算法为主要的研究对象,对两种现有的基于矩阵分解的单样本人脸识别算法进行了研究分析。现有的基于矩阵分解的单样本人脸识别算法通过重建虚拟样本将单样本人脸识别问题转化为一般的多样本人脸识别问题,从而使得一些多样本人脸识别算法得以适用,但是这些算法通常只使用一种矩阵分解方法来构造虚拟样本,常常受到训练样本质量和矩阵分解算法特性的影响,不能保证在不同情况下的识别性能。所以本文在现有基于矩阵分解的单样本人脸识别算法的基础上提出了一种新的基于加权矩阵分解的单样本人脸识别算法。该算法使用SVD(Singular Value Decomposition)和LUD(Lower-upper Decomposition)进行矩阵分解、重建得到虚拟样本图像,并计算出自适应方差权重。在分类识别部分,使用自适应方差权重将距离进行加权融合,并使用最小距离准则进行分类。基于加权矩阵分解的单样本人脸识别算法是在原有算法基础上的改进,进一步扩展了2D-LDA(Two-dimensional Linear Discriminant Analysis)投影时的子空间大小和识别时的求解范围,提高了识别的正确率和鲁棒性。我们在三个广泛使用的人脸库上,对比了三种算法的识别效果,验证本文提出算法的可行性、高效性和鲁棒性。

  关键词:单样本人脸识别;线性判别分析;矩阵分解;自适应权重;虚拟样本

  前 言

  人脸识别技术就是通过计算机对人脸图像进行处理,从而从图像中提取出可用于识别的有效特征信息,并根据这些特征进行身份验证的一种技术。在现有的不同的生物特征识别方法中,人脸识别因其特有的自身优势,是当前模式识别研究领域的研究热点之一,有着广泛的应用前景。

  人脸识别的关键问题之一就是训练样本的数量。传统的人脸识别方法通常认为训练过程中可使用多个样本,但是在实际生活的许多系统中存储的往往是单样本人脸图像。如果采用多样本的人脸识别算法处理单样本人脸识别问题,得到的结果往往不如人意。所以研究单样本人脸识别问题有着很重要的实用价值。

  单样本人脸识别方法大致可以分为三类:基于单样本本身的识别方法、基于通用学习框架的单样本人脸识别方法和基于虚拟样本的单样本识别方法。矩阵分解是一种常用的生成虚拟样本的方法。

  本文以基于矩阵分解的单样本人脸识别方法为主要的研究对象,对两种现有的基于矩阵分解的单样本人脸识别方法进行了详细的分析说明,并在这两种算法的基础上提出了一种新的基于加权矩阵分解的单样本人脸识别方法。并使用MATLAB软件在三个广泛使用的人脸库上验证了三种方法的识别性能。本文完成的主要工作及创新点如下:

  (1)对基于矩阵分解的单样本人脸识别方法的研究。本文详细介绍了基于SVD的单样本人脸识别方法和基于LUD的单样本人脸识别方法的算法流程。

  (2)在原有的基于矩阵分解的单样本人脸识别方法的基础上,提出了新的基于加权矩阵分解的单样本人脸识别方法,进一步扩展投影时的子空间大小和识别时的求解范围。让原有的两种算法取长补短,提高识别的正确率和鲁棒性。

  (3)通过充分的实验证明和分析,对比三种单样本人脸识别方法在不同情况下的识别效果,对它们的识别性能进行对比分析,验证了基于加权矩阵分解的单样本人脸识别方法的有效性和鲁棒性。

  第一章 绪 论

  本章首先对人脸识别技术的研究背景和意义进行了简要说明,其次介绍了人脸识别的主要流程,之后介绍了单样本人脸识别技术在国内外的研究现状,然后概述了本文的主要工作和创新点,在本章的最后介绍了本文的组织结构。

  1.1 研究背景及意义

  人脸识别技术就是通过计算机对人脸图像进行处理,从图像中提取出可用于识别的有效的特征信息,并根据这些特征信息进行身份验证的一种技术。在现有的不同的生物特征识别方法中,人脸识别因其特有的优势,在生物识别中占有重要的地位[1]。与其它生物特征识别技术相比较,人脸识别具有以下优点:

  (1)自然性。指纹识别或虹膜识别要求在样本获取时,待识别对象与采集设备距离较近,但人脸识别只要求对象在摄像机前自然地停留片刻,让设备捕捉到人脸,用户的身份就可以被识别,不会干扰人们的正常行为。

  (2)设备简单,使用方便。人脸识别对人脸采集设备要求不高,一般来说常见的摄像头就可以用于人脸图像的采集,不需要使用特别复杂的专用设备。而且人脸图像的采集通常可在数秒内完成,方便快捷。

  (3)通过人脸识别身份,与人类的视觉认知习惯一致。也就是说,在身份验证的过程中,人和机器都使用人脸图像进行识别,符合人们在日常生活中的视觉认知习惯,使得人和机器可以配合工作。

  由于人脸识别具有这些良好的特性,所以国内外许多重要的科研机构都致力于人脸识别技术问题的研究。人脸识别是当前模式识别研究领域的研究热点之一,人脸识别的研究意义可以概括为如下三个方面:

  (1)人脸识别技术具有十分广泛的应用前景。人脸识别在信息安全、法律实施、智能卡和娱乐等多个领域都有广泛的应用[2]。在每个人的日常生活中,需要进行身份验证的场合越来越多,比如办理银行卡、医疗保险、票务购买等业务等都需要进行身份验证。传统的身份验证算法,如身份证卡、签名、密码、口令等,虽然可以作为身份识别的依据,但是也存在不易携带、易丢失、不安全、不可靠等缺点[3],不满足当今社会高度信息化、数字化与网络化的要求。而人脸识别和这些传统的身份识别的算法相比,是一种更可靠、更安全、更方便的验证方式。在国家公共安全方面,人脸识别技术常常被用来进行刑侦破案,以搜查罪犯库为例,如果使用人工搜查,则需要耗费大量的时间和人力,而且人在长时间观看照片和比对信息之后,难免会出现视觉疲劳。在这种情况下,使用电脑通过人脸识别技术进行搜索则是很好的选择,既可以保证对比搜索结果的正确性,又可以大大节约时间和人力。

  (2)人脸识别研究的不断进步可以促进相关学科的不断发展。人脸识别涉及模式识别、图像处理、图像分析与理解、计算机视觉、人工智能、人机交互、计算机图形学、认知科学、神经计算、生理学、心理学等众多学科[4]。以人脸识别技术为平台,有利于在上述学科领域提出新问题、验证新理论、解释新现象[5]。因此,人脸识别技术的不断发展可以有助于相关学科解决学科内的问题,从而促进它们不断发展与成熟。

  (3)人脸识别技术是智能人机接口领域的重要研究内容之一。人脸识别技术的不断发展使得计算机具有越来越好的人脸识别能力,从而可以使得计算机越来越智能化。智能化的人机接口有助于改善人机交互的环境,使得计算机越来越贴近人们生活,不断改变人们的生活方式。如现在越来越流行的智能家居,通过良好的人机交互参与人们的生活,而人脸识别技术是其中必不可少的一部分。

  1.2 人脸识别流程

  人脸识别流程总体上可以分为训练和识别(测试)两个阶段。训练阶段的主要任务是通过给定图像组成的人脸库进行学习,得到人脸特征数据库,这个过程包括从给定的图像中检测并分割出人脸图像,对图像进行预处理,并进行特征提取和汇总,从而得到特征数据库。识别阶段的主要任务是利用特征数据库对待识别图像进行分类识别,这个过程包括从待确认身份的样本图像中检测并分割出人脸图像,对图像进行预处理和特征提取,然后进行特征比对,通过比对的结果进行人脸确认或辨认。具体流程如图1.1所示。

  (1)人脸检测与分割:对于给定的人脸图像,检测其中是否存在人脸,如果存在的话,则给出图像中人脸的大概位置和尺寸等信息以便进行人脸定位,并通过图像分割得到其中的人脸图像。

  (2)图像预处理:图像的预处理过程是从图像中抽取出干扰因素更少的样本,并且按照人脸识别的要求使样本达到标准化(尺寸标准化及位置标准化)的过程。

  图1.1 人脸识别流程

  主要包括对人脸图像的去噪、光照的归一化和灰度归一化等。图像在生成和传输过程中常常由于各种噪声,比如电噪声、机械噪声、信道噪声等,而使得图像的质量受到影响,这对后续图像的处理和图像视觉效应将产生不利影响。去噪就是抑制或消除由于图像采集设备或环境差异产生的噪声。由于人脸图像常常受到光照的影响,所以需要对图像进行光照归一化处理。光照归一化是通过一系列的处理手段,减少光照对图像的影响。

  (3)特征提取:在人脸识别过程中,并不是图像的每一个特征都对图像的描述有着相同的意义,所以需要对人脸图像进行特征提取。即通过一些算法,从给定的人脸图像中提取出可以表征该人脸信息和可用于分类识别的特征,将二维的图像信息映射到机器空间。特征提取过程中得到的特征会进一步用于后面的特征比对中,所以特征提取在人脸识别中起着非常重要的作用。

  (4)特征比对与识别:特征比对就是将从待识别样本中得到的特征与训练过程中得到的人脸特征数据库进行比较,获得相似度的相关信息,以对待识别样本进行分类识别。人脸识别通常可以分为两类:第一类是人脸确认,是一对一地进行图像比较的过程。以确认待识别的人脸图像与给定的训练人脸图像是不是一个人,即回答“是不是我”的问题;第二类是人脸辨认,这是一个一对多的图像比较过程。以辨认出待识别的人脸图像是给定的训练人脸图像中的哪一个人,即回答“我是谁”的问题。人脸辨认因为涉及到大量数据的比对,所以比人脸确认要复杂困难得多。本文所指的人脸识别是狭义的人脸识别,即人脸辨认。

  1.3 国内外研究现状

  人脸识别的技术最早开始于20世纪50年代末,后来Bledsoe开发了一个半自动的正面人脸识别系统,这个理论先提取脸部特征点的间距、比率等参数作为特征,然后计算特征点之间的距离来作为最终的人脸识别[6]。当时人脸识别算法主要基于人脸外部轮廓,由于提取外部轮廓比较困难,所以人脸识别研究进度缓慢。到二十世纪九十年代,随着科学技术的发展,计算机的软硬件处理能力的提升,同时人们的需求不断增长和变化,人脸识别研究得到了广泛的关注,人脸识别方法也有了巨大的突破。

  人脸识别的关键问题之一就是训练样本的数量。传统的人脸识别算法通常认为训练过程中可使用多个样本。但是,在实际生活的很多应用中,如法律的实施、电子护照和身份证,很难满足这个设想。因为在这些应用中,系统中存储的往往是单样本人脸图像,使用多样本的人脸识别算法进行处理得到的结果往往不尽如人意。所以近年来,越来越多的单样本人脸识别算法不断出现,大致可以分为以下三类:

  (1)基于单样本自身信息的识别算法。这类算法通过充分利用单样本本身所含有的信息,使用一些特征提取方法从这些信息中提取出有效的可用于分类识别的特征进行人脸识别。Yang等提出了一种基于局部特征融合的识别算法,先使用图像金字塔原理对人脸图像进行分解,并将分解后的图像分割成一系列的子图像,通过对子图像特征分配不同的权重来进行局部特征融合[7]。赵汝哲等提出了一种自适应加权LBP(Local Binary Pattern)的单样本人脸识别算法,将原图像划分为一系列子图像,并用LBP算子进行特征提取,既得到了图像的纹理信息又包含了图像分块拓扑信息,并使用合理的权重将这些特征加权融合[8]。杨秀坤等提出了一种基于DMMA(Discriminative Multi-Manifold Analysis)和HOG(Histogram of Oriented Gradient)算法,利用了一种新的自适应方法计算子图像块的相似度[9]。该算法首先将一幅样本分割为一系列的不重叠的子图像,使用HOG算子将每个子图像处理成一个统计流形,然后对该统计流形进行特征提取,利用基于重建的流形—流形间的距离最近邻算法进行分类识别。这种算法结合了图像的局部几何信息,并能够描述局部图像的边缘或梯度结构。基于单样本自身信息的识别算法通过图像分块、特征提取和加权等算法从训练样本中提取出图像的全局特征和局部特征,并使用这些特征来进行分类识别。但是,在这些算法的训练过程中,因为只有一个训练样本,所以大部分算法是无监督学习,未考虑到样本的类别,所以并没有充分利用样本的类内变化[10]。

  (2)基于通用学习框架的单样本人脸识别算法。这类算法借助一个辅助通用样本集来进行判别信息的提取,并将提取出的判别信息用于之后的单样本人脸识别,其中通用样本集中每个对象有多个样本。Wang等提出了一种从通用集中提取多种判别信息的通用学习框架[11]。Majumdar等提出了通过特征选择从通用集中提取出转换矩阵,并使用转换矩阵对单样本投影以获得最优判别特征信息[12]。Kim和Kittler提出了先在通用样本集中获得适用于姿态不变人脸的最优投影子空间,并将获得的子空间运用在姿态不变的单样本人脸识别中[13]。总之,这类算法通过使用通用样本集来获得样本的类内变化情况。但是,使用通用样本集获得的信息更适合通用集中人脸的识别,不一定适合其他的单样本人脸识别。

  (3)基于虚拟样本的单样本识别算法。这类算法从原始样本中生成新的虚拟样本,将单样本人脸识别问题转化为一般的多样本人脸识别问题,从而使得很多适用于多样本人脸识别的算法可以有效地处理单样本人脸识别问题,并从新的训练集中得到有效的分类信息。Kirby和Sirovich发现,可以通过一系列加权基础图像加上一张平均人脸图像,可以重建出一张新的人脸图像[14]。在这个理论的基础上,提出了很多生成虚拟样本的算法。Huang等提出了基于成分的线性判别分析算法,通过向四个方向移动局部特征域来得到虚拟样本[15]。Gao等提出基于SVD(Singular Value Decomposition)的算法,通过SVD将原始图像分解为两张虚拟图像[16]。Koc和Barkana提出了基于QRCP(QR-decomposition with Column Pivoting)的分解算法,将原始图像和其转置生成新的虚拟样本,从而得到新的训练样本集[17]。Hu等提出了基于LUD(Lower-upper Decomposition)的单样本人脸识别算法,对原有样本和其转置图像分别进行分解,使用基于实验的逆向思维算法重建出两张虚拟图像,并和原训练样本集合并得到新的样本集[18]。总之,以上所有算法都是通过一定的技术,在原有图像的基础上生成新的虚拟样本,但这需要一定的先验知识,并且生成的虚拟样本的实际情况和质量无法保证。

  1.3 本文主要工作和创新点

  本文以基于矩阵分解的单样本人脸识别算法为主要的研究对象,详细分析了两种现有的基于矩阵分解的单样本人脸识别算法:基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法,并在这两种算法的基础上提出了一种新的基于加权矩阵分解的单样本人脸识别算法。并使用MATLAB软件在三个广泛使用的人脸库上验证了三种算法的识别性能。本文的主要工作和创新点如下:

  (1)对基于矩阵分解的单样本人脸识别算法的研究。本文详细介绍了基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法的虚拟样本重建、特征提取和分类识别的算法流程。

  (2)在原有的基于矩阵分解的单样本人脸识别算法的基础上,提出了新的基于加权矩阵分解的单样本人脸识别算法。该算法使用2D-LDA(Two-dimensional Linear Discriminant Analysis)对预处理后的训练样本进行判别性特征的提取和降维,能在得到有效的判别性特征的同时提高算法的识别效率。同时,基于加权矩阵分解的单样本人脸识别算法通过自适应方差加权将基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法进行融合,进一步扩展投影时的子空间大小,从而扩大识别时的求解范围。让原有的两种算法取长补短,提高识别的正确率和鲁棒性。

  (3)充分的实验证明和分析。使用MATLAB软件,选取了三个广泛使用的人脸数据库进行实验。从不同的距离度量算法、特征提取过程中不同的投影向量数量和不同的训练样本三个角度进行实验设计与分析,对比三种算法在不同情况下的识别效果,对它们的识别性能进行对比分析。

  1.4 本文组织结构

  本文共分为五章,各章内容安排如下:

  第一章为绪论,介绍了人脸识别技术的研究背景和意义、人脸识别的流程、人脸识别技术的发展和单样本人脸识别技术在国内外的研究现状,并概述了本文的主要内容、创新点和组织结构。

  第二章为基于矩阵分解的单样本人脸识别技术,首先介绍了用于特征提取的2D-LDA算法,然后详细介绍了两种基于矩阵分解的单样本人脸识别算法:基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法。

  第三章为基于加权矩阵分解的单样本人脸识别算法。在原有的基于矩阵分解的单样本人脸识别算法的基础上,提出了新的基于加权矩阵分解的单样本人脸识别算法。详细介绍了基于加权矩阵分解的单样本人脸识别算法自适应方差权重和加权分类识别部分,并将三种方法的算法流程进行对比分析。

  第四章为单样本人脸识别仿真实验。使用MATLAB软件,选取了三个广泛使用的人脸库,以基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法作为对照组,进行了一系列的实验。展示出了不同情况下的三种算法的识别结果,并对识别结果进行了详细的分析。

  第五章为总结与展望。对全文进行总结,并提出对下一步工作的设想与展望。

  第二章 基于矩阵分解的单样本人脸识别技术

  本章首先介绍了用于特征提取的2D-LDA方法,然后详细介绍了两种基于矩阵分解的单样本人脸识别算法:基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法。

  2.1 2D-LDA

  在模式识别领域,尤其是在人脸识别领域中,通常由于图像包含数据维数较高而在分类识别中消耗大量的计算时间,而LDA(Linear Discriminant Analysis)是一种能有效解决该问题的方法。在处理人脸识别问题时,LDA首先将每张二维图像矩阵向量化为一维向量,然后计算出投影矩阵,并对图像进行投影降维,得到图像相应的判别性特征。LDA在对图像提取出有效判别性特征的同时,也能对图像进行降维处理,减少了时间复杂度,所以在人脸识别领域得到了广泛的应用。为了进一步优化LDA算法,Jing等提出了可以处理单样本人脸识别问题的2D-LDA方法[19]。2D-LDA与LDA的不同处在于,2D-LDA直接从二维图像矩阵中计算得到类内离散矩阵和类间离散矩阵,而不用对图像进行向量化处理[20]。这不仅避免了降维过程中的奇异值问题,还能大大提高计算效率。

  2.4 本章小结

  虚拟样本重建是处理单样本人脸识别问题的一种行之有效的方法,而矩阵分解技术被广泛应用于重建虚拟样本中。在本章我们首先介绍了一种对图像进行降维并提取有效判别性特征的2D-LDA方法,然后我们介绍了两种基于矩阵分解的单样本人脸识别算法:基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法。两种基于矩阵的单样本人脸识别算法在虚拟样本重建时所使用的算法和标准有所差异,这使得它们生成的虚拟样本有一些不同,但是在特征提取和分类识别模块所使用的方法和准则都大致相同。两种算法在不同的情况下识别效果各有各的优缺点,我们会在第四章中进行进一步的论述。

  第三章 基于加权矩阵分解的单样本人脸识别算法

  在原有基于矩阵分解的单样本人脸识别算法的基础上,我们提出了基于加权矩阵分解的单样本人脸识别算法。本章首先将对原有基于矩阵分解算法的优缺点进行分析,然后详细介绍了本文算法的框架,最后对比分析了三种算法流程的相似点和差异。

  3.1 引言

  本文在第二章详细介绍了基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法。这两种算法都是通过矩阵分解在原有图像的基础上重建出新的虚拟样本图像,并将虚拟样本集和原训练样本集结合得到新样本集。采用2D-LDA对新样本集进行特征提取,获得投影矩阵。然后使用投影矩阵对样本图像进行投影以得到相应的判别性特征,最后使用最小距离准则进行分类识别。这两种算法采用重建虚拟样本的方法,将单样本人脸识别问题转为一般的多样本人脸识别问题,从而避免了2D-LDA投影矩阵计算过程中类内矩阵为零的问题。但是这两种基于矩阵分解的单样本人脸识别算法只使用了一种矩阵分解方法来分解图像和构建虚拟样本,因此会受到训练样本质量和矩阵分解方法特性的影响,不能保证在不同情况下得到的虚拟样本的质量,使得算法的识别效果不稳定。

  3.2 算法框架

  基于加权矩阵分解的单样本人脸识别算法流程如图3.1所示。该算法首先对训练样本集中图像进行预处理,将图像转为行列一致的矩阵,得到新样本。然后通过SVD和LUD分别对图像进行分解、重建得到多张虚拟样本。将虚拟样本和原始图像分别结合,得到两个新的训练样本集:基于SVD的样本集

  3.2.3 自适应方差加权

  由于基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法在重建虚拟图像时都仅使用了一种矩阵分解算法,这使得它们的识别效果会因训练样本的质量不同和矩阵分解算法特性影响产生较大的差异,识别性能无法得到保证。因此,我们在这两种算法的基础上加入了自适应加权的部分,通过自适应方差加权将这两种算法结合起来,取长补短。自适应方差加权的原则是自动给具有较好识别能力的特征较大的权重。

  3.3 方法对比

  本文算法和原有的基于矩阵分解的单样本人脸识别算法技术对比如表3.1所示。从表3.1可以看出,原有的基于矩阵分解的单样本人脸识别算法在虚拟样本重建的过程中,采用的矩阵分解技术和虚拟样本生成标准有所差异,而且基于LUD的单样本人脸识别算法由于对原样本的转置图像进行了虚拟样本重建,所以比基于SVD的单样本人脸识别算法多一张虚拟样本图像。两种算法在特征提取过程中,均使用了2D-LDA算法,但是投影矩阵投影时有所不同。本文算法是原有基于矩阵分解的单样本人脸识别算法的基础上的改进,保留了原算法虚拟样本重建和特征提取的方法和准则,但是在进一步的分类识别中,使用自适应权重将两种算法得到的距离进行加权融合。所以,本文算法在使用最小距离准则进行分类时的距离不是常用的距离公式直接计算出的距离,而是加权距离。

  表3.1 三种基于矩阵分解的单样本人脸识别技术对比

  基于矩阵分解的单样本人脸识别算法虚拟样本重建特征提取算法分类识别算法

  矩阵分解技术虚拟样本生成标准虚拟样本个数

  基于SVD的单样本人脸识别算法SVD使用三个最重要的基础图像1张2D-LDA(左乘)最小距离准则

  基于LUD的单样本人脸识别算法LUD当虚拟图像能量大于等于原图像的92%时,重建完成2张2D-LDA(右乘)最小距离准则

  基于WMD的单样本人脸识别算法SVD和LUD两种分解算法均使用原来的阈值SVD:1张

  LUD:2张2D-LDA最小距离准则

  3.4 本章小结

  本章详细介绍了基于加权矩阵分解的单样本人脸识别算法的算法框架,包括预处理、特征提取、自适应加权和分类识别四个部分。在预处理部分,将样本预处理为行列一致的灰度图像。在特征提取过程中,使用SVD和LUD两种方法进行矩阵分解,分别进行样本重建得到两个虚拟样本图像集合,与预处理得到的训练样本集合结合得到新样本集。并采用2D-LDA算法计算新样本集合对应的投影矩阵,用投影矩阵对原样本集分别投影,得到基于SVD的判别特征集合和基于LUD的判别特征集合。在适应加权部分,使用基于SVD的判别特征集合和基于LUD的判别特征集合计算出两个集合对应的自适应权重,并将自适应权重用于进一步的分类识别部分。基于加权矩阵分解的单样本人脸识别算法是在基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法上的改进,通过加权融合让2D-LDA投影子空间进一步扩展,扩大了分类识别时的求解可能性。

  第四章 单样本人脸识别仿真实验

  所有的创新与改进都需要实践和实验的验证支撑,为了验证基于加权矩阵分解的单样本人脸识别算法的有效性,我们使用MATLAB软件,选取了三个广泛使用的人脸库,以基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法作为对照组,进行了一系列的实验。本章展示出了不同情况下的三种算法的识别结果,并对识别结果进行了详细的分析。

  4.1 MATLAB工具介绍

  MATLAB,中文名为矩阵实验室(Matrix Laboratory),是美国MathWorks公司出品的商业数学软件。它将矩阵计算、数值分析、科学数据可视化以及非线性动态系统的建模和仿真等诸多强大功能集成在一个易于使用的视窗环境中,为科学研究、工程设计等众多科学领域提供了一种有效方便的解决方案,被广泛用于数值分析、数值和符号计算、工程与科学绘图、控制系统设计与仿真、数字图像处理、数字信号处理、通讯系统设计与仿真和金融工程等[23]。和其他软件相比,MATLAB具有以下优点:

  (1)具有高效的数值计算和符号计算功能,帮助用户减轻繁杂的数学运算分析的压力。

  (2)具有完备的图形处理功能,可以实现科学数据的可视化。

  (3)具有友好的用户界面和接近数学表达式的自然化语言,便于编程和人机交互,使学者易于学习和掌握。

  (4)具有功能丰富的应用工具箱,为用户提供了大量方便实用的处理工具,可以方便地实现用户的各种需求。

  4.2 人脸库介绍

  在实验中,我们选取了三种被广泛使用的人脸库作为数据集进行实验,这三个人脸库分别是:ORL人脸库[24]、FERET人脸库[25]和AR人脸库[26]。

  4.2.1 ORL人脸数据库

  ORL(Olivetti Research Laboratory)人脸数据库诞生于英国剑桥Olivetti实验室。数据库中包含了40个不同年龄、不同性别和不同种族的对象,每个对象10张图像,共计400张图像。对于不同的对象,光照、面部表情和面部细节均有差异(如笑与不笑、戴眼镜与不带眼镜、眼睛睁着与闭着等),不同的图像的人脸姿态也有变化,其深度旋转和平面旋转可达20度,人脸尺寸也有最多10% 的变化。部分图像如图4.1所示。在实验中,所有的图片大小都预处理为

  4.3 实验结果和分析

  本文提出了基于加权矩阵分解的单样本人脸识别算法,即基于WMD(Weighted Matrix Decomposition)的单样本人脸识别算法。该算法在自适应方差权重的计算和最后分类识别部分都涉及到距离计算问题,所以不同的距离度量对算法的识别率有很大的影响。同时,在特征提取过程中构成投影矩阵的不同投影向量数量直接影响到图片的降维数和提取的判别性特征质量,在特征提取过程中起着非常关键的作用。训练样本的质量也是单样本人脸识别算法另一个重要的影响因素。所以,我们从不同的距离度量方法、不同的投影向量数量和不同的训练样本三个角度进行了一系列的实验。

  4.3.1 距离度量影响分析

  为了研究不同距离度量对该算法的影响,并选择合适的距离作为算法的距离度量标准,我们选择了三个广泛使用的距离进行实验,具体包括曼哈顿距离(公式(3.5))、余弦距离(公式(3.6))和欧氏距离(公式(3.7))。实验过程中,经验选择投影向量的数量为10,使用每个对象的第一张图像作为训练样本。基于WMD的单样本人脸识别算法在ORL人脸库、FERET人脸库和AR人脸库的两个子集上的识别结果如表4.1所示。

  表4.1 在不同距离度量算法下四个数据集上的识别率(%)

  距离ORLFERETAR子集1AR子集2平均结果

  曼哈顿距离73.6157.0066.5073.6767.70

  余弦距离57.2248.3378.3373.0064.22

  欧氏距离72.5057.6745.6764.5060.09

  从表4.1中可以看出,在ORL数据库上,使用曼哈顿距离的算法表现最好,使用余弦距离的算法识别能力较弱;在FERET数据库上,使用欧氏距离的算法表现最好,使用余弦距离的算法识别效果较差;而在AR数据库上,使用欧氏距离的算法在两个子集上识别效果均不理想,在子集1上,使用余弦距离的算法识别效果最好,而在子集2中,使用曼哈顿距离的算法识别效果最好。总体上看,不同的距离度量算法对算法的识别性能有很大的影响。采用余弦距离或欧氏距离的算法在不同数据库上表现有优有劣,都存在识别性能不稳定的情况。而相较于其他两种算法,采用曼哈顿距离的算法能在不同的数据库上都维持较好的识别效果,具有一定的鲁棒性。所以在基于WMD的单样本人脸识别算法中,我们采用曼哈顿距离作为自适应方差计算和基于最小距离准则分类器中的距离度量算法。

  4.3.2 投影向量数量影响分析

  为了研究投影向量数量对识别算法性能的影响,我们使用不同数量的投影向量进行了一系列的实验。实验过程中,投影向量的数量从1逐渐增加到25,并且我们使用每个对象的第一张图像作为训练样本。

  图4.4分别展示了在ORL人脸库、FERET人脸库和AR人脸库的两个子集上三个算法的识别结果,表4.2展示了三种算法在四个数据集上的最高识别率,括号中为对应的投影向量数量。

  从图4.4中我们可以看出特征提取过程中构成投影矩阵的不同投影向量数量对三

  表4.2 三种算法在不同投影向量数量下四个数据集的最高识别率(%)

  算法ORLFERETAR子集1AR子集2

  LUD69.17(15)48.67(8)71.17(22)73.67(19)

  SVD73.06(10)52.67(2)40.00(6)35.00(18)

  WMD75.83(4)59.83(6)74.50(25)81.50(22)

  (a) ORL数据库三种算法的识别结果 (b) FERET数据库三种算法的识别结果

  (c) 子集1三种算法的识别结果 (d) 子集2三种算法的识别结果

  图4.4 三种算法在不同投影向量数量下的识别率

  种算法的识别效果还是有一定影响。在投影向量数量较少时,投影向量数量的变化会引起识别率较大的变化,而当投影向量数量增加时,识别率逐渐趋于稳定。在ORL人脸库和FERET人脸库上,基于SVD的单样本人脸识别算法比基于LUD的单样本人脸识别算法识别率高且更稳定。在AR人脸库的子集1和子集2上,基于SVD的单样本人脸识别算法识别率较低,识别结果不如人意,而基于LUD的单样本人脸识别算法识别性能较好,且识别率随着投影向量数量的增加而不断提高。基于WMD的单样本人脸识别算法是基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法的加权融合,从图4.4中可以明显看出,基于WMD的单样本人脸识别算法相较于其他两种算法,在不同的人脸库上都能保持较好的识别效果。这是因为基于WMD的单样本人脸识别算法通过自适应方差加权将两种基于矩阵分解的单样本人脸识别算法进行融合,扩展了2D-LDA的投影子空间和求解范围,让两种算法取长补短,在复杂环境下具有一定的鲁棒性和稳定性,不同情况下也能维持较好的识别性能。

  从图4.4和表4.2中可以看出在ORL人脸库和FERET人脸库上,基于WMD的单样本人脸识别算法在投影向量数量较少时识别效果更好,而在AR人脸库的子集1和子集2上,基于WMD的单样本人脸识别算法在投影向量数量较多时具有较好的识别性能。但是,投影向量数量过多或者过少都不能保证算法在不同情况下的识别正确率,所以出于一般化的考虑,我们选取10作为投影向量最佳的数量。

  4.3.3 训练样本影响分析

  在单样本人脸识别实验中,我们通常选取每个对象的第一张图像作为训练样本。在这一节中,为了研究不同训练样本对算法的影响,我们分别选取每个对象的不同图像作为训练样本进行训练。在本节实验中,投影向量的数量为10。

  图4.5分别展示了三种算法在ORL人脸库、FERET人脸库和AR人脸库的两个子集上的识别结果,表4.3展示了三种算法在四个数据集上的最高识别率,括号中为对应的训练样本序号。

  表4.3 三种算法在不同训练样本下四个数据集的最高识别率(%)

  算法ORLFERETAR子集1AR子集2

  LUD71.67(2)48.50(6)67.17(1)68.17(1)

  SVD75.83(3)62.50(4)52.83(5)43.83(2)

  WMD79.17(3)62.50(4)72.00(5)73.67(1)

  通过观察图4.5,我们可以看出,不同质量的训练样本包含的身份信息不同,对三种算法的识别率有很大的影响。较好的单训练样本可能包含对象更多的身份信息,在特征提取的过程中提取出更具有判别性的特征,可以提高算法识别率。从图4.1和图4.5(a)中可以看出,ORL数据库中每个人的第三张图像姿态最为端正,且表情和光照变化较小,所以采用这张图像作为训练样本时算法的识别性能较好。从图4.2和图4.5(b)中可以看出,FERET人脸库中每个人的第一张到第六张图像有一些角度和表情的变化,但变化不大,所以将这些图像作为训练样本时,三种算法的识别效果较好。但是最后一张图像光线过暗,在未进行光照补偿的情况下,特征提取过程中提取出的特征不如前几张图像,所以算法的识别性能大大下降。从图4.3、图4.5(c)和(d)中可以看出,每个对象的第四张图像中的人脸表情都有很大的变化,并且第六张和第七张

  (a) ORL数据库三种算法的识别结果 (b) FERET数据库三种算法的识别结

  (c) AR子集1三种算法的识别结果 (d) AR子集2三种算法的识别结果

  图4.5 三种算法在不同训练样本下的识别率

  图像的光照有很大的变化,对测试样本的分类识别产生了很大的干扰,所以三种算法在这些样本作为训练样本的情况下识别性能较差。

  从表4.3和图4.5中可以看出,在四个数据集上,基于WMD的单样本人脸识别算法的最高识别率比基于SVD的单样本人脸识别算法或基于LUD的单样本人脸识别算法的最高识别率都要高。在使用不同的训练样本时,基于WMD的单样本人脸识别算法都能保持较好的识别性能,进一步体现出了基于WMD的单样本人脸识别算法对于复杂环境和训练样本的质量具有较好的鲁棒性。

  4.4 本章小结

  本章首先介绍了实验的软件MATLAB和实验中使用的三个人脸库,然后详细分析对比了基于WMD的单样本人脸识别算法、基于SVD的单样本人脸识别算法或基于LUD的单样本人脸识别算法在三个广泛使用的人脸库上的实验结果。从不同的度量算法、不同投影向量数量和不同训练样本三个角度进行了实验,实验结果表明基于WMD的单样本人脸识别算法通过自适应加权的算法,在原有的基于矩阵分解的单样本人脸识别算法的基础上进一步扩展了2D-LDA的投影子空间,扩大了求解的范围,对复杂光照、表情变化、姿态变化和训练样本的质量都具有良好的鲁棒性,具有较好的识别性能。

  第五章 总结与展望

  5.1 总结

  人脸识别是当前模式识别研究领域的研究热点之一,有着广泛的应用前景。单样本人脸识别问题是人脸识别中的难点之一,有着重要的实际应用价值。

  本文主要以基于矩阵分解的单样本人脸识别算法为研究对象,对两种现有的基于矩阵分解的单样本人脸识别算法进行了详细的说明,并在这两种算法的基础上提出了一种基于WMD的单样本人脸识别算法。并使用MATLAB软件在三个广泛使用的人脸库上验证了三种算法的识别性能。

  本文主要贡献如下:

  (1)详细介绍了2D-LDA算法,对基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法的算法流程进行了详细的阐述。

  (2)在原有的基于矩阵分解的单样本人脸识别算法的基础上,提出了新的基于WMD的单样本人脸识别算法。该算法使用2D-LDA对预处理后的训练样本进行判别性特征的提取和降维,能在得到有效判别性特征的同时提高算法的识别效率,并将基于SVD的单样本人脸识别算法和基于LUD的单样本人脸识别算法通过自适应方差权重进行加权融合,进一步扩展2D-LDA投影时的子空间大小,从而扩大识别时的求解范围。让原有的两种算法取长补短,提高识别的正确率和鲁棒性。

  (3)在实验阶段,使用MATLAB软件,选取了三个广泛使用的人脸数据库进行实验与分析,对比三种算法在不同情况下的识别效果,并对识别性能进行了分析。

  5.2 展望

  然而,本文的研究工作还不够,还存在以下不足:

  (1)对给定的图像的预处理只进行了灰度化和尺寸调整的操作,未进行光照补偿、姿态角度调整等预处理,使得图片信息仍具有较多的干扰因素。

  (2)矩阵分解加权时仅使用了SVD和LUD两种常见的矩阵分解算法,现有的矩阵分解还有很多种,在以后的工作中可以考虑在保证算法的识别性能的前提下,替换或加入更多的矩阵分解算法。

  (3)在特征提取过程中,仅使用了2D-LDA进行特征整体特征的提取,未使用图像的局部特征信息。在进一步的研究中,可以采用分块等算法提取出图像的局部信息,使用局部信息和整体信息来进行识别分类。

  (4)在算法的分类识别部分,直接采用了最小距离准则进行分类,但分类器也对算法的识别性能有着很大的影响。在以后的研究中,会进一步致力于构造能更好进行人脸特征识别的分类器。

  总之,单样本人脸识别研究是一项具有一定挑战性但十分重要的工作,针对现在存在的这些问题,如何研究出一种更完善的解决算法还需要不断努力,进一步深入研究和探讨。

  攻读学士学位期间主要的研究成果

  论文发表

  1. Zhang M, Zhang L, Hu C. Single Sample Face Recognition Based on Global Local Binary Pattern Feature Extraction[A]. // International Conference on Neural Information Processing[C], Guangzhou: Springer, 2017: 530-539.

  专利申请

  1. 张朦, 张莉, 王邦军, 张召, 李凡长, 一种单样本人脸识别算法及系统, 申请号: 201710107890.X.

  2. 张朦, 张莉, 王邦军, 张召, 凌兴宏, 姚望舒, 李凡长, 一种单样本人脸识别算法、装置、设备及可读存储介质. 申请号: 201810007877.1.

  软件著作权

  1. 张朦, 张莉. 基于LBP直方图的复杂光照单样本人脸识别仿真平台软件V1.0, 软件著作权登记号: 2018SR004246.

  2. 张朦, 张莉, 基于加权矩阵分解的单样本人脸识别仿真软件平台V1.0, 软件著作权登记号: 2018SR004246.

  竞赛获奖

  1. 张朦. 基于二次规划的加权单样本人脸识别. 苏州大学第十七届“挑战杯”大学生课外学术科技作品竞赛三等奖.

  2. 张朦. 基于全局LBP的单样本人脸识别. 苏州大学第十八届“挑战杯”大学生课外学术科技作品竞赛一等奖.

  科研项目

  1. 张朦. 复杂光照下的单样本人脸识别. 苏州大学第十八批大学生课外学术科研基金项目. 项目编号: KY2016065A.

  2. 张朦. 基于全局LBP的单样本人脸识别. 苏州大学第十九批大学生课外学术科研基金项目. 项目编号: KY2017073A.

  3. 王喆, 张朦, 窦清昀, 李甜甜, 张小菲. 表情识别算法研究. 2016年苏州大学校级大学生创新创业训练计划项目. 项目编号: 2016xj033.

移动版:基于矩阵分解的单样本人脸识别算法研究

本文标签: