2006年由Oncel Tuzel等人在ECCV上发表了一篇题为《Region Covariance: A Fast Descriptor for Detection and Classification》的论文，提出了一种新的、可以通过积分图像快速计算大图中任何区域子图的协方差特征。这个特征和常见的向量形式的特征最大的 不同之处就是其为矩阵形式。应用矩阵代替向量作为机器学习方法中的训练和测试样本（模式）有其独有的优势，比如矩阵拥用行和列两个方向的数据关联性，而向 量则只有一个方向的关联性，因此矩阵就同样的维数来说能比向量蕴含更多的信息。南航的陈松灿教授等人就矩阵作为样本做过较为系统的研究《Feature extraction approaches based on matrix pattern: MatPCA and MatFLDA》，并将PCA与FLDA这两个经典算法推广到了矩阵样本下。
协方差矩阵本身的研究工作有很多，在信号处理，医学图像处理领域里应用非常广泛。协方差矩阵本身是一个正定对称矩阵，而对正定对称矩阵的数学方面的研究工作又有比较多的成果，比如：Pennec的《A Riemannian Framework for Tensor Computing》，V. Arsigny的《Geometric means in a novel vector space structure on symmetric positive-definite matrices》，Fo ̈rstner的《A metric for covariance matrices》等。
由于协方差矩阵张成的空间并不是线性的，而是一个非线性的流形空间。很多学者有利用协方差矩阵作为特征并应用到目标跟踪，如《Covariance Tracking using Model Update Based on Lie Algebra》，行人检测如《Fast Pedestrian Detection Using a Cascade of Boosted Covariance Features》等，还有分类方面的《Region Covariance: A Fast Descriptor for Detection and Classification》等等，几乎常见的特征应用场合均可使用，且效果不错。
上面说到，由于协方差特征是分布于非线性流形空间中的点，因此对于均值计算和空间中任意两点（两个矩阵）之间的距离度量就会有相应的研究：《A metric for covariance matrices》、《Geometric means in a novel vector space structure on symmetric positive-definite matrices》、《Matrix means and the Riemannian center of mass》、《Learning Averages over the Lie Group of Symmetric Positive-Definite Matrices》等等。
上面介绍完协方差特征，现在切入我想说的正题，很简单的一个内容：通过Lie-Fisher算法及基于李群（矩阵）核的KLieDA和SVM算法的实验分 析，协方差矩阵虽然是流形空间中的样本，但是非常线性！Lie-Fisher将协方差特征投影到李代数（单位元处的切平面）后，采用近似线性的算法达到很 好的分类效果。另外，KLieDA和SVM对协方差矩阵采用（我自己推导的）线性核或低阶多项式核后分类效果也非常理想。目前的实验是在MNIST和 USPS两个手写体数据集上得出的这个结果。
下图是Lie-Fisher对MNIST数据集中1和9的分类结果，纵坐标是分类精度（%），横坐标是运行次数，每次均随机抽取200个测试样本，200个训练样本，每类100个：
KLieDA和SVM的实验目前只得到数据，图还没画，稍后贴上。
同时本文也发布在我的人人小站《李群机器学习》上，网址为：http://zhan.renren.com/liegroupml?from=rrprofile
