特征融合相关论文片段记录

迁移学习、集成学习、孪生网络、三元损失、知识蒸馏

片段随意摘，可能并无前后逻辑

Fusion of Deep-CNN and Texture Features for Emotion Recognition using Support Vector Machines

一些研究集中在使用基于纹理的特征开发情感识别应用程序，如面向梯度的直方图hog、局部二值模式LBP、SURF、SIFT、HAAR[9]、Gabor[10]等。
这些纹理被称为与整个图像中的区域相匹配的图案或模板。这些模式对于从图像区域提取最相关的信息非常有用。采用基于遗传规划算法的方法融合HOG和LBP特征，该融合函数具有旋转和光照不变性，具有更强的鲁棒性[11]。
[12]的作者认为，HOG和LBP特征对交叉和突变功能检测人类的准确率贡献最大。[13]作者在欺骗检测中融合了CNN、HOG和LBP特征的。HOG和LBP特征的融合也被用于手势识别、行人检测、面部表情检测等。
从文献综述中可以明显看出，特征融合在预测情绪方面更加稳健。
特征提取是剔除冗余和不需要的信息，并将有用信息分组为特征向量的过程。各种各样的特征描述符，如HOG[15]、LBP[16]、[17]、SURF[18]和SIFT[19]被用于分类任务，但之所以使用HOG和LBP，是因为它们比其他描述符更能捕获有效的特征，并且与[20]一样使用OpenCV-Contrib-python包来实现。
VGG19架构：
读后感：还是跟大部分文章一样，也没说怎么融合的，直接“理论介绍+实验结果”。。。

本研究提出了一种基于局部三元模式LTP的面向梯度直方图(HOG)的多目标检测特征提取方法。该方法使用了Caltech 101数据集，将图像转换为LAB。
特征提取的过程是通过使用提出的HoG和LTP来检测图像中的突出区域。然后利用深度卷积神经网络(Deep Convolutional Neural Network, D-CNN)融合获得的特征，再转发到基于区域的卷积神经网络(Region-based Convolutional Neural Network, R-CNN)中检测多目标。
将数据集的RGB(Red Green Blue, RGB)颜色空间转换为LAB，使图像中的颜色看起来更加鲜艳，有助于有效地提取特征。其中，L在LAB中代表明度或亮度，A和B是颜色的色成分，如RGB和黄色。在提出的方法中，LAB颜色转换识别出三维的颜色，其中L表示亮度，A和B表示颜色的组成部分，如相应的绿-红和蓝-黄。L通道为亮白色-值为100，暗黑色-值为0, A、B通道为RGB图像的自然值[13]。
流程框图：
读后感：与上篇论文一样的问题，无参考价值。

通过合并均方能量矩阵(mean squared energy)和均幅矩阵(mean amplitude matrices)来构造特征向量。利用小波尺度的个数和滤波器方向的个数两个因素，得到最优的可能特征。
采用Haar小波滤波器进行单层小波变换。使用(2a, 2b)得到调整大小的输入图像(64x64像素)的近似系数矩阵:
用一个确定振荡方向的抛物尺度划分频率和实值框架构成了反射镜扩展的二维波原子前向变换的基础。利用波原子变换从调整尺寸为64x64的输入图像中提取包含相关系数的单元阵列。
信息融合系统面临的最大挑战之一是确定融合模块下整合所需的数据类型。多种融合策略可用于所有四个级别。在[51]中讨论的设置涉及到以匹配分数级别融合作为生物特征学的主融合级别的代表。
匹配分数识别默认生物特征和输入向量之间的相似度。再进行匹配分数级别融合，根据相应的生物特征匹配[51]对输出的匹配分数进行整合，做出结果识别决策。
在决策层面的融合中有许多方法，如多数投票法和加权多数投票法。在我们提出的系统中，我们引入了一种决策级别技术的新方法，模式投票技术(MVT)，流程图：
读后感：比上面两篇论文清楚一点，不过我还是不知道怎么用。

[51] A.A. Ross, K. Nandakumar and A. Jain, “Handbook of multibiometrics (Vol. 6)”, Springer Science & Business Media, 2006, pp.73-82.

首先，利用遗传算法将浅层网络特征、预训练的大卷积神经网络特征和传统图像特征融合在一起，以较少的训练时间和硬件成本保证较高的精度; 其次，通过动态权重分配增加不同中心之间的距离，提高了不同类别的区分度;第三，我们提出了一种局部选择方法来减少融合特征向量的长度，并通过将特征集中在同一类中进一步提高分类精度。最后，实验结果表明，该方法能够以较低的训练时间和硬件消耗达到较高的分类精度，大大提高了网络物理系统中图像分类的效率和灵活性。
特征融合架构：
基于GA的多特征融合模型：