小样本学习

小样本学习一般是指在训练样本较少的情况下，进行相关的学习任务。首先通过学习大量的基类后，只要新类的少量样本就能快速学习，即一个或者几个样本就能进行学习。当每个类别的训练样本只有一个的情况下，称为单样本学习（One-shot learning），每个类别的训练样本有多个的情况下, 称为小样本学习（Few-shot learning），可以理解为后者包括前者的情况。小样本学习最常用的就是图像分类，流程主要有3个，准备数据集、构建特征提取器和设计分类器。小样本学习的方法主要有基于模型微调、基于数据增强和基于迁移学习这三种。

基于模型微调的小样本学习方法

这是小样本学习比较传统的方法，首先在大规模的公共数据集上预训练一个模型，然后在自己的小样本数据集上对网络模型的全连接层或者其他层进行参数微调，就能实现小样本学习，这种方法比较适合自己的小样本数据集和预训练数据集分布相似的情况。这种方法无论从训练还是测试都比较简单，但是现实中的预训练模型和目标数据集之间往往不相似，采用基于模型微调的方式法容易导致模型过拟合，为了解决这个问题，可以使用基于数据增强的方法和基于迁移学习的方法。

基于数据增强的小样本学习方法

小样本学习方法出现的原因主要在于训练和测试的样本数量少，导致样本多样性变低，在数据量有限的情况下，一般可以通过数据增强的方法来提高样本多样性。数据增强的概念是借助一些数据和信息，对原有的小样本数据集进行数据扩充或特征增强。假设我们有一个数据集，含两种品牌的车，如上所示。我们假设A品牌的车所有的车头都朝向左侧，而B品牌的车所有的车头都朝向右侧，可以想象一下将数据集送入网络，训练结束后当你把A品牌朝向右侧的图片送入网络时，你很困惑为什么明明是A品牌的车会被认为它是一辆B品牌的车呢？假如你把A品牌车头往右和往左（再加上往前往后）的图片都送入网络训练，网络的预测会不会更准确一些。目前主要的数据增强方法有翻转、旋转、缩放、裁剪、移位和噪声等，更高级的还有生成对抗网络等。

数据增强

基于迁移学习的小样本学习方法

迁移学习是利用旧的知识来学习新的知识，将已经学会的知识迁移到一个新的领域中。比如一个学生在掌握了Java这门语言的前提下，如何能够更快地学会Python这门语言呢，这就需要用到迁移学习了，迁移学习可以解决基于模型微调的方法导致的过拟合问题。基于迁移学习的小样本学习主要分为3种，基于度量学习的方法和基于元学习的方法等。

迁移学习

基于度量学习的方法

度量学习也叫做相似度的学习，利用提前给定的距离函数来计算两个样本之间的距离，从而得到它们之间的相似度，一般的距离有欧氏（欧几里德）距离、马氏（马哈拉诺比斯）距离和余弦距离等等。基于度量学习的方法，就是通过计算未知类别的样本和已知类别的样本（知道具体类别）之间的距离，通过K近邻等方法来得出分类结果。因此基于度量学习的网络输入至少是一对样本而不只是单个样本，根据实验设计，选取训练集中的N（N>1）个类别、每个类别的K个支持图像和Q个查询图像送入网络，得到每个查询图像和每个支持图像的距离，选取距离最小的支持图像所在的类别作为该查询图像的类别。比较有代表性的有原型网络和匹配网络。

度量学习

距离学习

原型网络模型

基于元学习的方法

元学习(Meta-Learning)也叫学会学习，主要用于解决模型如何学习的问题，首先元学习框架包括元学习器和目标网络（例如目标检测器），元学习器通过目标网络的训练学习到一些元知识，然后用这些知识来指导目标网络的学习。也就是说每次目标网络的更新都必须在元学习器的指导下进行，而目标网络的每次更新后测试的结果也会反馈回元学习器，元学习器按照反馈结果进行自我学习。

元学习