这篇综述文章回顾了少样本学习(FSL)的演进历史和当前进展,对 FSL 方法进行了层次分类,并总结了近期多个 FSL 扩展性主题及其最新进展,介绍了 FSL 在计算机视觉、自然语言处理等领域中的应用。
少样本学习(FSL)是机器学习领域中重要且有难度的课题。基于少量样本进行学习和泛化的能力是区分人工智能和人类智能的重要分界线,因为人类往往能够基于一个或少量样本建立对新事物的认知,而机器学习算法通常需要数百或数千个监督样本才能实现泛化。
少样本学习的研究可以追溯到 21 世纪初,近年来随着深度学习技术的发展它也受到广泛的关注,但是目前关于 FSL 的综述文章较少。清华大学教授、IEEE Fellow 张长水等人广泛阅读和总结了自 21 世纪初到 2019 年的 300 余篇论文,写了一篇关于 FSL 的综述文章。
论文链接:https://arxiv.org/pdf/2009.02653.pdf
这篇综述文章回顾了 FSL 的演进历史和当前进展,将 FSL 方法分为基于生成模型和基于判别模型两大类,并重点介绍了基于元学习的 FSL 方法。
此外,本文还总结了近期出现的多个 FSL 扩展性主题及其最新进展,并介绍了 FSL 在计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等热点研究领域中的应用。
最后,本文讨论了 FSL 的未来趋势,希望能为后续研究提供指引。
该综述文章的新颖之处和主要贡献包括:
文章结构
下图 1 展示了该综述文章的主要内容,包括 FSL 的发展过程、方法分类、扩展性主题和应用。
这篇综述文章篇幅较长,共有 30 页内容,参考文献多达 414 篇。我们仅选取部分概括性的图表进行展示,详情参见原论文。
基于生成模型的 FSL 方法
下表 1 总结了第一类 FSL 方法——基于生成模型的 FSL 方法:
基于判别模型的 FSL 方法
本文将基于判别模型的 FSL 方法分为四类:增强、度量学习、元学习和其他方法,并重点介绍了元学习方法。
下图 2 概括了基于增强的 FSL 方法的通用框架:
下表 2 则总结了监督式和无监督式增强方法:
下图 8 展示了基于度量学习的 FSL 方法的通用框架:
下表 3 则总结了基于度量学习的 FSL 方法的主要特征:
元学习
下图 12 展示了基于元学习的 FSL 方法的通用框架:
此外,这部分还介绍了基于元学习的 FSL 方法的五个子类别:Learn-to-Measure (L2M)、Learn-to-Finetune (L2F)、Learn-to-Parameterize (L2P)、Learn-to-Adjust (L2A) 和 Learn-to-Remember (L2R)。
下图 13 展示了不同 L2M 方法之间的发展关系:
许多近期提出的 Learn-to-Finetune 方法属于 MAML 变体,下图 16 展示了 MAML 与其变体之间的关系:
下表 4 总结了 Learnto-Parameterize 方法:
下表 5 总结了 Learn-to-Adjust 方法:
下图 22 展示了 Learn-to-Remember 方法的通用框架:
FSL 方法的应用领域
下表 9 总结了 FSL 方法在计算机视觉、自然语言处理、音频、强化学习和机器人学、数据分析等领域的应用:
荐:
【中国风动漫】除了《哪吒》,这些良心国产动画也应该被更多人知道!【中国风动漫】《雾山五行》大火,却很少人知道它的前身《岁城璃心》一个拿着十米大刀的男主夭折!声明
来源:机器之心,人工智能产业链联盟推荐阅读,不代表人工智能产业链联盟立场,转载请注明,如涉及作品版权问题,请联系我们删除或做相关处理!
页面更新:2024-06-01
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号