【論文メモ】Meta-Transfer Learning for Few-Shot Learning

AI関連の解説/論文紹介
この記事は約4分で読めます。

論文タイトル

『Meta-Transfer Learning for Few-Shot Learning』

Meta-Transfer Learning for Few-Shot Learning
This is the project page for for CVPR 2019 Paper Meta-Transfer Learning for Few-Shot Learning by Qianru Sun, Yaoyao Liu, Tat-Seng Chua and Bernt Schiele.

論文のポイントまとめ

・大規模データで学習したDNNの学習済みパラメーターをfew-shot learningに適用するための新しいMTL(meta-transfer learning)手法の提案

・より効率的にmeta-transferを実現するための新しいHT(hard task) meta-batch学習アプローチの提案

・miniImageNetおよびFewshot-Cifar100における評価でstate-of-the-art

サマリー解説

meta-learningは、few-shot learningタスクを解くためのアプローチとして提案された1つのフレームワークです。meta-learningでは、大規模データで学習済みのDNN(Deep Neural Network) モデル〔以降、学習済みDNNと呼ぶ〕をベースとして、その上で類似した様々なfew-shotタスクに適応できるように学習することを目的とします。meta-learningのmetaは、学習する対象となる複数のタスクを意味します。

また、few-shot learningは、少ないデータ数でDNN モデルをいかに学習するかという問題です。一般に、DNNでは学習において大量のデータが必要なります。一方で、人間の脳の場合にはある物体を一度見ただけでも、次に同じ物体を見たときに正しく認識することができます。このような、少ない学習回数でどう効率的にかつロバストに学習をするかというのがfew-shot learningの目的です。他にも、ある概念を一度も学習せずに識別が可能なDNNモデルを獲得することを目的としたzero-shot learingなどの枠組みもあります。(別の記事で今度書きます。)

一般にDNNでは、少数サンプルのデータセットで学習をすると過学習(overft)してしまうという問題があります。そのため、meta-learningでは、層の浅いSNNs(Shallow Neural Networks)を使って学習することでその問題を回避しますが、これは同時にDNNの性能に制約を与えてしまうというデメリットにもなります。

上記のことを背景に、本論文ではfew-shot learningタスクを効果的に解くための手法であるMTL :meta-transfer learningを提案しています。ここでいうtransferは、1つの学習済みDNNを、様々なfew-shotタスクにおいても適用(転移して使うこと)できるようにすることを意味します。

具体的には、この論文には2つのポイントがあります。

まず1つ目は、meta learningの方法についてです。
meta learningにおいては、学習済みモデルのパラメータを初期値として、パラメータ毎に学習してチューニングしていくのが一般的です。一方で、MTLでは、学習済みモデルのパラメータは固定して、そのパラメータからの出力を、scale(どれくらい強調したり、抑制するかの調整)やshift(どれくらい足したり引いたりするかの調整)をする部分のみを学習します。これにより、学習する対象となるパラメータを少なくすることができます。

そして、2つ目が、効果的かつ効率的に学習をするためのカリキュラムであるhard task(HT) meta-batchを提案しています。このカリキュラムの理念は、『“grow faster and stronger through hardship”』といった言葉で表現されています。解釈としては、『困難を強いて強くしながら、効率的に学習する』といったところでしょう。もう少し砕けた言い換えをするなら、「モデルをうまく学習させるための、効率的なモデルのしごき方を見つけたよ!」というのが分かりやいでしょう。

データセット

・miniImageNet
・Fewshot-Cifar100

Download Few-Shot Datasets
タイトルとURLをコピーしました