訓練データ量を劇的に減らす新たな機械学習

ラベル付けされたデータを使わず学習する自己教師あり学習

今週のテーマ：技術開発

パロアルトインサイトの嶋崎です。近年、機械学習のラベル付きデータ不足やコスト面の課題を解消すべく、自己教師あり学習（Self-Supervised Lerning）と呼ばれる手法によって、目覚ましい成果発表が続いています。以前から自然言語の領域で使われていた技術が、画像認識にも応用されてきたのです。そこで今回は「自己教師あり学習」についてご紹介します。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、データのラベル付けコストを減らす手法として注目を集める、AIの学習方法です。

この記事から得られる３つのナレッジ
・自己教師あり学習の概念
・画像認識に自己教師あり学習を応用した実例
・ラベル付け作業の今後の流れ

 

論文データ：
今回のディスカッション対象の論文をご紹介します。

タイトル：A Simple Framework for Contrastive Learning of Visual Representations
著者：Ting Chen, Simon Kornblith, Mohammad Norouzi, Geoffrey Hinton
掲載サイト：arXiv
発行日：2020年7月1日
引用数：
URL：https://arxiv.org/pdf/2002.05709.pdf

 

この論文を選んだポイント

自己教師あり学習を画像認識に適用した例として広く知られており、かつ学習の仕組みを理解しやすいため。

 

この記事に登場する技術キーワード

• 自己教師あり学習（Self-Supervised Learning）
• 弱教師あり学習（Weakly Supervised Learning）
  ▶︎関連記事「弱教師あり学習によるデータ不足への対処法」
• ラベル付け
  ▶︎関連記事「メタバースや自動運転の世界で必要になる動画を使ったリアルタイム行動予測」
• SimCLR（Simple framework for Contrastive Learning of visual Representations）
• 畳み込みニューラルネットワーク（CNN）
• 多層パーセプトロン（MLP）

 

目次

自己教師あり学習（Self-Supervised Learning）とは

自己教師あり学習の具体的な手法

ニッチな画像認識への応用

大企業が積極的に開発している理由

AIビジネスデザイナーのワンポイントアドバイス

---

自己教師あり学習（Self-Supervised Learning）とは

まずは自己教師あり学習（Self-Supervised Lerning）の基礎を解説していきます。

ラベル付きデータが少数で済む学習手法

自己教師あり学習の最大のメリットは、ラベル付けされた学習用データが少数で済むことです。

なおラベル付けとは、AIが学びやすいように「この画像に写っているのはイヌ」と示すなど、データの事前処理をすることです。従来の「教師あり学習」ではラベル付けされたデータが大量に必要であり、その問題点は過去の記事でもご紹介しました。

自己教師あり学習(Self-Supervised Learning)では、AIはまずはラベル付けされていないデータ大量のデータから学習します。画像に何が写っているのかわからない状態で、学習を進めるのです。

これにより、AIは特定のものを見分けられるようになっていきます。たとえば、それがイヌだとはわからなくても「こういう特徴を持ったモノがある」とは認識できるようになります。ここまでが自己教師あり学習です。その後「イヌ」というラベルが付いた少数のデータを学ばせることで、「こういう特徴を持ったモノ＝イヌ」と見分けることが可能になります。

実際に、自己教師あり学習をしたAIが高い画像認識精度を獲得できたことが、複数の研究グループから発表されました。大量のラベル付きデータを使うことなく、高精度なAIを開発するための手法として、自己教師あり学習は大きな注目を集めています。

 

弱教師あり学習との違い

AI開発に必要なラベル付きデータを減らす試みとして、前回は「弱教師あり学習」を解説しました。混同しそうになるかと思いますが、自己教師あり学習（Self-Supervised Learning）は「ラベル付きデータがない状態でも学習を進められる」点がユニークです。

弱教師あり学習では、ラベルの付け方の工夫などをすることで、ラベル付きデータを集める困難さを緩和しました。それでも「ラベル付きデータが必要」という点では、従来の教師あり学習の延長線上にある手法でした。

それに対して自己教師あり学習は、ラベル付きデータがない状態で学習の大部分を完了できることから、弱教師あり学習とは違ったアプローチだといえます。

 

自然言語学習で使われてきた

自己教師あり学習は、自然言語の分野でさかんに活用されてきた歴史があります。自己教師あり学習は、AIにデータ中の「構造」を理解させるために適しています。図で表現すると、下図において「緑色の部分が与えられたときに灰色の部分を補う」ことを目指して学習が進められるのです。

（画像引用：https://ai.facebook.com/blog/self-supervised-learning-the-dark-matter-of-intelligence/）