BERT(自然言語処理)の学習時間を削減する「モデル圧縮」とは

パロアルトインサイトの長谷川です。世界中の研究者による継続的な努力によって、AIの性能はものすごい勢いで向上しています。一方で、AIモデルが巨大化して膨大な計算が必要になり、手軽に扱えなくなっている面もあるのです。この問題を解決しようとする興味深いアプローチを紹介します。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、AIモデルをコンパクトにして、計算コストを減らそうとする試みです。

論文データ：

今回のディスカッション対象の論文をご紹介します。

今回のディスカッション対象の論文は「early BERT」という手法についてです。

その解説の前に、前提知識として「BERT」と「宝くじ仮説」の紹介をしていきます。まずはBERTから見ていきましょう。

BERTはGoogleが開発した自然言語処理AIで、2019年に発表されました。「Bidirectional Encoder Representations from Transformers」を略してBERTと呼ばれています。

ディープラーニングモデルによって大量の文章から学習したBERTは、以下のようなタスクを行うことが可能です。

BERTは研究段階での学習精度が高いだけでなく、ビジネスへの適応性が非常に高いという特徴があります。実際にGoogleの検索サービスに導入され、ユーザーが知りたがっている情報を正しく認識して、以前よりも適切な検索結果を表示する成果を得ました。

なお自然言語処理については、過去記事「Tokenizer（トークナイザ）とは何か？なぜ、日本語はAIにとって難しいとされているのか」で詳しく解説しています。

BERTは「汎用性」を獲得した点が画期的でした。

従来の自然言語処理AIは、翻訳や質問回答予測など各タスクに対して、それぞれ専用のモデルを用意する必要がありました。一方BERTなら、学習済みのモデルを1つ用意すれば、あらゆるタスクに対応できるのです。

1つのモデルでさまざまな問題に対応できるようになったことで、ビジネスの現場で使いやすくなりました。

さらにBERTには、ビジネスへの応用を手助けする仕組みが用意されています。事前に基礎的な学習を終えた「Pre-Training BERTモデル」がインターネット上で公開されており、誰でも自由に利用できるのです。

これにより、利用者は少ない学習で高精度のモデルを完成させられます。おかげで大量の学習用データを保有していない企業でも、AIを導入しやすくなりました。

このような特徴を持つBERTの登場は、自然言語処理AIのビジネスへの応用を大きく後押ししたのです。なおBERTについては、「最先端自然言語モデルB E R Tとは」としてパロアルトインサイトのブログで前編と後編にわたって解説しているので、ぜひあわせてお読みください。

次に、early BERTの研究を触発した「宝くじ仮説」を紹介します。