自然言語処理の世界に衝撃をもたらした「GPT-3」

その根幹を成すトランスフォーマー（Transformer）と注意機構とは

こんにちは。The Insight編集担当の嶋崎です。おかげさまでThe Insightも12月1日無事ローンチし、読者の皆様からコメントを頂く機会も増え、編集部一同大変嬉しく思っております。今後もテーマ決めなどの参考にさせていただきたいため、お気軽にコメント等頂けましたら幸いです。それでは今週のThe Insightをお楽しみください。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」は今週で第５回目の記事となります。今回は、昨今注目を集めている自然言語処理モデル「GPT-3」と、使われている深層学習モデル「トランスフォーマー（Transformer）」、その技術的根幹である「注意機構（Attention Mechanism）」についてご紹介します。

論文データ： 今回のディスカッション対象の論文をご紹介します。

　2020年に米国のAI研究企業OpenAIが開発・発表した超高精度の文章生成ツール、言語AIである「GPT-3」は、自然言語処理の世界に大きな衝撃をもたらしました。すでにGPT-3を使った多数の文章生成などのアプリケーションが開発されており、OpenAIによるとその数は2021年3月時点で300以上にのぼっています。

　そのGPT-3に使われているのが深層学習モデル「トランスフォーマー（Transformer）」です。トランスフォーマーというと映画を想像しますが、ここでは自然言語処理の技術であり、GPT-3を理解するうえで欠かせない「トランスフォーマー（Transformer）」とその根幹技術である「注意機構（Attension mechanism）」について解説します。

　2015年12月、テスラ創業者であるイーロン・マスク氏や、アメリカのスタートアップへ投資を行うY Combinatorの前CEOであるサム・アルトマンらビジネス系著名人が設立したことで注目を集めた「Open AI」。AIを研究し、活用可能なAIを提供するアメリカの非営利団体です。人工的な一般知能（AGI）、つまり、経済的に価値のある仕事において人間を凌駕する高度な自律システムが、全人類に利益をもたらすようにすることを使命にかかげています。（引用：AI Market）

　GPT-3とは、そのAI開発の非営利団体「OpenAI」が生み出した大規模自然言語処理モデルです。「Generative Pre-trained Transformer – 3」の略で、その名の通り、深層学習モデルである「トランスフォーマー（Transformer）」を用いた3番目のモデルです。

　GPT-3の最大の特徴は、これまでに比べて大容量のデータを学習させられる点です。パラメータ数は約1750億個準備されております。一般的にマシンラーニングモデルは、タスク遂行のためにはそれに該当するデータを学習する必要がありました。しかし、GPT-3はいくつかのサンプルだけを示し次の結果が何なのかを予測するので、新しい言語タスクのためにあえてデータを作らなくてもかなり高い性能を見せることができます。そのため、文章の中で次にくる単語を適切に予測できるようになり、従来に比べて格段に自然な、人が書いたような文章を自動で生成できるようになりました。（引用：日経XTECH）

　Open Zeppelinの元最高技術責任者であったManuel Araozさんのブログ「OpenAI’s GPT-3 may be the biggest thing since bitcoin」の文章は自然に書かれてたのにも関わらず、ブログの終盤にGPT-3 によって書かれた記事だと記載されていたことが話題となりました。また、大学生が作成した偽ブログ記事がハッカー・ニュースで1位を獲得したくらい、GPT-3はとても簡単にそして自然に文章を書くことができるツールとなっております。

　自然言語処理界に驚きを与えたGPT-3。それを可能にしたのはトランスフォーマー（Transformer）とその根幹技術である注意機構です。ではそれらがどのように生まれたのか、その経緯を簡単にご説明します。

　これまでの機械翻訳の主流は、回帰型ニューラルネットワーク（RNN）を用いた「エンコーダー・デコーダーモデル」でした。

エンコーダー・デコーダーモデルの大まかな仕組みは、次のようになっています。