Metaの翻訳AIプロジェクト「NLLB」とは

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、Metaによる翻訳AIの開発プロジェクトです。

論文データ：今回のディスカッション対象の論文をご紹介します。

まずNLLBがどんなプロジェクトなのかを解説します。

プロジェクト名の「No Language Left Behind」を日本語に訳すと、「どの言語も置き去りにしない」という意味です。

これまで自然言語処理AIの研究対象は英語やフランス語、ドイツ語などの主要な言語に集中してきました。この流れを放置すれば、AI翻訳の技術がどれだけ進歩したとしても、主要な言語の話者しかその恩恵を受けられません。研究対象とされてこなかった言語は、論文では「低リソース言語（low-resource language）」と呼ばれています。

NLLBの目的は、低リソース言語に対応できる翻訳AIを開発し、進歩に取り残される人々が生まれないようにすることです。あらゆる言語の使用者が、言語の壁を超えて、世界中の人々と交流できる未来を目指してます。

なお自然言語処理AIについては、過去記事「自然言語処理モデルGPT-3を越えた「InstructGPT」や「BERT(自然言語処理)の学習時間を削減する「モデル圧縮」とは」で詳しく解説しています。ぜひあわせてお読みください。

2022年7月、200もの言語の翻訳に対応できるAI「NLLB-200」が公開されました。このモデルを含むNLLBの成果はオープンソース化され、GitHubで公開されています。Meta以外の研究者であっても、NLLPの成果を自由に利用して、自らの翻訳ツールを開発することが可能です。

MetaはNLLBの成果をオープンソース化することで、他の研究者がより多くの言語に適用することを促そうとしているのです。この方針によって、NLLB-200はさらに多くの言語へと、適応範囲を拡大できる可能性があります。

今後NLLPの研究成果は、以下のような場所での翻訳で、実際に利用される予定です。

メタバースにリアルタイム翻訳の機能が加わわることで、国境を超えてあらゆる人々と簡単に交流できるようになります。対面よりも快適な会話がメタバース内で実現することになれば、社会的に大きなインパクトがあるでしょう。

NLLBの成果物は、以下の3つの要素で構成されています。また、それぞれの要素の代表例も挙げました。

AIではなく人が作成したデータセットを重視している点が、NLLBの特徴だといえます。これらの成果物の関連性を図示したのが下図です。

（画像引用：https://arxiv.org/pdf/2207.04672.pdf）

この図を整理すると、翻訳は大まかに言って以下の3ステップで行われます。それぞれのステップで、どの成果物が使われるのかも整理しました。

各ステップで技術的な課題があり、それらを乗り越えながらNLLBプロジェクトは進められてきました。課題とその対処法について、順に詳しく解説していきましょう。