強化学習を用いて開発されたDeepMindの対話AI「Sparrow」を解説

「人のフィードバックを反映させた強化学習」による改善

パロアルトインサイトの嶋崎です。さまざまな分野でAIの実用化が進んでいますが、なかでも「対話AI」は身近な存在です。Webサイトなどに設置されたチャットボットを利用した経験のある方は多いでしょう。

2022年9月、DeepMindが対話AIに関する新たな研究成果を発表しました。有用性を高めつつ、害のある回答を抑制することに成功した「Sparrow」について解説します。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、DeepMindによる新たな対話AIとその学習手法です。

論文データ：

今回のディスカッション対象の論文をご紹介します。

2022年9月にDeepMindが発表した「Sparrow」は、大規模言語モデル（Large Language Models：LLM）の一種です。まずはLLMについて解説します。

LLMは事前に学習した文章に基づいて、単語を予測するモデルです。LLMを用いることで、たとえばAIは以下のタスクを行えます。

AIはチャットで人と会話できますが、文章の意味を理解しているわけではありません。文脈から統計的に適当な単語を推測し、出力するというのが、LLM内部の仕組みです。

LLMについては、過去記事「大規模言語モデルとは？一般企業も注目のオープンソース「BLOOM」を解説」でも詳しく紹介しました。ぜひあわせてお読みください。

LLMはAI研究における大きな成果であり、すでにチャットボットなどの形で、ビジネスにも応用されています。しかし、LLMは以下のような文章を生み出す場合があることが知られています。

こうした「人にとって有害な文章」を生み出さないようにすることが、LLMが抱える大きな課題です。

2020年に「GPT-3」を発表して注目を集めたOpenAIもこの課題の解決に取り組んでおり、2022年1月には改良版の「InstructGPT」を開発しました。詳しくは過去記事「自然言語処理モデルGPT-3を越えた「InstructGPT」」で解説しています。

「Sparrow」の研究が進められた目的と、その特徴を解説します。

人にとってより有用で、無害な対話AIを開発する目的で、Sparrowの研究は進められました。対話AIの学習方法を改善することで、前章で紹介したLLMの課題に対処しようとしています。

幅広い用途に使える汎用性の高さがあるInstructGPTとは異なり、Sparrowの用途は限定されています。チャットによる対話に特化しており、さらに雑談のような会話は対象とせず、「情報探索型」のやり取りに焦点を当てているのです。成功基準を明確にし、評価を行いやすくすることが、研究対象を限定した狙いです。

なおSparrowは、DeepMindが2022年5月に発表した「Dialogue-Prompted Chinchilla：DPC」と呼ばれるLLMをベースに開発されています。