自然言語処理モデルGPT-3を越えた「InstructGPT」

より人間により添い人間の意図を反映するモデル

今週のテーマ：業務効率化

パロアルトインサイトCTOの長谷川です。今回は、米国の人工知能（AI）研究企業OpenAIが開発した自然言語処理モデル「InstructGPT（インストラクトGPT）」についてお話します。

「InstructGPT」は、OpenAIが2020年に発表した自然言語処理モデル「GPT-3」の改良版です。まずは、GPT-3については、過去のインサイトでも触れましたが、改めてその特徴と課題を振り返った上で、InstructGPTでは何が改良され、どのような進化があったのかを解説します。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回は、米国のAI研究企業OpenAIが開発した自然言語処理モデル「InstructGPT」についての論文を2週に渡りご紹介します。「InstructGPT」は2020年に発表された「GPT-3」の改良版です。前半にあたる今週は、GPT-3からInstructGPTへの進化について解説します。

この記事から得られる３つのナレッジ
・OpenAIについて
・GPT-3の凄さと課題
・InstructGPTとその仕組み

論文データ：
今回のディスカッション対象の論文をご紹介します。

論文タイトル：Training language models to follow instructions with human feedback
著者：Jan Leike, Ryan Lowe, et al.
掲載サイト：
発行日：2022年 1月27日
引用数：
URL：https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf

 この論文を選んだポイント

既存の機械学習の手法に、人間のフィードバックを巻き込むことで、より人間らしく感じるAIを作ることが出来る可能性を秘めた技術の転換点になりうる論文のため。

この記事に登場する技術キーワード

• OpenAI
• GPT-3
  • 関連記事「自然言語処理の世界に衝撃をもたらした「GPT-3」その根幹を成すトランスフォーマー（Transformer）と注意機構とは」
• RLHF（Reinforcement Learning from Human Feedback）
• HITL（Human in the loop）

 

目次

イーロン・マスクも投資するOpenAIとは

GPT-3の特徴はシステムを大規模化したこと

GPT-3が抱える３つの課題

ユーザーの意図に従うInstructGPTの登場

 

---

イーロン・マスクも投資するOpenAIとは

OpenAIは、テスラCEOイーロン・マスク氏、シード・アクセラレーターでスタートアップへの投資を行うYcombinator前CEOのサム・アルトマン氏らが2015年に設立したAI研究機関です。マスク氏、アルトマン氏に加え、PayPalの共同創始者で投資家のピーター・ティール氏を始めとするIT業界の著名人らから10億ドルもの寄付を集めたことが話題になりました。

OpenAIの究極的な目標は、人間と同等の頭脳を持つ汎用人工知能（AGI:Artificial General Intelligence）を開発することです。

OpenAIは当初非営利企業として設立されました。その際、

「人間の同等レベルの知能を持つAI（AGI）がどの程度社会に貢献できるかは未知数だ…（中略）…いつかAGIが実現した際には、自社の利益よりも、社会全体の利益を優先する研究機関が必要だ」

と表明しました。そして中立の立場で、AIを通じた人類の利益を追及していくことを目標として掲げました。
（引用：https://openai.com/blog/introducing-openai/）

また、OpenAIはAGI開発の倫理を自社の憲章に定めています。そこには、

「AIやAGIが公共の利益ために使われ、人類が被害を被るようなことがないこと、また一部の人の手だけに技術がわたらないこと。AGIを安全に開発することが大事であり、もし他の企業が先にAGIを開発しそうになった場合は、競争をやめて協力するだろう…（中略）…AGIが開発される時期は不確かだが、我々の憲章がAGIの開発が全人類の利益になるように導いてくれるだろう」

と記されています。
（引用：https://openai.com/charter/）

GPT-3の特徴はシステムを大規模化したこと

OpenAIは、2020年6月に自然言語処理モデル「GPT-3」を発表しました。

言語モデルは、言葉を単語の出現確率でモデル化し、次に発せられる言葉を予測するものです。

言語モデルの中でも文章生成に特化したGPT-3は、単語や簡単な文章を入力すると、あたかも人間が書いたかのように、続く文章を生成します｡

アーティストでスタートアップIT企業代表のアラム・サベティ氏がツイートしたように、GPT-3の性能とその汎用性の高さは人々を驚かせました。

「GPT-3を使うと、まるで未来を見ているようだ。歌詞、物語、プレスリリース、ギターのタブ譜、インタビュー、エッセイ、技術マニュアルなど書いたが、驚くほどのクオリティだ」

（引用：https://twitter.com/arram/status/1281258647566217216）

 

GPT-3API公開後、様々な分野でアプリケーションが開発され、SNS上を中心に大きな反響を呼びました。OpenAIによると、約9か月間で300以上のアプリケーションが開発されたと言います。

代表的なアプリケーションの１つがシャリフ・シャミーム氏が開発した「レイアウトジェネレーター」です。ウェブページのレイアウトを生成するアプリケーションで、「スイカのように見えるボタン」など、簡単な英文を入力するだけで、コードを自動生成してウェブサイトのレイアウトを作成します。

（引用：https://twitter.com/sharifshameem/status/1282676454690451457）

また、マット・シューマー氏は、データセットの説明と求めるアウトプットを記述するだけで機械学習のコードを自動生成するアプリケーションを公開しました。

（引用：https://twitter.com/mattshumer_/status/1287160381362888704）

 

GPT-3の構造は、注意機構（Attention Mechanism)を持つトランスフォーマー（Transformer）をベースにしています。(The Insight 記事参照：自然言語処理の世界に衝撃をもたらした「GPT-3」その根幹を成すトランスフォーマー（Transformer）と注意機構とは)

そして、GPT-3の最大の特徴は、パラメータ数と学習データを巨大化することで、文章生成能力や高度なタスクを実行する能力を向上させたことです。

GPT-3では、インターネット上で集めた約45TBの大規模なテキストデータを約1750億個のパラメータ（変数）を使用して学習させます。パラメータの数は、初代GPTで1.1億、GPT-2では15億でした。GPT-3になると、GPT-2に比べて117倍以上増えています。テキストデータもGPT-2の40GBから1100倍以上に増えました。  このように膨大な事前学習をすることで、高い精度である単語の次にくる単語の予測を可能にし、あたかも人間が書いたような文章を自動で生成することに成功しました。

（引用：https://towardsdatascience.com/gpt-3-the-new-mighty-language-model-from-openai-a74ff35346fc）

 

GPT-3が抱える３つの課題