パロアルトインサイトの嶋崎です。The Insight の過去32回にわたり配信してまいりました。購読者の皆様、いつもThe Insight をお読みいただきありがとうございます。今回は過去に配信してきた記事より、AIカンパニー３社に焦点を当ててご紹介します。

The Insight でご紹介してきた記事の中から、AIカンパニー３社から発表された論文をまとめて紹介します。

ディープマインドという社名は、ディープラーニングと神経科学、そしてイギリスのＳＦ小説『銀河ヒッチハイク・ガイド』のなかで、生命についての究極の問いに対する答えを計算するスーパーコンピューター「ディープソート」など考え合わせてつけられたそうです

設立当時から、人間の脳ができることを何でも、それもより効率的にできるような技術、「汎用人工知能（ＡＧＩ）」の構築を目指し高い目標を掲げたスタートアップ企業で、DeepMind のサイトの自社ストーリーの中でも、AGI を広めることを掲げております。

（引用: https://www.deepmind.com/）

DeepMind社のポジションペーパー（学術論文と違い、数学的な証明や実験に基づく仮説の証明がなく、文章だけで仮説を提示する論文）が、AI研究者の間で話題となりました。その論文のタイトルは「Reward is enough」と名付けられは、AGIを実現するためには、報酬を与えるだけで十分であると主張したことで賛否両論の論争を巻き起こしました。

前編では人間を越えるAIの可能性についてや、「Reward is enough」で主張しているポイントの解説、後編ではDeepMind社の論文の倫理的課題／心理学的課題を掘り下げ、ゴール設定の重要性を解説しました。

将棋やチェスの試合でAIが人間に勝利し始めた頃、囲碁においてAIが人間に勝利するには10年以上かかると言われておりました。その理由は、囲碁はチェスや将棋のようなゲームと違って盤面が広く、しかも駒のひとつひとつに役割がないので、打ち手のパターンが膨大になるからです。しかし、2016年、DeepMindの「AlphaGo」は囲碁世界チャンピオンに勝利しました。

なぜ、大方の予想を覆して短期間でAIが成長し世界チャンピオンに勝つことができたのか、そしてAlphaGoの重要なポイントの「ディープラーニングと強化学習を組み合わせたプログラムに成功した」ことを前編にて解説し、後編ではAlphaGoの根幹技術である強化学習をビジネスの現場での応用期待できる分野を解説しました。

2022年5月DeepMind社がAGIの実現に近づく新しいアプローチを発表し、大きな話題を集めました。AGI へ近づいたとされるこの「Gato」は、DeepMind社が発表した「Reward is enough」の強化学習とは異なったアプローチであることがポイントです。Gatoの研究で論文の研究者たちが示したかったのは「データは種類によらず本質的に同じもの」「種類ごとに分けることは必ずしも必要ではない」ということであり、実用化を目指すというよりも学術的な意味合いが強い研究です。

OpenAIもAGIについてミッションで触れています。

(引用：https://openai.com/)

OpenAIは設立当初、大手インターネット企業がもたらす危険への対抗勢力と表現し、テクノロジーを無制限に公開する予定でした。しかし、自然言語処理モデルの「GPT-2」の公開を巡り、フェイクニュースなどの悪用を懸念し段階的な公開という手法を選び話題となっただけでなく、社会的影響の大きい研究成果をいかに世に送り出すべきか議論を呼びました。

OpenAIが生み出した大規模自然言語処理モデルであるGPT-3は「Generative Pre-trained Transformer – 3」の略であり、深層学習モデルである「トランスフォーマー（Transformer）」を用いたGPT-2に続く３番目のモデルです。過去のモデルと異なるポイントは、大容量のデータを学習させられる点であり、パラメータ数は約1750億個準備されたことによって人が書いたような文章を自動で生成できることが特徴です。

GPT-3を理解するうえで欠かせない「トランスフォーマー（Transformer）」とその根幹技術である「注意機構（Attension mechanism）」について解説しました。

「InstructGPT」は、OpenAIが2020年に発表した自然言語処理モデル「GPT-3」の改良版です。GPT-3API公開後、様々な分野でアプリケーションが開発され、SNS上を中心に大きな反響を呼びました。OpenAIによると、約9か月間で300以上のアプリケーションが開発されたと言います。

さまざまなアプリで使用された反面、改良が必要とされた3つの課題も見つかりました。

前編では、1. 莫大な運用コスト、2. 推論することが苦手、3. 人々にとって有害な情報を作り得ること、の3つの課題や、「InstructGPT」はどのように開発されたのか、最大の特徴である「ユーザーの指示に従うように最適化されている」ことについて。後編では、より安全で人により添うAI開発に必要である「アライメント」の重要性、AI のバイアス、そしてInstructGPTに期待することを解説しました。

デジタルアートが最近話題となっていますが、DALL·E 2は画像を生成するAIです。言葉で画像のイメージを指示をすると、写真のようにリアルな画像やアート風の絵などを、創造性を持っているかのように自由自在に作り出すことで、話題となりました。

DALL·E 2の作る画像の凄さ、画像生成の技術的な2段階の処理、AIの画像生成における倫理や権利の問題など解説しました。

Google Brainは、2011年にグーグルの初期メンバーのひとりであるジェフ・ディーンと、スタンフォード大学教授のアンドリュー・ンとで設立されたディープラーニングのAI研究チームです。

「敵対的生成ネットワーク（ＧＡＮ）」の発明者であるイアン・グッドフェローもかつてはGoogle Brain に所属しており、そのあとOpenAI、そしてApple へと移っていきました。

2017年に設立したGoogle AI は、ビジョンを以下のように掲げています。

(引用：https://ai.google/)

GoogleがOpenAIのDALL·E 2に対抗するかのように少し遅れて画像生成AI「Imagen」を発表し、話題となりました。Imagen もDALL·E 2と同じように、文章で指示した画像のイメージをもとに画像を生成しますが、Google はDALL·E 2を超えたと主張しており、その主張をサポートするのは、Google が取り入れたAIモデルの評価に使用する新たなベンチマーク「DrawBench」です。

画像生成プロセス、ImagenがDALL·E 2と異なる点、評価手法「DrawBench」について解説しました。

教師あり学習ではラベル付きデータ不足やコスト面の課題がありましたが、ラベル付きデータを大量に準備しなくとも学習できる「自己教師あり学習（Self-Supervised Lerning）」と呼ばれる手法によって、大きな成果が挙げられています。自己教師あり学習の研究はGoogle だけでなく、MetaやDeepMindなどで進められており、それぞれ独自の手法を生み出しています。

The Insight ではGoogleが開発した手法「SimCLR」に注目し、自己教師あり学習（Self-Supervised Lerning）の基礎から、具体的な手法を解説しました。

Googleはトークナイザを使わない自然言語処理モデル「T5（Text-To-Text Transfer Transformer）」を発表しました。入力と出力の両方をテキストで行うことができるのが特徴Aです。この回では、AIの中でも重要分野である自然言語処理（NLP:Natural Language Processing）、日本語の自然言語処理に欠かせないトークナイザの解説に加え、Google のBy T5 についてに解説しました。

Google はAI技術の開発だけでなく、そのAI技術の評価についても提案したり、問題を指摘したりとAI業界へ貢献しております。

機械学習のモデルの開発プロセスは複雑で開発途中に様々な課題に直面します。そのため、Google は機械学習モデルの開発を円滑に進めるため、「仕組み」を整えることに注目し、一本の論文にまとめられるほど「開発の仕組みづくり」に多大な労力をかけました。そこで編み出されたのが、「機械学習モデル開発を成功させるために必要な4つテスト」です。「機械学習の評価方法 – The ML test score」では、開発現場で直面する課題や、その必要な4つテストを解説しました。現場で使える知識を集めた実務的な論文です。

「深層学習の評価方法 – Deep Reinforcement Learning Evaluation」では、論文の実験結果の数値には「統計的な誤差」があるため、実際には論文の数字を鵜呑みにはできないという問題にGoogleが正面から取り組み、AI学会のNeurIPSでは特に優れた論文に与える「Outstanding Paper Award（優秀論文賞）」を受賞しました。

論文では、統計的不確実性に警鐘を鳴らし、過去の研究をあらためて検証することで過大評価されていることを指摘するだけでなく、Googleが推奨する指標「IQM」を提示しました。The Insight の記事では、検証した内容、指標「IQM」について詳しく解説しました。