ソニーAIの研究は何がすごいのか？エチケットを理解した深層強化学習

目次

ソニーAIの研究概要

本研究が注目される3つのポイント

ソニーAIが示した研究インフラの可能性

今後のAI開発への期待

AIビジネスデザイナーのワンポイントアドバイス

---

ソニーAI の研究概要

ソニーAIが発表した論文タイトルを日本語に訳すと「深層強化学習でグランツーリスモのチャンピオンドライバーを超える」です。まずは「グランツーリスモ」と「深層強化学習」という2つキーワードから、この論文の概要をご紹介します。

グランツーリスモ

本研究で使われたのは、プレイステーション4のレーシングゲーム「グランツーリスモSPORT」です。生み出されたAIは「グランツーリスモ　ソフィー（以下GTソフィーと略）」と名付けられました。

「グランツーリスモSPORT」は世界的なeスポーツタイトルです。車両の見た目だけではなく、以下のような物理現象もリアルに再現されています。

⚙️ リアルに再現される物理現象

• 車体の重量バランス
• 剛性
• 空気抵抗
• タイヤの摩擦

（画像引用：https://www.gran-turismo.com/us/gran-turismo-sophy/technology/）

深層強化学習

　GTソフィーの開発には「深層強化学習」と呼ばれる技術が使われています。深層強化学習は2016年に世界トップレベルの棋士に勝利し、大きな話題となった囲碁の人工知能「AphaGo」（The Insight で前編・後編に分けて紹介）でも使われました。

深層強化学習は「強化学習」と「ディープラーニング」を組み合わせた技術です。強化学習では人間が教師データを与えて教えるのではなく、AIに自由にゲームを操作させて、自ら学ぶように促します。その際にカギととなるのが「報酬とペナルティ」です。

（DeepMind社が提唱した「報酬を与えるだけで十分である」という仮説：Reward is enough については、The Insight で前編・後編にわたり紹介）

レースで有利になる操作には「報酬」を与え、不利になる操作には「ペナルティ」を与えるように、あらかじめプログラムしておきます。あとはできるだけ報酬を最大化しつつ、ペナルティを最小化しようとAIが工夫するうちに、自然にドライビングテクニックを身につけていくのです。報酬とペナルティの例は、以下の通りです。

?️ AIへの報酬とペナルティ

• ラップタイムを縮めたら報酬
• コースアウトしたらペナルティ
• タイヤと路面の摩擦力を失ったらペナルティ </aside>

さらにディープラーニングを強化学習に組み合わせることで、目の前の報酬だけでなくより長期的な視点を持つなど、より最適な判断を実現しました。

深層強化学習は非常に効果的でした。GTソフィーはわずか数時間でトラックを周回することを学習し、1〜2日で95％の人間のプレイヤーよりも速く走れるようになりました。そこからさらに9日以上のトレーニングを行うことで、人間のトッププレイヤー以上の実力を手に入れたのです。

人間は最初に「報酬とペナルティ」を設計するだけで、あとはAI自身の学習に任せている点がポイントです。

 

本研究が注目されるポイント

なぜ本研究は「Nature」の表紙を飾るほど注目されたのでしょうか？これまでの研究と何が違うのか、重要なポイントを3つご紹介します。