強化学習をビジネスに応用するには？

こんにちは。パロアルトインサイトCEOの石角友愛です。

未来を見据えて、ビジョンを描く。描いたビジョンから逆算する形でバックキャスティングをして、今、どんな技術を会社として持っておくべきなのかを明確にする。技術開発とは会社の競争力そのものであり、コア事業そのものです。

今回は、先週に引き続きAlphaGoを紐解いていきます。後半はAlphaGoで使用される深層強化学習などビジネスへの応用はどのようなものがあるか考察し、データサイエンティストの見解や、事例などご紹介します。

AlphaGo 前半はこちらよりお読みください。

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。前回に引き続き、ビジネスの現場でも話題になることが多い、「AlphaGo」についての論文をご紹介します。前編では、AlphaGoが開発された背景、開発者のDeepMindの技術者であるDemis Hasabis とDavid Silverの経歴、AlphaGoの基本的な技術設計についてご紹介しました。AlphaGoでは、ディープラーニングと強化学習という二つの技術を上手にハイブリッド化したことが成功の要因であることを述べました。AlphaGo以前も、たくさんの技術者や研究者がディープラーニングと強化学習をかけあわせる努力はしていましたが、ブレークスルーを起こしたのはDeepMindのAlphaGoだったと言っても過言ではありません。

今回ご紹介する後編では、AlphaGoの根幹技術である強化学習をビジネスの現場でどのように応用できるか、色々と考察してみたいと思います。

論文データ：

　「AlphaGo」プロジェクトは、その後さらに進化をしていきました。あるとき、ネットの囲碁ゲームに「マスター」という名の棋士が現れました。そのマスターがあまりにも強いので、ゲーマーたちの間で「マスターは『AlphaGo」ではないか」と噂になったことがあります。のちにそのマスターは、「AlphaGo Zero」のβ版であることがわかったというエピソードがあります。さらに、同様のアルゴリズムを囲碁だけではなく、将棋やチェスにも応用できることを証明しました。

　その後、デミス・ハサビスは、アメリカで人気のゲーム「スタークラフト」にも、AIを活用しはじめました。このゲームはマルチプレイヤーで対戦するタイプのゲームでしたが、そこでもやはり、アルファスターというAIを作り、人間のプレイヤーに対する優位性を示しています。

　以上のように、「AlphaGo」に使われた学習は、非常に画期的なブレイクスルーだったのですが、ビジネスに応用性があるかというと、解決しなければいけない課題点がいくつかあります。AlphaGoは、囲碁という明確に定義された環境と条件の中で「勝ち」を最大化するものでしたが、ビジネスはボードゲームと違って、環境を定義づけることが極めて難しいことが理由の一つとして挙げられます。ビジネスの現場は、人生ゲームやモノポリーゲームのように、ルールや持ち駒、予算が決まっているゲームではありません。何を持って「勝ち」とするのかの定義もありません。第一、囲碁や将棋といった「このような環境下で、このような条件で、このようなルールで勝ちを取りに行ってください」ということが明言化できますが、ビジネスはそうではありません。

　たとえば、トラックの配車AIを考えてみましょう。この場合、明日突然、荷物の配送先が50件増えるかもしれません。雪が降って渋滞するかもしれませんし、ドライバーが風邪で休むかもしれません。このように、常に条件が変わるのが、ビジネスの現場です。

　こういった、環境の定義が明確ではないビジネスにおいては、「AlphaGo」に採用された技術は応用が難しいのではないかというのが、パロアルトインサイトのエンジニアたちの意見でした。「AlphaGo」で採用されたような強化学習よりも、教師あり学習データの方が現場や事業特有の課題解決を求められるビジネスの現場には合っている場合が多いと言えそうです。

　「AlphaGo」を開発したディープマインド社は、強化学習を応用してヘルスケア分野でゲノム解析を行なっています。このような顕微鏡やラボラトリーの中の研究においては、「AlphaGo」のような強化学習も応用しやすいかもしれません。例えば、現在「AlphaGo」を開発したディープマインド社はGoogle傘下にいますが、GoogleがAIを使った創薬事業を手掛ける新会社「Isomorphic Labs 」を設立すると発表していて、その代表をデミス・ハサビスが兼務するとのことです。サイト内ではデミス・ハサビスは「私たちは、AIファーストのアプローチで、第一原理から創薬プロセス全体を再考しています。」と記載しつつも多くを語ってはいません。

「デジタル生物学」の新たな分野のパイオニアとして、私たちは生物医学のブレークスルーの驚くほど生産的な新時代の到来を告げる手助けをすることを楽しみにしています。 AIを使用して創薬を加速し、最終的には人類の最も破壊的な病気の治療法を見つけることがIsomorphicの使命として重要だ。」と記載されており、今後の活躍が期待されます。 （参照：https://www.isomorphiclabs.com/blog）