こんにちは、CTOの長谷川です。

私はパロアルトインサイトのCTOを務める傍ら、ジョージア工科大学の修士生に向けて強化学習の教授補佐もしています。

AlphaGoに用いられたことで知名度を得た強化学習ですが、実際のビジネスの現場へ応用することは可能なのかと、経営者の方から聞かれることが良くあります。

AlphaGo開発チームリードでもあるDavid Silver氏は強化学習のことを「意思決定の科学」と呼んでいます。機械にも教えられるくらい意思決定プロセスをモデル化し学習可能にすることを指しています。ビジネスの現場は意思決定の連続なので、この「意思決定の科学」をビジネスの現場に応用し、莫大な価値を生み出すことは十分可能です。その一つの例が「レコメンダーシステム」です。Eコマースのサイトなどで「おすすめ商品」をおすすめする機能のことです。このレコメンデーションには、強化学習の基礎系であるバンディット問題として定義付けて良いレコメンデーションに結びつけるやり方があります。

バンディット問題とは、カジノのスロットマシンを選ぶときをシミュレーションしたモデルのことです。例えば10台のスロットマシンが置かれたカジノで、それぞれのスロットマシン毎にペイアウトが違う状況があるとします。カジノを訪れた客は、どのスロットが一番ペイアウトが良いのか分からないので、試行錯誤をするしかありません。例えば３番の台が一番ペイアウトが良いとします。あなたならばどうやって一番ペイアウトが高いスロットマシンを探し当てますか？

上記の問題は「探索と搾取（Exploration vs Exploitation）のジレンマ」が重要課題となります。例えば、２番目に座った台が４番で、たまたま良い具合に当たる台だったらどうするか、という問題です。他の８台のうちにより良い台が隠れているかもしれないから「探索」するか、今の台で満足だから「搾取」するか、という２択に迫られます。なお、ここで我々は一番良い台が３番であることを知っているので、「後悔」という概念を数値化できます。この状況でいう「後悔」とは、「最初から一番良い出玉率だった３番に座ることによって得られただろうペイアウト　引くことの　実際に４番に座って出たペイアウト」ということになります。

この例で、David Silver氏が強化学習のことを意思決定の科学と表現している理由がわかる気がします。「後悔」などというあたかもフワフワした人間的概念を数値化してしまうので、そういうところが強化学習の魅力だと私は思います。

さて、このバンディット問題に当てはめると、レコメンデーションシステムの「後悔」も数値化できます。レコメンデーションシステムの後悔は、例えばサバ好きな客にピザを勧めた場合の売り上げ（もしくは利益）の損失の総額です。そしてレコメンデーションシステムにもバンディット問題のやり方を当てはめて、しっかりとリターンが高いレコメンデーションを計算することが可能です。

パロアルトインサイトでは、強化学習はもちろんのこと、様々なディープラーニングの手法を活用してクライアント企業の利益を飛躍的に伸ばすプロジェクトを多数導入した実績があります。ご興味がある方はぜひお問い合わせください。