機械学習で異常検知と変化検知をするニーズは多種多様です。クレジットカードの不正取引、製造工場での不良品、売上やコストが急に変動したときなどを検知する仕組みが考えられます。パロアルトインサイトのプロジェクトでも、異常検知と変化検知をする機械学習のモデルを活用することがしばしばあります。この記事では、どのような異常検知モデルがあるかという概要と、それらのモデルをどのように評価するかということについて書きます。

異常検知については、弊社の技術顧問の杉山将先生が監修している機械学習プロフェッショナルシリーズの「異常検知と変化検知」井手 剛、杉山 将（講談社）がかなりおすすめです。各手法の数学的根拠を述べながら、実用面でどういうところに注意すべきかも記載されています。

異常検知と変化検知では、基礎的な機械学習の手法に工夫を加えて、異常度を算出し異常判定をすることが基本的なやり方です。例えば、k近傍法という手法は、観測値に一番近いk個の訓練データから観測値の分類を決めるという手法ですが、これを異常検知に用いることが可能です。具体的には、「k個の近傍標本を捉えるためにどれだけ大きい半径の円を描けば良いか」で異常度を考えます。図解するとこんな感じです。

例えばk＝５と設定すると、茶色のマンションに住んでいる和やかなデータサイエンティストは比較的小さな円で近所の五人を含む円を描けます。対して町の外れの青い家に住んでいる偏屈なプログラマーは大きな半径の円を描かなければ近所の人と繋がれません。この場合、青い家の偏屈プログラマーが異常値となります。

この通り、機械学習で異常検知をする考え方は非常に直感的です。実践でのポイントは、どのように距離を定義するか、何をもって近いか遠いとするか、という特徴量の設計になります。

最後に異常検知の性能を評価する際に注意が必要です。異常検知の分野では、異常値とは定義上明らかに少数のデータになるため、単純に「モデルが正解した数」で精度を測ると良くないです。例えば１％の確率でしか異常値がないとすれば、全てを正常とみなすモデルを作るだけで９９％の正解率になるからです。このため、異常な値を正しく異常と検知できるかの「ヒット率」と、正常標本の中で異常とみなしてしまった場合の誤報率の両方の側面からモデルの良さ評価する必要があります。これらの評価方程式や評価手法については、前述の教科書に詳細が記されています。