ディープラーニングの温故知新

1989年のAIモデルを2022年に再現し、最新手法を適用する試み

今週のテーマ：技術開発

パロアルトインサイトの石角です。AI技術はものすごい速さで進化しており、その流れについていくことはもちろん大切です。その一方で、ときには立ち止まって振り返ってみると、大きな気づきが得られるかもしれません。今回は、過去の偉大な研究に注目したAI研究者の「タイムスリップ」の挑戦を紹介します。

 

シリコンバレーから現役データサイエンティストのインサイトをお届けする「The Insight」。今回取り上げるのは、1989年のAIモデルを論文に基づいて再現し、最新の手法を適用する試みです。

この記事から得られる３つのナレッジ
・ニューラルネットワークの基礎
・最新のAI学習手法の効果
・ディープラーニングの基本構造は33年前から不変

このトピックを選んだポイント
「温故知新」の興味深い試みであり、AIに関してだけでなく、他分野にもあてはまる考え方が学べる題材であるため。

この記事に登場する技術キーワード

• MNIST（Modified National Institute of Standards and Technology）
• ラベル付け
  • 関連記事 ：メタバースや自動運転の世界で必要になる動画を使ったリアルタイム行動予測
• オーバーフィッティング

 

目次

テスラ社に所属するカルパシー氏のブログ記事

ルカン氏が1989年に発表したAIモデルを2022年に検証

「タイムスリップ」の結果

最新情報だけでなく温故知新も大切

AIビジネスデザイナーのワンポイントアドバイス

---

テスラ社に所属するカルパシー氏のブログ記事

テスラ社で人工知能と自動運転のディレクターを務めるアンドレイ・カルパシー氏が、2022年3月14日にブログ記事「Deep Neural Nets: 33 years ago and 33 years from now」を公開しました。

（右アンドレイ・カルパシー氏、画像引用：https://karpathy.ai）

その記事内でカルパシー氏は、1989年にヤン・ルカン氏が発表した「歴史的に重要」な論文「Backpropagation Applied to Handwritten Zip Code Recognition」に注目し、とある検証をしたのです。

ルカン氏の論文発表から33年が経ち、その間にAIに関する数多くの新しい理論や手法が生み出されています。そこでカルパシー氏はこう考えました。「最新の研究成果を持って33年前にタイムスリップしたら、当時のAIをどれだけ当時より賢くできるだろうか？」と。

そして考えただけでなく実践して、惜しげもなく個人的なブログで公開したのです。この記事は、AI研究者の間で話題となりました。

ルカン氏が1989年に発表したAIモデルを2022年に検証

カルパシー氏が行った検証について、詳しく解説しましょう。

ルカン氏の論文の研究

1989年のルカン氏の論文で発表されたのは、下図のような手書きの数字を認識するAIです。現在ではこうした手書き数字のデータセットは「The MNIST databese」として整備されています。

（画像引用：https://karpathy.github.io/2022/03/14/lecun1989/）

こうした数字の画像データに1つずつ「これは『4』」「これは『2』」などと人がラベル付けをしたうえで、AIに大量に学ばせました。するとAIは、手書き数字の画像を提示されれば、それがどの数字を示しているのかを判別できるようになったのです。

この研究は「データで訓練したニューラルネットワーク」の実世界への応用として最初期のもので、画期的でした。その後も大きな研究成果を生み出し続けたルカン氏は、2018年にチューリング賞を受賞しています。

なおルカン氏については、過去記事「ニューラルネットワークでAI時代を開拓したヒントン教授」でも紹介しました。

検証の目的

カルパシー氏が今回の検証をしたのは、半分は遊び心からだったようです。一方で「ディープラーニングの進歩の本質に迫るためのケーススタディ」という真面目な目的もありました。

というのも、これまでの研究成果がどれだけAIの進歩に役立ったのか、実際にはよくわかっていないからです。ディープラーニングは急速に進歩していますが、それには以下のような要因があります。

ディープラーニングが進歩した要因

• 理論や手法の進歩
• コンピュータの計算能力の向上
• 訓練データの充実

 

これらは複雑に関係しているため「どの要素がどれだけAIの進歩に貢献しているのか」は不明です。AIの研究者としては、「自分たちが生み出してきた理論や手法の役割が大きい」と思いたいところでしょう。

実際のところはどうなのか、カルパシー氏は今回の検証で確かめようとしたのです。

「タイムスリップ」の結果

カルパシー氏のタイムスリップの挑戦は、以下の3つの段階に分けられます。

1. 当時の手法を忠実に再現
2. 最新の手法で認識ミスを減らせるか挑戦
3. データセットを増やしたらどうなるか実験

これらがどのような結果になったのか、順に解説します。