スタンフォード大学人間中心AI研究所が発表した
2023年のAIの進歩とその影響

大規模言語モデルの成長

大規模言語モデル（LLM）が目覚ましく成長している中で、これらのモデルの規模とコストは年々増大しています。2019年にリリースされたGPT-2は、15億のパラメータを持ち訓練には約50,000ドル（日本円：約710万円）の費用がかかったとされています。それに対して、3年後にローンチされたPaLMは、5400億のパラメータを持ち、訓練には約800万ドル（日本円：約11億3,600万円）の費用がかかったと推定されています。LLMの成長は、そのAIの能力とその応用範囲がどれほど広範になっているかを示しています。

新しいベンチマークの必要性

スタンフォード大学のHAIによると、これまでのテスト方法を再評価する時期が来ているとのことです。多くのAIツールは、既存のベンチマークを一貫して満たすか、それを上回っており、これらのシステムが成熟していることを示しています。このようなAIのベンチマークが飽和状態に達していることは、AIの性能を評価するための新たな基準の必要性を示しています。新しいベンチマークの開発は、AIの進化を適切に評価し、その可能性を最大限に引き出すために不可欠なことであると考えられています。

AIが環境に及ぼす影響

AIの進化は社会全体に影響を及ぼし、特に大規模AIモデルの訓練は環境負荷の増大を引き起こしています。GPT-3などのAIモデルは二酸化炭素排出の主要源となっています。これに対処するため、エネルギー効率の高いハードウェアやエネルギー消費を抑えるアルゴリズムの開発、再生可能エネルギーの使用などが求められています。

これらのトピック以外にも、ビジネスパーソンが知っておくべきトピックが満載のレポートになっています。記事もぜひご覧ください。

参考：https://hai.stanford.edu/news/2023-state-ai-14-charts

【石角友愛の新刊最新情報】

タイトル「AI時代を生き抜くということ」 9月下旬発売

教育×AIの専門サイト「AIと私」のご紹介

AI教育に関するニュースレターも配信！

新しいWebサイトやニュースレターでは、今後AI技術が進化し広まる中で必要となる教育リテラシーを育むために必要な、海外の先進的な事例や教育へのAI応用とその影響に関する洞察など、さまざまな情報をお届けしています。

AI教育の未来を共に考え、形作っていくために「AIと私」ニュースレターへの登録も心よりお待ちしております。登録は無料ですのでご興味をお持ちいただける方は以下のリンクよりご登録ください。

Whisper：OpenAIの弱教師あり学習による音声認識革命

今週のテーマ：技術開発

OpenAIが音声認識に関する新たなアプローチを提唱した論文「Robust Speech Recognition via Large-Scale Weak Supervision」で紹介された、教師あり学習と教師なし学習の中間に位置する「弱教師あり学習」という新たな手法について紹介します。研究では、インターネット上の多言語・多タスクデータセットを用いて、全体で68万時間にも及ぶ大規模な学習を行いました。その結果は、従来の教師あり学習に匹敵するもので、新たな可能性を提示しています。これにはどのような技術が使われ、どのような成果が得られたのか、前編と後編に分けて紹介していきます。

はじめに

音声認識技術は、バーチャルアシスタントやテープ起こしサービス、言語学習、障がい者のアクセシビリティなどの分野で活用されていますが、自然言語の多様性と複雑性が課題となっています。従来の音声認識モデルは、大量のラベル付きデータが必要な「教師あり学習」に依存していました。

そのような中発表されたOpenAIの論文「Robust Speech Recognition via Large-Scale Weak Supervision」について紹介します。この論文を発表したOpenAIの研究者らは、弱教師あり学習（weakly supervised learning）を用いた音声処理システムの能力を調査しています。これはインターネット上に存在する680,000時間に及ぶ多言語・多タスクのデータセットを使用 …続きを読む

【お知らせ】

長谷川CTOがアドバイスを寄せた書籍
「大規模言語モデル入門」が発売

• リスナーからの質問「斜陽産業に勤める人のキャリアパスについて」
• ワークライフバランスの新たな形”Lazy-Girl Job”とは何か
• おすすめコンテンツ：書籍「The Algebra of Happiness」、漫画「課長島耕作」「働きマン」