今週のテーマ:AI開発
会話型AIの世界は、日々進化し続けています。その中でも一歩遅れているとされていたMeta AIが最近、Llama 2という大きな発表を行いました。これは人間のようなテキストを理解し生成するための高度な言語モデルで、オープンソースのため誰でも扱えるということで一躍世界中の関心を集めています。ユーザーによりパーソナライズされた体験を提供するための新たな道具となることが期待されている「Llama 2」について紹介します。
大規模言語モデルの革命とも言われる「Llama 2」とは
Llama 2は、大規模言語モデル(LLM)の一部で、研究や商用利用のために開発されました。これはLLaMA(LLaMAに関する過去の記事はこちら)の改良版で、公開データを新たに組み合わせて学習させています。学習に使われたデータは、前半部分が2022年9月までのもので、微調整に用いられた一部のデータは2023年7月までのものです。
パフォーマンス向上のため、Llama 2は前モデルより40%多くの情報を学び、コンテキストの長さ(一度に考えることができる情報の範囲)を2倍にしたり、問いに対する注意力をグループ化して集中力を高めることに成功したといいます。これらの改良は、対話に特化したモデルであるLlama 2-Chatにも反映されています。Llama 2はパラメータが7B、13B、70Bの3種類の …続きを読む |