GPTは、Generative Pretrained Transformerの略で、OpenAIによって訓練されたニューラルネットワークで、入力されたテキストに基づいてテキストを生成する能力を持っています。これは、Large Language Model（大規模言語モデル）と呼ばれるニューラルネットワークの一種です。 言語モデルは、Claude Shannonによって1948年に開発された古い技術です。初期のモデルは非常に性能が劣っており能力が限られていました。 初期の言語モデルはいくつかの弱点がありました。以下は、その制限のいくつかです。

1. 文脈理解の欠如：初期の言語モデルは、数文の前にある会話やテキストの文脈を理解するのに苦労しました。彼らは長期的な記憶が限られていたため、一貫した会話を維持するのが困難であり、複雑なクエリを理解するのも難しかったです。
2. 浅い意味理解：初期の言語モデルは、より深い意味理解が欠けており、微妙な意味、慣用句、曖昧なフレーズに苦労しました。真の理解ではなく、統計パターンに依存していました。
3. 一貫性のない回答：トレーニングデータの制限と回答生成の明示的なガイドラインの欠如により、初期の言語モデルは一貫性のない動作を示しました。同じ入力クエリに対して不一致または非意味的な回答を生成することができ、異なる文脈で一貫した回答を提供するのにも苦労しました。

これらは、最初はGPTが世界を本当に理解することができない「ただ」の言語モデルとして揶揄された理由です。しかし、ChatGPTは、自らが素朴なトークンジェネレータ以上のものであることを証明しました。例えば、次のようなことができます。

• LSATなどの標準化テストで高得点を獲得する
• チューリングテストに合格する
• チェスをプレイする
• 新しいプログラミング言語を学び、プログラムを書く

では、ChatGPTとGPTの違いは何でしょうか？ ChatGPTは、友達、教師、またはメンターのようにユーザーが会話できるGPTです。以下は、ChatGPTの典型的なチャットログです。

ここでは私がChatGPTに豚の角煮のレシピを聞いて、材料と手順が記載された詳細なレシピを提供することができます。さらに、ユーザーは会話を進めることができ、GPTは会話の文脈を覚えています。上記の会話では、血抜きをする方法を尋ねて、私たちが豚について話していることを覚えていました。また、他に合う料理を尋ねると、豚の角煮に合う料理を提供してくれます。

以下は、GPTのタイムラインです。

2018年以降、GPTは5つのバージョンを経験しています。パラメータ数はニューラルネットワークのサイズを表します。最初のGPTが生まれて以来、パラメータ数は1000倍に増加し、その機能も向上しており、これからも向上することが予測されています。