ホスト：こんにちは、パターン認識ラジオへようこそ。今日は、自然言語処理の分野で革命を起こしたOpenAIのGPTシリーズについて、その進化の過程を詳しく見ていきます。
ホスト：まずは、GPTシリーズが採用しているマルチヘッドアテンションについておさらいしましょう。アテンションは、データの中から重要な部分に焦点を当てる手法です。これは、ネットワークが入力データの中で重要な情報を抽出し、それに基づいて予測を行うという考え方を表しています。
ホスト：ここでの「重要な部分」は、問題によります。例えば、自然言語処理のタスクでは、文中の各単語が文全体の意味にどれだけ影響を与えるかということが重要になります。これをネットワークが学習することで、人間が文章を読解するときのような、効率的な情報処理が可能になります。
ホスト：そして、そのアテンションを複数「ヘッド」で並列に行うことで、情報を様々な視点から捉えるのが、マルチヘッドアテンションの特長です。例えば、一つのヘッドでは単語間の構文的な関係性を捉え、別のヘッドでは意味的な関係性を捉えるといったように、それぞれのヘッドが異なる視点から情報を抽出します。
ホスト：さて、このマルチヘッドアテンションを用いたGPTシリーズですが、GPT-1からGPT-4にかけて、その規模は著しく拡大しています。具体的には、全体のパラメータ数、各ヘッドのニューロン数、そしてヘッド数が増加しています。
モデル ヘッド数 各ヘッドのニューロン数 全体のパラメータ数
GPT-1 12 1024 1.17B
GPT-2 16 1024 1.5B
GPT-3 175 1024 175B
GPT-4 1024 1024 1.13T
ホスト：GPT-1は2018年に発表され、全体のパラメータ数は1億1000万、マルチヘッドアテンションのヘッド数は12でした。そして、2019年に登場したGPT-2では、パラメータ数が15億という驚異的な数値に増加し、これによりそのパフォーマンスは大幅に向上しました。
ホスト：その後、2020年に発表されたGPT-3では、さらなるスケールアップが行われ、パラメータ数はなんと1750億となりました。この規模のモデルを効率的に訓練するために、ヘッド数も同様に増加しています。
ホスト：最新モデルのGPT-4（またはGPT3.5）の詳細なスペックはまだ公開されていませんが、OpenAIの「スケールアップ」の方針から推測すると、さらにパラメータ数やヘッド数が増加していると予想されます。
ホスト：言語モデルの性能を評価する指標として、パープレクシティがあります。これは、モデルが次に来る語をどれだけ正確に予測できるかを数値化したもので、値が小さいほど良い性能を示すとされています。
ホスト：パープレクシティについても、GPTシリーズは逐次的に改善しています。GPT-1のパープレクシティは、標準的な評価データセットであるWikiText-2に対して、約40.8でした。これが、GPT-2では18.3と大幅に改善し、そしてGPT-3でもさらに改善されています。
ホスト：さらに、自然言語処理の性能を評価するためには、他の尺度もあります。特に翻訳や要約などのタスクでは、BLEU（Bilingual Evaluation Understudy）スコアやROUGE（Recall-Oriented Understudy for Gisting
Evaluation）スコアが広く使われています。
ホスト：BLEUスコアは、機械翻訳の結果と人間が行った翻訳との一致度を評価する指標で、ROUGEスコアは、自動要約の結果と人間が作成した要約との一致度を評価する指標です。
ホスト：こうした規模の拡大は、コンピューティングパワーとデータ量を確保するための資源が必要ですが、OpenAIはその資源を投入することで、顕著なパフォーマンス向上を実現しています。
ホスト：以上が、GPTシリーズのマルチヘッドアテンションとパープレクシティ、そしてその進化の概要です。今後もこのフィールドの進化から目が離せませんね。次回も、最新の技術動向をご紹介しますので、お楽しみに。それでは、今日はここまでです。さようなら。
告知リンク：
https://www.youtube.com/playlist?list=PLPiQ8tB0Q233SUXcAh_FkCzNS51aN48Ud
https://youtu.be/gP7jjWApgHA
https://www.kogakuin.ac.jp/admissions/event/oc.html
https://wcci2024.org/
