LLMはどのようにして「言葉」という曖昧なものを計算可能な「数」として扱っているのでしょうか?このエピソードでは、AIの思考を支える2つの数学的柱、「確率統計」と「線形代数」に焦点を当て、その処理の裏側にあるロジックを解き明かします。
主なトピック:
• 確率論と統計:
◦ 条件付き確率:文脈(B)があるときに次の単語(A)が起きる確率(P(A∣B))をどう計算するか。
◦ ベイズの視点:事前の知識(事前確率)を、新しい情報(尤度)でアップデートして正解に近づく「学習」のプロセス。• 線形代数とベクトル空間:
◦ 埋め込み(Embedding):言葉を「数の並び(ベクトル)」に変換し、コンピュータが理解できる形にする技術。
◦ 意味の演算:「King - Man + Woman = Queen」のように、言葉の意味を足し算・引き算できる「ベクトル空間」の不思議。
◦ 類似度の測定:単語同士の意味の近さを「距離」や「角度」で測る仕組み。AIが言葉を「確率」で予測し、「ベクトル」で意味を捉える――その数学的な「思考のしくみ」を直感的に理解しましょう。