Nihayet geldik ChatGPT'nin temelindeki modele. Hafıza sahibi ağlardan (LSTM) bugün her yerde kullanılan transformer mimarisine geçişi anlayacağız. Kilit kavramlar: Word embedding ve attention mekanizması.
.
Konular:
(00:04) Kartopu Dünya Hipotezi
(00:55) Tekrar: Geri besleme
(02:15) Kısa dönem hafıza
(04:30) LSTM
(05:57) Token
(07:40) Matrix
(08:50) Word Embeddings
(14:20) Fularsız Entellik çok bozdu
(16:50) Encoder Decoder
(18:30) Attention Mekanizması
(19:50) Transformer Mimarisi
(23:45) Parallellik
(26:20) ChatGPT vs GPT
(28:12) Patreon Teşekkürleri
Kaynaklar:
Video Ders: MIT 6.S191 (2023): Recurrent Neural Networks, Transformers, and Attention
Video: Let's build GPT: from scratch, in code, spelled out
Tüm bölümler ve daha fazlası için podbeemedia.com'u ziyaret et!
----- Podbee Sunar -------
Bu podcast reklam içermektedir.
