Берты, трансформеры, эмбеддинги, аттеншены, энкодеры с декодерами и другие страшные слова – все это разберем в выпуске с Владиславом Танковым, директором по AI в JetBrains, попутно разложив большие языковые модели на составные части.
Также ждем вас, ваши лайки, репосты и комменты в мессенджерах и соцсетях!
Telegram-чат: https://t.me/podlodka
Telegram-канал: https://t.me/podlodkanews
Страница в Facebook: www.facebook.com/podlodkacast/
Twitter-аккаунт: https://twitter.com/PodcastPodlodka
Ведущие в выпуске:
Женя Кателла, Андрей Смирнов
Полезные ссылки:
Illustrated Transformer
https://jalammar.github.io/illustrated-transformer/
Attention is all you need
https://arxiv.org/abs/1706.03762
Illustrated BERT
https://jalammar.github.io/illustrated-bert/
GPT-family models overview
https://towardsdatascience.com/meet-gpt-the-decoder-only-transformer-12f4a7918b36/
A bit of overview of tokenization
https://huggingface.co/learn/llm-course/en/chapter6/1
