I denne uge taler vi om OpenAI DevDay releases, 100 millioner token kontekst vinduer fra magic.dev, de nye multimodale Molmo modeller fra Ai2o og så napper vi også ugens repo, som i denne uger kommer fra en lytter 🚀
Links:
https://magic.dev/blog/100m-token-context-windows
https://molmo.allenai.org/blog
https://platform.openai.com/docs/changelog
https://github.com/lyogavin/airllm (Tak til Mathias Emil Slettemark-Nielsen 🙏)
Chapters
00:00 Introduktion til AI-nyheder
03:04 Magic.dev og 100 millioner tokens
06:05 ModMo modellerne fra Allen AI
08:57 Debat om danske sprogmodeller
11:56 Effektivitet i kontekstvinduer
14:57 Induction heads og retrieval
17:55 Malmo og Vision Language Models
20:50 Dataindsamling og kvalitet
24:01 Afslutning og fremtidige perspektiver
39:39 Innovationer i ChatGPT
40:54 Dataens Værdi i AI Modeller
43:51 Udfordringer med Data Science
44:38 OpenAI Dev Day og API Opdateringer
45:45 Real-time API og WebSocket Kommunikation
49:50 Model Distillation og Fine Tuning
53:33 Vision Fine Tuning i AI
55:46 Evaluering af LLM'er med EVALS
01:00:10 Prompt Caching og Omkostningsbesparelser
01:06:36 Unes Repo og LLM Inference
01:12:15 Afslutning og Anbefalinger
