▼エピソードの内容
今日のテーマは「World Models — LLMの先にある"夢の中で学ぶAI"」です。MCへのメッセージは #ainaked までお寄せください。
▼Chapters
00:00 今日のテーマはWorld Models — LLMのその先へ
00:11 手を5回叩いて — 言語は現実の不完全な圧縮
01:15 LLMの根源的限界 — 現実を描写できても学習できない
02:21 マトリックスの比喩 — Video Model vs World Model
05:24 コンソメの理解確認 — 架空世界にインプットを与えたら
06:08 LLMのイラつき — 5000円が5000ドルになった実体験
09:40 動画生成の因果破綻 — ポテチ→袋問題
10:10 RunwayのWorld Model転換 — GWM-1
11:25 Runwayの戦略 — Video ModelとWorld Modelの依存関係
14:06 Not Boring「Computing the Uncomputable」紹介
14:52 General Intuition/Medal — セレンディピティの誕生
17:36 オーバーレイ→アクションラベルの価値
19:12 sim-to-real転移の可能性 — MolmoBot
23:17 World Modelの用途 — ロボティクスからデジタル空間まで
26:26 目玉焼きのデータ問題 — 何から始めるのか
28:48 従来シミュレータ vs World Modelのデータ学習
31:40 「言葉を知らない原始人」— World Modelの知性
34:17 スイカは凝固するか — LLMの推論の限界
36:03 因果関係「理解」は言い過ぎ — 行動と状態のペア学習
39:45 Google Genie 3 — 何に使えるんだろう？
40:57 Generative World Model — 計算コスト100-1000倍
42:26 Latent World Model — ピクセルを捨てる。AlphaGoの系譜
47:20 AMI Labs $1.03B / World Labs $1B — 驚異の調達額
48:41 Pragmatic vs Platonic — Not Boringの分類
49:36 VLA — LLMにアクションヘッド
50:48 Hardware Lottery — VHS vs Betamax
54:08 データ供給タワマン構想
57:55 データの国・民族依存性
59:08 まとめ — 3つのアプローチ整理
1:00:47 MarbleはWorld Modelではない — RTFM転換
1:02:41 Fei-Fei Li — AI界のゴッドマザー
▼References
- https://www.notboring.co/p/world-models
- https://www.generalintuition.com/
- https://www.worldlabs.ai/blog/rtfm
- https://deepmind.google/models/genie/
- https://runwayml.com/research/introducing-runway-gwm-1
- https://arxiv.org/abs/2009.06489
▼MC
touyan（@0xtouyan）：マッチングサービスfrommを開発中。通話×AIで「親友が紹介してくれる」体験を設計。
consome（@ZkEther）：oto代表。US拠点。音声データ収集プロジェクト推進。Speech-to-Speechモデル向け雑談データセット構築中。
