Look for any podcast host, guest or anyone
Showing episodes and shows of

Tri Dao

Shows

FC Review Cong Tam2025-12-2004 minFC Review Cong Tam2025-12-1703 minFC Review Cong Tam2025-12-1705 minFC Review Cong Tam2025-12-1703 minFC Review Cong Tam2025-12-1503 minFC Review Cong Tam2025-12-1504 minFC Review Cong Tam2025-12-1504 minFC Review Cong Tam2025-12-1503 minFC Review Cong Tam2025-12-1403 minFC Review Cong Tam2025-12-1403 minFC Review Cong Tam2025-12-1003 minFC Review Cong Tam2025-12-1004 minFC Review Cong Tam2025-12-0705 minFC Review Cong Tam2025-12-0503 minFC Review Cong Tam2025-12-0202 minFC Review Cong Tam2025-12-0202 minFC Review Cong Tam2025-11-2503 minFC Review Cong Tam2025-11-2203 minFC Review Cong Tam2025-11-2202 minFC Review Cong Tam2025-11-1803 minFC Review Cong Tam2025-11-1402 min8 Bộ Kinh Phật Thường Được Đọc Tụng Niệm_Phiên bản 1.12025-11-0502 min8 Bộ Kinh Phật Thường Được Đọc Tụng Niệm_Phiên bản 1.12025-11-0502 minWiixLegend2025-11-0302 minTrở Về Chính Mình - by Dao Chi Anh2025-10-1523 minVô Vi Podcast - Vấn Đạo2025-10-0938 minVô Vi Podcast - Vấn Đạo2025-10-0638 min跨国串门儿计划
跨国串门儿计划#248. Tri Dao:英伟达主导地位的终结,推理成本为何下降以及速度的下一个 10 倍📝 本期播客简介Tri Dao 是 Flash Attention 和 Mamba 的主要作者之一,是当今 AI 基础设施领域的关键人物。Flash Attention 技术是大幅降低模型推理成本的重要驱动力,而Mamba则代表了Transformer的替代架构的探索方向。他目前在Together公司担任首席科学家,同时也是普林斯顿大学的助理教授。在本期播客中,Tri Dao深入探讨了AI硬件竞争的格局、下一代模型架构的演进,以及他如何利用AI工具将自己的编程效率提高了1.5倍。他分享了AI推理成本在过去三年暴降百倍的秘密,并预测了未来几年实现下一个十倍性能飞跃的方向。此外,他讨论了学术界与工业界在AI探索与应用中的不同角色,并提出了他认为最能影响未来AI发展方向的悬而未决的问题:如何让AI达到人类专家水平。👨‍⚕️ 本期嘉宾Tri Dao:Together首席科学家,普林斯顿大学助理教授。Flash Attention和Mamba的主要作者之一。📒 文字版精华见微信公众号(点击跳转)🌟 精彩内容🚀 推理成本暴降百倍:Flash Attention的洞察Tri Dao回顾了过去三年AI推理成本下降至少一百倍的原因,核心在于解决了数据移动这个瓶颈。他以Flash Attention为例,解释了如何通过算法和硬件的协同设计,重新组织Attention计算,实现性能飞跃。他同时指出,GPT-4o等模型的成功应用了极端的4-bit量化,大大降低了内存需求。🛠️ AI驱动的效率:1.5倍的生产力提升Tri Dao坦承,他利用AI编程助手(主要是Claude Code和GPT-4o)的“智能体”能力,将自己的工作效率提高了约1.5倍。这些模型擅长编写复杂的GPU内核并提供宏观优化建议,使他能够专注于架构设计而非实现细节。💡 架构的新方向:MOE的稀疏极限与Mamba的价值尽管Transformer架构取得了巨大成功,但Tri Dao认为其达到AGI的成本可能是天文数字。他正在研究两条更高效的路径:一是将专家混合模型(MOE)进行极致的稀疏化,以提高每单位算力获取的智能;二是继续探索Mamba等状态空间模型(SSL),通过压缩历史状态(减少KV Cache)来优化大批量推理场景。🎯 最大的悬而未决问题:如何实现专家级AITri Dao认为,当前LLM在互联网数据覆盖的领域(如前端编程)已达到人类平均水平,但真正的高经济价值任务集中在专家领域(如飞机设计师、医生)。这些领域知识并非基于海量互联网数据。未来最大的挑战和机遇在于,如何让AI掌握专业工具和深度知识,达到与人类专家协同工作的水平。📈 推理市场的三大模式与智能体革命随着工作负载多样化,Tri Dao预测推理市场将分化为三种模式:传统对话、极低延迟(Agentic/Interactive)和超高吞吐量(Batch/RL)。他相信,下一波应用浪潮将是智能体工作负载,这要求推理服务商不仅要优化GPU速度,还要解决模型如何安全高效地连接到外部数据库和人类工具的系统级挑战。🌐 播客信息补充翻译克隆自:Tri Dao: The End of Nvidia's Dominance, Why Inference Costs Fell & The Next 10X in Speed本播客采用原有人声声线进行播客音频制作,也可能会有一些地方听起来怪怪的使用 AI 进行翻译,因此可能会有一些地方不通顺;如果有后续想要听中文版的其他外文播客,也欢迎联系微信:iEvenight
2025-09-3056 minUnsupervised Learning with Jacob Effron2025-09-1058 minVô Vi Podcast - Vấn Đạo2025-08-2431 minHANNIE2025-06-1700 minHANNIE2025-06-1700 mindav podcast2025-06-0300 minCÔNG TY TAHICO2025-04-2400 minAudio Site - Hội Mê Truyện Audio2025-01-273h 18Gao ST25 Chinh Hang - Gao Ong Cua2024-08-2103 minGao ST25 Chinh Hang - Gao Ong Cua2024-08-2103 minGao ST25 Chinh Hang - Gao Ong Cua2024-08-2103 minĐỌC BÁO cùng Tada2024-08-1511 minGao ST25 Chinh Hang - Gao Ong Cua2024-08-0103 minGao ST25 Chinh Hang - Gao Ong Cua2024-08-0103 minSomo -2024-07-2703 minVui học - Nền tảng học online hàng đầu cho cấp THPT2024-07-2501 minGao ST25 Chinh Hang - Gao Ong Cua2024-06-1002 minGao ST25 Chinh Hang - Gao Ong Cua2024-06-1002 minDAO PHAT KHOA HOC VAT LY THIEN TONG VIET NAM2024-05-1701 minMoonTalk with Linh Dao2024-05-1027 minMoonTalk with Linh Dao2024-05-0458 minMoonTalk with Linh Dao2024-04-261h 01MoonTalk with Linh Dao2024-04-0556 minMT Cast2024-03-2236 minMoonTalk with Linh Dao2024-03-2226 minMoonTalk with Linh Dao2024-03-0128 minMT Cast2024-02-2240 minMoonTalk with Linh Dao2024-02-1620 minThe Rosie Rose Podcast2024-01-3134 minMT Cast2024-01-1934 minInterconnects2023-12-2135 minMoney and Stories2023-11-1154 minMoney and Stories2023-11-0446 minGeneration AI2023-10-2443 minMoney and Stories2023-10-0736 minGenerally Intelligent2023-08-091h 20Latent Space: The AI Engineer Podcast2023-07-2654 minThe Tri Way2023-05-2844 minDepolarized2023-05-131h 00Sách Nói Chất Lượng Cao2023-04-2809 minTrở Về Chính Mình - by Dao Chi Anh2023-04-2319 minTrở Về Chính Mình - by Dao Chi Anh2023-04-1622 minTrở Về Chính Mình - by Dao Chi Anh2023-03-2621 minSách Nói Chất Lượng Cao2023-02-2810 minSách Nói Chất Lượng Cao2023-02-2707 minSách Nói Chất Lượng Cao2023-02-2606 minSách Nói Chất Lượng Cao2023-02-2508 minSách Nói Chất Lượng Cao2023-02-2305 minSách Nói Chất Lượng Cao2023-02-2212 minLearn Buddhism with Alan Peto2023-02-2036 minPhong Linh Gems2023-01-2702 minP.E.G podcast2022-10-1939 minThinking Bigger with Kevin Pheley - Motivation, Inspiration & Entrepreneurship.2022-08-011h 07The Conscious Perspective2022-05-1750 minTop Kinh Doanh2022-02-1511 minTriết Học Đường Phố Radio2021-10-211h 29The Astral Mind Podcast2021-09-241h 12R2 Cents2021-08-041h 20Trở Về Chính Mình - by Dao Chi Anh2021-07-2418 minChuyến Tàu Một Chiều Không Trở Lại2021-07-0506 minChuyến Tàu Một Chiều Không Trở Lại2021-06-1407 minChuyến Tàu Một Chiều Không Trở Lại2021-06-0706 minWork Your Grass Off2021-04-291h 11Mindful Impact with Justin Francisco2021-04-261h 50Vovi Meditation2021-04-0922 minVovi Meditation2021-04-0942 minTrở Về Chính Mình - by Dao Chi Anh2021-03-0917 minTrở Về Chính Mình - by Dao Chi Anh2020-07-2715 minTrở Về Chính Mình - by Dao Chi Anh2020-06-1504 minTrở Về Chính Mình - by Dao Chi Anh2019-12-0617 minTrở Về Chính Mình - by Dao Chi Anh2019-02-2225 minTrở Về Chính Mình - by Dao Chi Anh2018-12-2518 minTrở Về Chính Mình - by Dao Chi Anh2018-08-3027 min