Look for any podcast host, guest or anyone
Showing episodes and shows of

The AAAi Podcast

Shows

The AAAi Podcast2026-01-1651 minThe AAAi Podcast2025-12-0434 minDelve2025-11-0422 minThe AAAi Podcast2025-10-0833 minGood Revenue News2025-09-0315 minThe AAAi Podcast2025-07-3122 minThe AAAi Podcast2025-07-1742 minGood Revenue News2025-07-0208 minMaster Phil in Your Corner2025-06-2049 minThe AAAi Podcast2025-06-1940 minThe AAAi Podcast2025-06-0534 minMaster Phil in Your Corner2025-05-2856 minThe AAAi Podcast2025-05-2227 minMaster Phil in Your Corner2025-05-0941 minThe AAAi Podcast2025-05-0830 minIN The Community2025-04-3013 minThe AAAi Podcast2025-04-2434 minMaster Phil in Your Corner2025-04-1541 minTwo Fit Crazies and a Microphone2025-04-1300 minLegal Speak2025-03-2843 minWeekend Hustlers - The Mayukh Show2025-03-0238 minNaruhodo2025-02-101h 00RegulatingAI Podcast: Innovate Responsibly2025-01-3032 minHuman Centered2025-01-2846 minAI Innovations Unleashed2024-12-2405 minCase by Case2024-12-1951 minThe AAAi Podcast2024-12-0534 minCOMPLEXITY2024-12-0444 minThe AAAi Podcast2024-10-3152 minTwo Fit Crazies and a Microphone2024-10-2300 minTwo Fit Crazies and a Microphone2024-10-1300 minCausal Bandits Podcast2024-09-2322 minCausal Bandits Podcast2024-09-1019 minInvested by Aleph2024-08-141h 09The AAAi Podcast2024-08-0146 minThe AAAi Podcast2024-05-3136 minLocura compartida2024-05-1951 minACM ByteCast2024-05-0952 minThe AAAi Podcast2024-04-2537 minGrande Giove2024-04-181h 04硅谷101
硅谷101E145 | 对话Meta田渊栋:被Transformer改变的世界与人类AGI的野心2017年,谷歌一篇划时代的论文《Attention is all you need》掀开这一轮人工智能的开幕式,这篇论文就是大名鼎鼎的Transformer。7年过去了,我们看到在这篇论文的基础上加入算力、算法开启了AI时代的第三次科技浪潮。 今天我们的嘉宾是来自Meta Fair的研究员田渊栋博士,他最近也发表了两片论文都在都与端侧小模型相关,一片论文是《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》中开始卷 10 亿以下参数小模型,主打在移动设备上运行 LLM;另一片论文是《GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection》,由于离应用更近在解决更实际的问题,他的论文被业界很多人问到,而过去五年,他所有的研究都在回答一个问题:神经网络是如何工作的? 今天我们就一起来解读田渊栋最近的两篇论文,也一起聊聊最近大火的Sora、Transformer与AGI。 【老罗直播预告】 北京时间3月31号晚上七点,罗永浩会在直播间卖云产品。之前老罗也带火过很多概念,这次我们来看一看,老罗能不能引领一场企业级IT认知的运动,把云计算这个概念推向大众。他这次的选品涵盖阿里云众多的热门产品,价格也给出了史无前例的优惠,大家感兴趣去淘宝app搜索「罗永浩」,让我们一起围观连续创业者罗永浩卖云产品,以及他如何解决创业者的核心痛点的,直播链接:https://m.tb.cn/h.5BYaoxh 【主播】 泓君,硅谷101创始人,播客主理人 【嘉宾】 田渊栋,Meta人工智能研究院(FAIR)研究员及高级经理 田渊栋博士,Meta AI人工智能研究院(FAIR)研究员及高级经理,2018年围棋开源项目(ELF OpenGo)研究及工程负责人和第一作者。曾获2021年国际机器学习大会(ICML)杰出论文奖提名(Outstanding Paper Honorable Mentions)及2013年国际计算机视觉大会(ICCV)马尔奖提名(Marr Prize Honorable Mentions)。研究方向为深度强化学习,表示学习和优化,历任机器学习国际会议ICML,NeurIPS,AAAI, AIStats领域主席。2013-2014年在Google无人驾驶团队任软件工程师。 【你将听到】 00:05 3月31号晚七点罗永浩直播间卖云 01:34 正片 【“斜杠”AI研究专家】 02:55 从自动驾驶、围棋开源项目到神经网络研究 05:52 写科幻小说:不靠谱的想法放进小说,靠谱的想法用来做科研 07:24 理解神经网络如何工作or 研究大模型,2019年为何拒绝Ilya Sutskever加入OpenAI的邀请 08:44 最新两篇论文的艰难诞生:曾被两次拒稿,三四年后才看到结果 【GaLore和MobileLLM】 11:04 GaLore的主要特点:实现在英伟达RTX 4090上进行模型的从头训练 12:56 算法上改进让4090重获新生,省内存的同时获得高性能 16:56 MobileLLM:降低神经网络参数仍然保持好的效果 【实现AGI的路径】 17:40 Scaling Law带来的增长会越来越小,我们并没有完全理解为什么Transfomer的效果更好 19:17 完全无人驾驶难点:人工干预的频率越低,有效训练数据就越少 23:41 Transformer很难做游戏式的推理:通过理解神经网络的工作原理来改进现有算法 【深度理解Transformer】 24:52 谷歌内部发现算力价格比通信便宜,所以想到要设计一个模型让算力获得更大优势 26:21 Transfomer vs CNN:没有预设立场,并行效果更好 26:44 Transformer的缺点:需要大量算力、速度较慢、延迟高 28:01 强化学习的根本性问题:Exploration(探索)和Exploitation(开采) 【Sora、合成数据与Anthropic】 30:03 Sora的最让人惊艳的地方是所生成的内容一致性非常好,在技术上有根本的创新 33:07 世界模型并不“高大上”,对未来有看法和预测都可以成为称为“世界模型” 40:46 用合成数据训练大模型是趋势,其与真实数据之间的边界会越来越模糊 43:00 合成数据相当于用算力来换数据,但缺乏人类参与的数据会导致学习瓶颈 44:30 Anthropic的长文理解和分析能力远强过GPT-4,但推理能力难以分高下 46:30 大模型缺乏竞争的话,也会出现“偷懒”的问题 48:06 一家独大 or 威慑平衡,Meta开源打破的行业格局 48:18 大模型侵蚀Google的核心业务,训练和推理很难发论文 50:20 从玄幻小说到科幻小说:记录人与人之间的关系和思维的火花 【相关信息拓展】 ELF OpenGo:由Facebook AI Research团队(FAIR)在2018年开源发布的AI围棋项目。其特点是不使用人类棋谱与累积的围棋知识,仅实做围棋规则,使用单一人工神经网络从自我对弈中学习。《ELF OpenGo: An Analysis and Open Reimplementation of AlphaZero》 MobileLLM论文:《 MobileLLM: Optimizing Sub-billion Parameter Language Models for On-Device Use Cases》 GaLore论文:《GaLore: Memory-Efficient LLM Training by Gradient Low-Rank Projection》 田渊栋之前自动驾驶的技术分析帖子 玄幻&科幻作品集 【后期】 AMEI 【BGM】 Interruption - Craft Case Stillness Within - Roots and Recognition 【在这里找到我们】 公众号:硅谷101 收听渠道:苹果|小宇宙|喜马拉雅|蜻蜓FM|网易云音乐|QQ音乐|荔枝播客 海外用户:Apple Podcast|Spotify|TuneIn|Youtube|Amazon Music 联系我们:podcast@sv101.net
2024-03-2954 minThe AAAi Podcast2024-03-2833 minTroubled Minds Radio2024-03-123h 13AI Lawyer Talking Tech2024-02-2922 minThe AAAi Podcast2024-02-2926 minThe AAAi Podcast2024-02-2734 minThe Gradient: Perspectives on AI2023-11-302h 01THE ONE\'S CHANGING THE WORLD -PODCAST2023-10-231h 10AMIA: For Your Informatics2023-10-1245 minArtribune2023-10-051h 16ACM ByteCast2023-10-0445 minとなりのデータ分析屋さん2023-08-0225 minHealth and Explainable AI Podcast2023-07-2840 minThe Convergence - The Army\'s Mad Scientist Podcast2023-07-1333 minASBAI2023-07-0523 minConspiracy Clearinghouse2023-07-0556 minContemporaneamente podcast di Mariantonietta Firmani2023-06-261h 16Jay Shah Podcast2023-06-072h 46AI Asia Pacific Institute Podcast2023-05-231h 12MVP - THE MASTERS\' VOICE PODCAST - MEDIABRIEF2023-05-2139 minAI Asia Pacific Institute Podcast2023-05-161h 15EduK82023-05-021h 28となりのデータ分析屋さん2023-04-1636 minCEimpact Podcast2023-04-0331 minLet\'s Make IT Simple2023-03-2122 minNGOLAM - Ngobrol Lebih Dalam2023-01-0434 minNGOLAM - Ngobrol Lebih Dalam2022-12-2129 minModern Manhood: The Podcast2022-11-131h 41The Feminine Genus Podcast2022-10-2454 minIndustrial AI Podcast2022-09-2937 minBJKS Podcast2022-09-131h 34The Gradient: Perspectives on AI2022-09-081h 11The TrulyFit Podcast2022-04-1855 minThe Robot Brains Podcast2022-04-1357 minImmigrant Computer Scientists2022-04-061h 09RADIO AI - A Public Resource for AI Literacy (for Everyone)2022-03-1813 minRADIO AI - A Public Resource for AI Literacy (for Everyone)2022-03-1813 minBackTable ENT2022-02-2251 minValidated by Victoria2022-01-2439 minSci Guys2021-08-091h 00MVP - THE MASTERS\' VOICE PODCAST - MEDIABRIEF2021-04-1453 minSoft Robotics Podcast2021-04-061h 01Decrépitos2021-01-0137 minThe Future of Data Podcast | conversation with leaders, influencers, and change makers in the World of Data & Analytics2020-12-151h 12CIO Exchange Podcast2020-11-0433 minFor Common Good, The Podcast.2020-07-2130 minLife, Love, and Coffee with Paul Jordan2020-05-2522 minThe Pulse by Wharton Digital Health2020-05-0742 minLeading NLP Ninja2020-02-0938 minReinvention Radio2019-11-0755 minThales Sehn Körting2019-11-0505 minProfit-ology2019-10-0435 minLuminary2019-02-181h 10Leading NLP Ninja2018-12-0231 minNLP Highlights2018-08-1338 minROCKETFUEL - Der Change Podcast!2018-07-1128 minMotormouth Podcast2014-12-031h 48Darkside Podcast2013-05-281h 04Darkside Podcast2013-05-281h 04