Look for any podcast host, guest or anyone
Showing episodes and shows of

Mathias Lechner

Shows

跨国串门儿计划
跨国串门儿计划#568. Transformer辩论:如何理解下一代智能之争📝 本期播客简介本期我们克隆了:Pathway《Transformer vs Post-Transformer | ft. Lukasz Kaiser, Adrian Kosowski, Mathias Lechner, & Llion Jones》这是一场以“拳击赛”形式呈现的 AI 架构思想对决:Transformer 还会继续统治下一代 AI,还是我们已经站在 postTransformer 时代的门口?辩论的一边,是 Transformer 共同发明者 Lukasz Kaiser,他认为 Transformer 虽然简单得近乎疯狂,却已经证明自己能够工作、能够扩展,并且可以被理解为一种强大的可微分记忆系统。另一边,Adrian Kosowski 和 Llion Jones 则认为,Transformer 只是智能的一种实现形式,而不是智能的终极答案。人脑的数据效率、连续学习、非语言推理和动态状态,都在提醒我们:一定还存在更好的东西。Mathias Lechner 则代表更工程化的中间路线:未来可能不是 Transformer 或 postTransformer 二选一,而是根据硬件、场景和能力需求,把所有可用 building block 组合起来。这期节目尤其适合想理解 AI 底层趋势的人:为什么 Transformer 如此强大?为什么 scaling laws 仍然重要?为什么“用语言思考”可能不是最高效的 reasoning?新架构为什么总会被硬件拖住?benchmark 到底能不能衡量真实智能?如果你关心 AI 下一轮技术红利、创业机会、算力焦虑和 AGI 路线之争,这是一场非常值得听完的高密度讨论。👨‍⚕️ 本期嘉宾Lukasz Kaiser,Transformer 共同发明者之一,曾参与创建 ChatGPT o1,是现代大语言模型架构演进中的关键人物。Adrian Kosowski,Pathway 的 CSO,BDH 架构的发明者之一,主张从动态系统、latent reasoning 和持续学习角度探索 postTransformer 架构。Mathias Lechner,Liquid AI 研究者,专注于构建新一代 foundation model,强调 Transformer 与 postTransformer building blocks 的混合使用,以及模型在不同硬件和部署场景中的实际表现。Llion Jones,Transformer 共同发明者之一,虽然参与了 Transformer 的诞生,但在本场辩论中站在 postTransformer 阵营,认为 AI 需要跳出当前架构的局部最优。⏱️ 时间戳00:00 开场 & 播客简介拳击赛开局:谁代表 AI 的下一个时代01:43 现场规则:用拳击赛形式辩论 Transformer vs postTransformer04:02 Lukasz 开场:Transformer 是简单、漂亮、而且真正能工作的 memory06:40 Adrian 开场:智能还没有迎来自己的 PageRank 时刻09:54 Mathias 开场:未来不是二选一,而是 Transformer 加 postTransformer12:22 Llion 开场:Transformer 很强,但它可能只是 brute force 的局部最优第一轮交锋:Transformer 到底是不是终局16:42 Lukasz 反驳:Transformer 仍是当前机器学习里最强的可扩展答案19:00 Adrian 反击:reasoning 和 learning 不一样,语言思考不是唯一解21:38 Mathias:Transformer 和 RNN 的边界会越来越模糊23:33 Llion:真正突破不是重排组件,而是重新质疑神经网络假设智能是什么:语言、压缩与人脑26:04 智能定义之争:是可观察行为,还是更深层的信息处理过程28:30 Transformer 是否把工程便利误认为科学真理29:08 智能即压缩:预测互联网下一个词为什么如此有效30:02 Language 与 reasoning:语言承载智能,但也限制思考方式31:30 发现新知识时,非语言推理是否更高效31:52 人脑与儿童启发:为什么小孩不用长链推理也能快速泛化Scaling 之争:算力还会继续赢吗33:06 Bitter Lesson:为什么十倍算力和十倍数据常常打败巧妙设计33:34 不同架构都有 scaling law,但硬件适配决定谁能赢34:34 Lukasz:如果有比 Transformer 更好的 scaling curve,请拿出来35:56 Adrian:数据、模型、算力不一定必须一起 scale现实世界部署与 benchmark36:58 非文本模态:蛋白质、基因序列和生物医学信号中的架构差异38:05 Benchmark 会不会误导我们39:11 Perplexity:为什么“预测下一个 token”仍可能是最硬的指标40:57 最后陈述:比拼的关键不是单次成绩,而是 scaling curve 的斜率最终立场:Transformer 现在赢,但未来未定4
2026-06-021h 00Agentic2026-05-141h 16Das hintere Drittel - Der Mountainbike Racetalk von BikeQuadrat2026-01-061h 18Daily Paper Cast2025-12-0322 minFuture Weekly2025-09-2145 minMathias Kossek Podcast2025-04-0356 minPhilosoph! Der andere Versicherungspodcast2025-02-2545 minFuture Weekly2024-10-2441 minMeet My Mind2024-05-031h 41Safety Corner2021-05-1048 minRadioRadsport2020-10-1002 min