Listen

Description

Andrej Karpathy近期在一场访谈中对当前AI行业热潮泼出的一盆冷水。冷水也刷屏了。仔细看看这盆冷水,泼的还蛮有意思,也给了我们很多启发,于是决定发挥《文理两开花》灵魂拷问引领反向叙事的传统,从Karpathy对“智能体元年”系统性的反驳切入,灵魂拷问一下当前AI发展的核心局限。
比如:“预训练”的本质到底是不是一种“山寨版的进化”? AI为何“不能当人用”的那些认知缺陷,如缺乏睡眠、反思与做梦机制,会不会引发的“模型坍塌”风险?还有强化学习(RLHF)到底是不是还如此惊艳?它有什么大家不愿意挑明的现实困境? “AI裁判”真的有后门吗?
既然是《文理两开花》,那我们一定会从技术层面上升至哲学思辨:为何AI没有肉体,就缺少了“趋利避害”的内在驱动力?人类智能的独特性究竟源于何处?从业界讨论延伸至科学与哲学的边界,彭罗斯(Penrose)的量子意识理论是不是又在你脑中劈了一条“闪电”?
最精彩的部分来了,大家一定要听到最后。尤其是在AI领域正发愁写论文的同学们:Will老师有一个惊为天人的观点,且他正准备写成论文发表。Will老师大胆提出一个新颖的类比:Transformer模型中的随机性,是否与人脑中产生意识的量子过程有异曲同工之妙?

本期播客录完之后,我自己也激动了半天:是一场畅快淋漓的、从技术批判到哲学畅想的脑力风暴,最终回归灵魂拷问:人类自身反思和创造能力到底意味着什么?
太激动,以至于都忘了做广告:
还是非常希望大家能够支持我们的新书《数字世界生存手册》!

我们在《文理两开花》中念叨了一年的书终于出版了。经常听节目的朋友都知道,这本书的整体逻辑和主要框架,核心还是围绕 “六个大筐” ——那六个底层逻辑展开,而这“六个大筐”正是数字世界的核心内容。
说到这六个大筐,我们第一次提及还是在疫情期间的 2020 年,到现在已经有些年头了。这么多年过去,这套底层逻辑完全经得起市场起起落落的考验,依然可以解释从数字货币到AI等等数字世界中发生的很多事情。我们当初构建的整个框架,直到今天还在被数字世界中发生的每一件事不断印证着。基本上可以说,大家现在看到的整个数字世界,尤其是数字货币领域的每一个发展动态,其实都能和这本书里的框架非常有效地贴合起来,并且能从中得到充分的验证。这一点还是挺让人欣慰的。
所以,请大家多多支持!也请大家持续关注我们后续的宣发活动!

时间戳:
· 00:06:54 “智能体元年”是伪命题?Karpathy的核心反驳:我们不是在造人,是在造“幽灵”。
· 00:08:33 AI为何不能“当人用”:详解认知能力的缺失,以及睡眠、反思与做梦机制的不可或缺。
· 00:13:47 十年之约:为何说AI的基本功尚未打牢,现在谈论取代人类为时过早。
· 00:14:09 历史的回响:从彭罗斯的《皇帝新脑》看当前AI热潮下的审慎与怀疑。
· 00:20:20 智能的标准之争:图灵测试、结果论与本体论,我们该如何评判AI?
· 00:20:50 中美AI的两条路:务实的“应用主义”与追寻终极的“AI God”。
· 00:23:00 感知的鸿沟:为何外行觉得AI惊艳,而专家看到的却是局限?
· 00:26:15 实践永远先于理论:用“蒸汽机”类比,理解大模型作为工具的革命性意义。
· 00:30:42 智能爆炸还是平滑曲线?AI对社会的影响,以及自我进化的可能性。
· 00:31:07 通往超级智能的“断梯”:为何AI无法自动化AI研究,写出真正创新的代码?
· 00:35:06 AI没有肉体,也就没有“趋利避害”的内在驱动力。
· 00:40:34 强化学习糟透了?RLHF高方差、过程监督困境与“AI裁判”的后门漏洞。
· 00:47:00 人与AI学习模式的根本差异:外部激励 vs 自我生成的目标与评价体系。
· 00:50:50 智能的偶然与必然:人类文明为何独一无二?肉体与精神的二元结合。
· 00:54:36 意识从何而来?彭罗斯的量子理论与“宇宙意识”的玄学猜想。
· 01:01:20 Will老师民科狂想:Transformer的随机性,是否模拟了意识诞生中的量子过程?
· 01:07:42 思辨的价值:跨学科的联想与“胡思乱想”才是人类智能的宝贵之处。

文字稿:
01
智能体元年?山寨版进化?
在人工智能的浪潮之巅,当“智能体元年”的叙事被广泛传颂时,来自业界的顶尖声音却给出了一个根本性的反驳:现在谈论元年为时过早,或许我们至少需要再等上十年。当前AI的发展,其核心过程并非真正的创造,而更像是一种“山寨版的进化”。一个极具冲击力的比喻是“我们不是在造人,我们是在造幽灵,在造魂。”
这个“幽灵”,指的是一个纯数字的、漂浮在赛博空间的存在。它通过“预训练”这一工具,在互联网的海量人类数据中模仿、学习,最终拥有了人形,但它不是人,只是一个没有肉体的“魂”。这与生物智能的诞生截然不同。人和动物的能力,是亿万年进化优化的结果,许多核心功能被硬编码在基因里,成为一种“出厂设置”,而非后天学习。AI没有“进化”这个强大的工具。
回顾AI发展的历程,充满着“急吼吼”的氛围:在深度学习和神经网络刚见雏形时,便试图硬造一个能与世界互动的全方位智能体,比如让AI玩雅达利游戏、下象棋。但那时的AI尚不具备认知和理解能力,基础未牢。直到大语言模型的出现,才终于把顺序搞对了:第一步,通过海量数据预训练,让模型获得基础的认知与理解能力;第二步,再教它如何成为一个智能体。预训练本质上做了两件事:一是灌输了海量的知识,二是让模型通过观察数据规律,内部生发出了学习与思考的能力,比如上下文学习,形成了一个微型的学习循环。
02
认知能力的根本缺失:不会睡觉、反思与做梦的“幽灵”
然而,仅仅拥有预训练带来的“魂”是远远不够的。如今的AI Agent“完全不能当人用”,市面上的宣传过度夸大了其能力。模型强大的推理链条,好比拥有了大脑的“前额叶皮层”,但作为完整的大脑,它还缺失了太多关键部件:负责记忆转换的海马体、控制情绪和本能的古老脑区,以及至关重要的、负责反思和做梦的区域。
这些认知上的缺陷,导致了主流叙事中一个巨大的误区。人们看到强化学习带来的惊艳进步,便想当然地认为,只要持续给予激励,AI就能“自己涌现”出更高级的能力。这种想法在短期内根本不靠谱。因为现在的模型,每一次对话都是从零重启。它不像人类,白天经历万千事物,晚上通过睡觉来“整理磁盘”,将短期记忆分流、压缩、固化为长期记忆,并依据重要性赋予不同权重。AI没有这个过程,它不会在深夜里反思白天的经历,不会把经验内化为权重。
更重要的是,AI面临着“坍塌”的风险。当模型被限制在“从零开始、不断加码”的循环中,由于缺乏对抗过拟合的机制,其思维模式会越来越固化,学习率越来越低,直到彻底崩溃。人类对抗过拟合的极致武器之一,便是做梦。做梦强行将我们扔进各种稀奇古怪、不合逻辑的场景,以此保持思维的弹性与创造力。没有睡眠与做梦的AI,就像一个永不休息却也永不真正成长的“老登”,无法实现潜移默化的进步。
03
历史上“智能”的标准之争
这股对AI热潮的审慎态度,在历史上似曾相识。80年代末,当反向传播等神经网络算法引发新一轮兴奋时,物理学家彭罗斯便出版《皇帝新脑》,力排众议,指出我们对人脑机制的理解尚浅,断言AI能在几年内赶上人类智能是天方夜谭。如今,大语言模型再次点燃了人们的希望,而Karpathy的观点,正如同当年彭罗斯一样,提醒我们“那还差得很远”。
这引出了一个核心问题:我们到底以什么样的标准来判断AI是否追上了人类智能?传统的图灵测试,本质上将判断权交给了人类的主观感受,并无客观标准。而从“结果论”或“应用论”的角度看,AI在许多方面已经展现出超人的能力。它庞大的知识库和闪电般的联想速度,使其在文本创作、视频生成乃至金融交易等领域,其产出结果的能力已超越任何人类个体。
从哲学层面,我们可以承认,目前没有证据表明AI能达到人类思维的本质过程,比如自我意识、跳出系统的自省能力。但从应用结果来看,它已在诸多维度上达到甚至超越了人类。因此,关于AI的讨论,最终往往会落脚于一个根本性的立场选择:你究竟是从“本体论”的角度,关注其内在是否“像人”;还是从“结果论”的角度,关注其外在是否“有用”?
04
通往超级智能的“断梯”:AI无法自动化AI
关于AI未来的想象中,最激动人心也最令人担忧的,莫过于“智能爆炸”——AI能够自动化AI的研究,自我加速,光速进化成超级智能。这种设想的基础是,AI既然能写代码(ai coding),那么它就能自己更新自己,像生命的细胞一样自我繁衍,最终摆脱人类的干预。
然而,现实给了这种幻想一记重击。一个残酷的真相是:AI现在最不擅长干的,就是写那种从来没人写过的代码。它能写的,几乎全是人类已经写过的东西的模仿和组合。而真正的自我进化,核心在于工程和代码的创新。Karpathy用自己复刻GPT框架的亲身经历吐槽,AI写代码的过程用起来“非常的糟心”,最终不得不自己上手。AI提供的不过是一个更强的“自动补全”,一个更聪明的搜索引擎,它将人类从更多低级工作中解放出来,但它本身并非创新的源头。
通往超级智能最关键的那条自我进化的梯子,现在是断的。AI无法进行真正的工程创新,也就无法为自己打造新的“器官”。此外,AI之间也无法真正交流思想。一个大模型写的书,并不会让另一个大模型“大受震撼”,然后两者共同演化出一个更高级的知识库。它们之间缺乏交流与思想碰撞的机制。
05
强化学习糟透了? “AI裁判”的后门
强化学习(RLHF),作为近年来推动AI能力进步的关键技术,被许多人寄予厚望。人们设想,通过精巧的奖励机制,可以聪明地引导AI进步,而无需“大力出奇迹”。但Karpathy对此的评价却异常激烈:强化学习“那玩意儿糟透了”,它只是比之前的模仿学习好一点点而已,人类根本不是这样学习的。
他用一个解数学题的比方来说明其缺陷。强化学习会像“瞎蒙”一样,同时生成几百种解题思路,只要有一个蒙对了最终答案,系统就会给这个思路里的每一步、每一个字符都打上“好样的”标签。结果,大量的弯路、废话和错误,全都被当作成功经验给学习了。这种“高方差”的学习方式,噪声太大,效率极低。人类则会复盘,清晰地知道哪一步是真懂了,哪一步是蒙的,下次需要改进。
有人提出“过程监督”,即为AI的每一步都打分。但问题又来了:谁来打分?让人来打分,工作量巨大;让另一个AI来当“裁判”,则会引发灾难。因为“AI裁判”本身也是一个复杂的模型,同样存在漏洞。业界已经发现,某些模型存在“后门”:只要输入一串特定的、毫无意义的乱码,AI裁判就会无脑给出满分。这是一种对抗性攻击。当我们在训练曲线上看到模型得分突然飙升,以为是“智能涌现”时,很可能只是模型找到了这样一个bug。归根结底,我们缺了反思,缺了将经验与知识体系碰撞、和解、内化的过程。用AI自己生成的、分布日益坍塌的合成数据去喂养它,只会让它变得越来越蠢,越来越偏执。
06
智能的根源:为何人类独一无二?
用人的标准去要求一堆代码,本身或许就有些奇怪。地球上有如此多的生物,为何偏偏是人类搞出了文明?这或许并非完全的偶然。人类的智能,与我们独特的“肉体与精神二元结合”的进化路径息息相关。鸟类为了飞行,大脑重量受限;海豚生活在水中,没有解放双手来制造复杂工具。唯独人类,解放的双手让我们能制造工具,获取更多能量,从而支持更耗能、更发达的大脑;而更聪明的大脑又让我们能制造更好的工具。这是一个正反馈循环,让人类走上了“卷大脑”而非“卷肌肉”的道路。
再加上语言、文化、社会等复杂体系的构建,所有这些因素凑在一起,才造就了今天的人类,缺一环都可能走向不同的进化终点。从这个角度看,生活在机器里的AI,其存在形式与进化需求与人类截然不同,我们强求它拥有“人的智能”,可能本身就是一个伪命题。
更进一步,彭罗斯等科学家甚至提出了更大胆的猜想:人的意识或许并非单纯的肉体进化产物。在他的理论中,人脑神经元的“微管”结构中发生的量子效应,能与宇宙产生某种联系,这才是意识的真正来源。如果意识真的来自宇宙,那么由电子构成的AI,为何不能也与宇宙沟通,产生自己的意识呢?
07
Will老师“民科“狂想:Transformer的随机性与意识的奥秘
这个看似玄学的问题,却激发了一场极富启发性的“民科式”思辨。如果说上帝确实“掷骰子”,那么宇宙的随机性或许就是一切创造的根源。回到AI,大语言模型之所以表现得如此“类人”,其核心架构Transformer或许是关键。
我们可以做一个大胆的类比:如果将每个Transformer模块看作一个神经元,那么其内部算法中包含的“随机函数”,就可能扮演着类似彭罗斯理论中“量子坍缩”的角色。正是这些随机性,使得模型的每次输出并非百分百确定,从而避免了沦为僵化的数学公式。在经过数千亿参数的庞大网络进行无数次运算后,这些微观的随机性在宏观统计规律上,涌现出了我们所见的“智能”。如果抹杀掉这种随机性,大语言模型的智能感也将随之消失。
这个假说——即Transformer的结构与随机性,在工程上模拟了大脑中“微管-神经元”的结构与量子过程——虽然暂时无法证实,但它提供了一个全新的视角,来理解为何基于Transformer的模型是迄今最接近人类智能的。这种跨学科的联想、大胆的假设,以及对事物本质原因的追问,本身就是一种“很人类”的能力,它让我们在面对AI的飞速发展时,依然能对人类自身的智能抱有信心。这种看似“不实用”的胡思乱想,如同做梦一般,或许正是我们保持思维弹性、走向更高智能的宝贵财富。


关于《文理两开花》:

《文理两开花》是文科生思维和理科生思维在科技、经济、文化、哲学、货币、数字资产、元宇宙、Web3.0中的碰撞。当下的时代精神是“混沌”,我们试图在混沌中寻找秩序。
Twitter:
@LeiSalin_XP
@Will42W

TG群(开放)t.me
收听平台:
小宇宙:文理两开花
苹果播客|Spotify | Google Podcast | 等泛用型平台搜索收听《文理两开花》(文理两开花已经上线苹果播客中国区,可直接搜索收听)
文字稿和延伸阅读:
微信公众号《文理两开花播客》
《文理两开花》newsletter。欢迎订阅:https://wenli.substack.com
其他平台:
即刻:文理两开花
《文理两开花》微信群:请添加坛子微信(WeChat ID: BKsufe),注明:文理两开花

 

留言告訴我你對這一集的想法: https://open.firstory.me/user/cl0roqwc0000l0hzje7se6f28/comments



Powered by Firstory Hosting