075582814553
为什么ChatGPT越聪明,电费越烧不起?人脑早给了答案

香港天翔電子有限公司 / 08-25 16:42

20瓦对比1兆瓦:人脑和大语言模型根本不在同一个量级上。

每次大语言模型回答一个问题,它所做的不过是人脑30万年来毫不费力就能完成的事;但它为此消耗的电力,却足以支撑一个小型社区。而我们颅骨中的大脑,同时驱动着一切——每一个念头、每一段记忆、每一种感知——所有这一切并行运转、时刻不停,仅需约20瓦,大致相当于一个手机充电器的功耗,燃料不过是再普通不过的葡萄糖。

在那持续稳定的20瓦之上,回答任何一个问题的额外消耗,不过是九牛一毛。这一对比尽管触目惊心,却远非故事的全貌。负责思考的心智或许只有30万年历史——那正是首批智人诞生的年代。然而其底层的机制,也即神经元本身,已经历了6亿年的持续优化——远在寒武纪大爆发之前,首个神经系统就已在早期动物中出现。大脑并非一蹴而就地达到20瓦的功耗水平,这种效率是历经数亿年才磨砺出来的。

相比之下,基础大语言模型在短短几年内依托GPU搭建而成,其诞生源于模仿大脑的尝试:神经元、学习过程、整个词汇体系,全都是借来的。在从生物学分析到GPU集群的转化过程中,工程学却来了个急转弯。最终构建出的东西确实受到了大脑的启发;正如飞机受到了鸟类的启发——两者仅共享一两个原理,除此之外几乎再无共同之处。

真正值得探讨的问题,从来都不是机器是否已经迎头赶上。而是两个系统何以能通过如此迥异的手段达成同一个结果——即预测——以及为何其中一方根本不可能与另一方同场竞技。毕竟,另一方拥有6亿年的先发优势(图1)。

图1:从单细胞生物到当今大语言模型的生命演化时间线 图片来源:Lauro Rizzatti

人工神经网络仅受到生物大脑的粗略启发。大语言模型是运行在硅基上的数字系统,而人脑则是一个大致上属于模拟的器官,由数亿年进化塑造而成。两者的相似之处仅存在于通用的计算原理层面,而非物理构造或主观体验。

从生物神经元到人工网络

人脑大约包含860亿个神经元。每个神经元从其他细胞接收电信号和化学信号,整合这些输入,如果满足特定条件,便会产生一个电脉冲。突触,即神经元之间的连接,其强度可以根据活动而变化。频繁激活的通路可能变强,而其他通路可能变弱。这种改变的能力,正是所谓的神经可塑性的一部分。

  • 生物学习:经验/活动→突触可塑性→通路强化;

  • 人工学习:数据/误差信号→反向传播→参数与权重调整。

人工神经网络在数学层面粗略模拟了这一过程的某些方面。它以执行数值运算的计算单元替代生物神经元,以由权重(即参数)表示的数值连接替代物理突触。训练过程中,系统会调整数十亿个参数,在某些模型中甚至达到数万亿个,强化那些有助于产生更准确输出的数学模式,同时削弱导致错误的模式的影响力。

尽管存在这种对应关系,人工神经元本质上只是由计算机硬件执行的一种数学运算。而生物神经元则是一个活的、具有代谢活性的细胞,其行为受到电脉冲时序、局部生化环境、激素、基因表达,以及物理结构的影响。

从经验中学习vs.从数据中学习

人类与大语言模型通过根本不同的机制获取知识:

  • 具身接地(人类):一个孩子通过直接的感官接触学习“热”的概念——看见蒸汽、感受阳光、触摸温热的杯子。语言直接与身体感觉、情绪、身体风险和记忆相连。

  • 统计性接地(大语言模型):大语言模型通过处理数百万条包含“热”的文本出现(如热咖啡、炎热天气、热门话题)来学习这个词。它构建起一张庞大的语言关系网络,从而能够令人信服地描写热度或灼伤——尽管它从未感受过温度或疼痛。

  • 现代多模态模型增加了图像、音频和视频,但识别一张火焰的照片,与作为一个可能被它灼伤的生物体,两者仍然存在根本区别。

语言如何变成数学

为了处理文本,大语言模型将词语转化为数值形式:

  1. 分词(Tokenization):文本被分割成称为“词元”(token)的小单元。一个词元可以是一个完整的词、一个词的一部分、标点符号,甚至是一个与相邻字符组合在一起的空格。

  2. 嵌入(Embedding):每个词元被转换为一个多维向量——一个庞大的数字矩阵,代表着训练过程中学习到的语言特征与关系。

  3. 上下文处理(Contextual processing):模型分析词元在句子中彼此之间的关联方式。随着信息在网络中传递,每个词元的数值表示会根据其上下文得到精化。

例如,像“What is the Capital of France?”这样一个问题,会按照以下顺序进行处理:

  1. 分词(Tokenization):将输入文本拆分为若干词元(Token),例如“Capital(首都)”“of(的)”“France(法国)”;

  2. 嵌入(Embedding):将这些词元转换为高维数值向量;

  3. 上下文处理(Contextual Processing):在整个神经网络中分析这些词元之间的关系。

这与大脑表征意义的方式存在广泛的相似之处。大脑通常不会将一个复杂的人、物体或概念储存在单个孤立的神经元中。相反,一段记忆的不同方面,例如一个人的面容、声音、姓名,以及情感意义,是通过分布在相互连接的神经系统中的活动模式来表征的。

大语言模型同样以分布式方式表征信息。一个概念通常并非存储在单一参数或某个固定位置中;相反,模型所学到的内容分散在许多参数之上,而特定句子中的意义则涌现于词元交互所产生的激活模式。在这两种系统中,意义都依赖于整个网络中的关系,尽管生物机制与人工机制存在根本差异。

预测的核心作用

两个系统都严重依赖预测。

将大语言模型称为“下一个词的预测器”未免小看了它。要在数百万种情境中准确预测语言,模型必须内化语言所描述的那个世界的结构:逻辑、因果关系,以及社会预期。

注意力与上下文窗口

为了高效处理复杂信息,两个系统都会优先关注重要内容:

  • 生物意力(Biological Attention:由目标导向和情绪驱动。在嘈杂的环境中,人类能够将注意力集中于某一段特定对话,并依据其相关性或对自身安全的重要性,主动过滤掉其他无关信息。

  • 数学注意力:一种Transformer计算,用于衡量相隔较远词元(Token)之间的关联程度。例如,在句子“Maria把蛋糕放进冰箱,因为它是热的”(Maria put the cake in the fridge because it was warm)中,注意力机制会判断代词“它(it)”指代的是“蛋糕(cake)”,而不是“冰箱(fridge)”。

大语言模型的上下文窗口类似于人类的工作记忆,承载着当前提示、先前对话及已检索的上下文。超出该窗口的任何内容都将无法访问,除非被显式调取。

记忆与幻觉

人类的记忆是重构性的、多层次的,涵盖工作记忆、陈述性记忆、程序性记忆和情绪性记忆,并且每次被提取时都会被重新改写。

大语言模型(LLM)没有独立的、可寻址的记忆库。它所掌握的知识并非以可检索的条目形式存储,而是在训练过程中被分散地编码进数十亿个参数权重之中。正因为如此,LLM生成文本依赖的是统计概率推断,而非数据库检索。它可能会生成听起来合理、甚至极具说服力,却实际上并不正确的内容。这种现象被称为“幻觉”(Hallucination)。无论是人类还是机器,表达流畅并不等同于内容真实。

推理、创造力与意识

  • 推理:人类的推理融合了逻辑判断、感官反馈、记忆与情绪。大语言模型的推理则将习得的数学表征与逐词预测机制相结合。由于模型可能在错误前提的基础上输出看似逻辑自洽的内容,在实际落地场景中,通常会为其搭配计算器、搜索引擎、代码执行器等外部工具。

  • 创造力:人类与大语言模型都能将既有模式重组为新奇的输出。但人类的创造力源于切身的生活体验——例如,爱、悲伤、抱负与生存。大语言模型只是模拟这些情感的语言表达,却未曾真正经历它们。

  • 意识:大语言模型能够流畅地讨论自我意识,因为它是在关于意识的人类文本上训练出来的。讨论意识不等于拥有意识。

能效:20瓦的器官与兆瓦级的数据中心

生物智能与数字智能之间的结构性鸿沟,在能耗方面体现得最为鲜明。

表2:与按需扩展的硅基芯片相比,大脑是一个持续运行、功耗仅20瓦的器官 数据来源:Lauro Rizzatti

恒定基线vs.按需扩展

成年人的大脑以约20瓦的低功耗、近乎恒定的预算运行,大致相当于一个手机充电器的耗电量,并持续消耗这些能量以维持新陈代谢、处理感官信息流、调节身体机能,同时并行运转多项认知任务。

相比之下,一座现代化的AI数据中心要消耗兆瓦乃至吉瓦级的电力,才能驱动数千颗高性能GPU,以及维持这些GPU正常运转的冷却系统。

单次查询能耗

比较一次简单查询的能耗,例如,一个基本的事实性回答或一次快速推断:

  • 人脑:以20瓦持续运转(即每秒20焦耳),一秒钟的思考约消耗20焦耳(约0.0056瓦时)。回答一个问题与安静坐着相比,边际成本可以忽略不计,也就是说,基线功耗几乎没有变化。

  • 大语言模型推断LLM inference 一个简短的回答也需将查询任务分配到大量GPU上进行处理。根据企业披露的数据,以及截至2025年的独立研究结果:一次普通文本查询的能耗约为0.3瓦时(折合约1,100焦耳)。例如,Google表示Gemini的中位能耗约为0.24瓦时,OpenAI则给出的数字约为0.34瓦时。对于需要长程推理(long reasoning)或自主代理(agentic)执行的复杂任务,其能耗还会进一步上升,通常达到数瓦时至数十瓦时的水平。

架构层面的效率鸿沟

一次简单的大模型查询,其能耗就已经达到人脑每秒能耗预算的约50倍,接近两个数量级的差距。如果进一步涉及长程推理或智能体链式调用,这一差距还会扩大到三个数量级甚至更高。这种巨大差异并非偶然,而是源于两者底层架构上的根本不同:

  • 冯·诺依曼瓶颈:传统计算将处理单元(GPU)与内存(HBM/VRAM)分离,因此每秒需要消耗巨大能量来回搬运数据数十亿次。而大脑则将计算与内存整合在同一突触结构之中。

  • 稀疏事件驱动的信号传递(Sparse, Event-Driven Signaling:生物神经元以稀疏、异步的脉冲形式放电,仅在放电时消耗主要能量;而GPU无论输入token的复杂度多低,都会针对数十亿参数执行密集矩阵乘法运算。

大语言模型已经实现了极高的语言流畅度,就每瓦通用智能方面,人脑仍然是无可匹敌的。

当大语言模型回答问题时,它复现了人类大脑30万年来一直在完成的一项壮举——区别仅在于,该模型的功耗足以覆盖一整个街区的用电需求,而大脑仅需20瓦功率即可运行。这种生物级的高能效并非一蹴而就,而是历经6亿年的细胞演化才逐步形成的。

人工神经网络借鉴了大脑的词汇体系,但二者的运行逻辑差异巨大:就像飞机和鸟类的对比——仅共享一两项基础原理,整体架构却截然不同。大语言模型并非在与大脑竞速,而是走了一条高能耗的现代捷径,来实现这项古老的生物技巧。


Processed in 0.092304 Second , 56 querys.