Stanford CS153: Frontier Systems · 课程录像

AI 扩展、系统瓶颈，以及算力为什么还不是一种商品

讲者：Anjney Midha — AMP PBC 合伙人、课程联合讲师
时间：2026 年春季 · 时长：约 55 分钟

TL;DR

Anjney Midha 用一场发生在整个 AI 基础设施栈上的「大转型」为 CS153 定下基调：从资本、芯片到模型与政策，每一层的旧假设都在被重新审视。这节课围绕两个核心概念展开：上下文（context），即决定 AI 系统能否持续改进的环境与反馈回路；以及算力（compute），即 GPU 价格为什么不降反升、历史上的基础设施周期又能告诉我们什么。

他的核心判断是：算力仍处于类似早期电力和钢铁行业的标准化之前阶段。接下来需要出现统一标准，以及能够执行这些标准的制度。

核心概念

Anj 的人生扩展定律

开场不是技术，而是一条个人建议：认真对待人生，但别认真到忘了快乐。课堂里最值得投入的人不是台上的嘉宾，而是身边的同学。关系会比一场讲座延续得更久。

AI 基础设施栈

整个行业可以分成七层，而七层正在同时发生变化：

  1. 资本：流动性最高，哪里有机会就去哪里
  2. 土地、电力与机房：能源生产和数据中心建设
  3. 芯片：NVIDIA、AMD 与定制芯片
  4. 云：让芯片真正可用的软件层
  5. 模型与 Agent：训练、中期训练和后训练
  6. 应用与解决方案：建立在模型之上的产品
  7. 治理：安全、安保与信任框架

Anjney 认为，这是他职业生涯中第一次看到每一层的基本假设被同时改写。对能够理解完整技术栈的人来说，这也意味着少见的机会窗口。

从预训练转向后训练

模型生产已经逐渐工业化：

  • 基础模型训练：一年约两次，使用十万张以上 B300 等效 GPU
  • 中期训练：一年两到四次，用于增加能力，约占训练算力的 10%
  • 持续后训练：SFT 与 RL 持续进行
  • 关键变化：RL 后训练消耗的算力，已经接近其余训练流程的总和

AI 能力进步的四个瓶颈

  1. 上下文：数据与部署策略
  2. 算力：基础设施与效率
  3. 资本：获得上述资源所需的不同类型资本
  4. 文化：可能是最重要、也最容易被忽略的一项

强化学习为什么现在开始奏效

  • RL 已经有七十多年历史；新的地方，是用具备足够现实世界先验的 LLM 初始化 RL。
  • 更强的先验让系统学得更快，能力也能随着算力和上下文继续增长。
  • 过去的棋类 RL 超过人类后往往进入平台期；LLM 的先验更通用，因此有可能继续学习。

「制造智能」的配方

过去四年反复被验证的一条循环是：

  1. 融资并购买算力
  2. 加入数据，预训练模型
  3. 发布一个足够先进、有人愿意使用的产品
  4. 从推理获得收入，同时收集上下文反馈
  5. 把上下文送回 RL，提高能力
  6. 重复循环，让收入飞轮与上下文飞轮互相增强

课上给出的关键观察是：Anthropic 每次上线新的算力后，模型能力通常会在 60–90 天后跃升，随后收入也会上升。算力、能力与收入之间呈现出相当稳定的相关性。

上下文成为新护城河

Anjney 认为，「谁会赢得 AI 竞争」最终取决于：谁控制了独特且可防御的上下文。

  • 上下文是 Agent 学习所处的环境。就像训练一只狗时，草地、雨水和跑动的孩子都会影响学习。
  • RL 在可以验证的上下文中进步最快。代码能由测试验证，材料科学能由实验验证；审美、爱和长篇创作则很难得到同样明确的反馈。
  • 赢家掌握别人难以复制的上下文。
  • 输家被挡在关键上下文之外。

现实中的「上下文战争」已经出现：当 OpenAI 尝试收购 Windsurf 时，Anthropic 很快限制了 Windsurf 对其模型的访问。如果竞争对手能观察模型如何帮助用户，就可能从这些交互中学习甚至蒸馏能力。

另一个方向是主权上下文。受美国 CLOUD Act 影响，政府、国防和国家记录等关键工作负载未必愿意运行在美国公司的云上。这推动了本地算力、本地模型和开放权重的「主权 AI」，也让持续十五年的云基础设施集中趋势第一次出现逆转。

RL 的边界在哪里

  • 哲学判断：Agent 理论上应该可以学习任何东西。
  • 经验事实：现实世界很混乱，进步目前仍集中在容易验证的领域。
  • 开放问题：RL 能否跨领域泛化？一个代码 Agent 并不一定能靠自我提升自然进入材料科学。

系统层面的递归自我改进

Anjney 关注的不只是模型自身递归改进，也包括一个团队是否形成了持续变好的系统：清晰使命与研究算力带来领先技术和产品，产品又为下一轮改进提供资源与反馈。

算力还不是商品

Anthropic 的收入增长与算力建设高度相关：随着电力容量从接近零增长到 400 MW 以上，收入也出现快速增长。

大型科技公司在 2024–2026 年对基础设施的投入，超过此前三十年的总和。超大规模云厂商合计资本开支从 2015 年的 230 亿美元，上升到 2025 年的 3540 亿美元，2026 年估算达到 6050 亿美元。

背后的经济逻辑是：一美元算力属于按收入三到四倍估值的硬资产，却能变成一美元按收入三十到四十倍估值的软件收入。这个大约十倍的价值转换，正在推动算力囤积。

与此同时，H100 的市场价格并没有像普通商品一样下跌。按需资源仍然紧张，价格反而持续走高。

历史上的基础设施周期

资源繁荣期典型过程
钢铁1867–1895囤积 → 1873 年恐慌 → 崩盘 → 标准化
光纤1990 年代末过度建设 → 互联网泡沫破裂 → 最终稳定
DRAM多次周期半导体行业反复经历剧烈繁荣与衰退
航运（波罗的海干散货指数）2003–2012见顶后六个月内下跌 94%
铀1970 年代核电繁荣 → 三里岛事故 → 下跌 65%

数字基础设施的平均周期约为 2.8 年，物理基础设施约为 6.3 年。AI 同时具有数字和物理属性，因此市场很难判断它究竟处于哪一种周期。

算力会不会最终成为普通商品

这部分是整节课最反直觉的判断：

  • 算力不可完全互换：H100、GB200 与 B300 并不等价，甚至同一厂商的不同芯片也不能直接替换。2026 年 3 月，B300 的市场价格约为每小时 3.90–4.40 美元，而 AMD MI325 约为 1.55–1.70 美元。
  • 需求难以预测：训练负载从小实验突然跳到大型主训练；推理负载则具有明显昼夜周期，尚未形成稳定的消费模式。

因此我们仍处于算力的前标准化时代，需要两类东西：

  1. 类似电力 AC/DC、网络 TCP/IP 的统一标准，包括计量单位、交付接口、互联与收费方式
  2. 能执行标准的制度，避免资源长期被少数囤积者控制，并让算力能够被重新配置

行业观察

  • Anthropic 的起点：Dario 和 Tom 还在 OpenAI 做研究时，曾联系 Anjney 讨论离开并建立新实验室。他在 Sand Hill Road 介绍了 22 位投资人，其中 21 位拒绝；四年后，这个想法成为一家高速增长的公司。
  • Amp 的内部规则：一位创始人看到 Anjney 的文章后第一句就问「这是 Claude 写的吗？」此后 Amp 规定内部文档不能由 AI 代写，宁愿分享不够精致但确实由本人思考过的文字。
  • GPU 像紧缺品交易：一家融资接近十亿美元的公司在上课当天紧急求购 H100，并表示价格不是问题。算力短缺已经成为创业公司的真实约束。
  • 递归自我改进不只属于模型：能够持续改进自身流程的公司，也可能进入类似「起飞」的状态。
  • Claude Code 的真实使用量：GitHub 上由 Claude Code Agent 提交的 commit 与算力扩张高度相关，说明增长不仅来自定价，也来自实际使用。

印象深刻的片段

  • 有人把这门课称为「AI Coachella」并提醒学生谨慎，Anjney 反而直接接受了这个称呼。
  • 谈到同学关系时，他意外哽咽。他在 Stanford 大二认识了妻子 Viv，两人已经在一起十三年；他的两家公司也都由 Stanford 室友共同创立。
  • 他的生活启发式很简单：和真正喜欢的人一起，别忘了享受生活。
  • 3Blue1Brown 创作者 Grant Sanderson 是他本科时期的室友。开课前一晚，两人还在讨论如何用 AI 为任何领域制作世界级教育内容。
  • 上一届课程中，Jensen Huang 曾签名赠送五张 RTX 5090，作为优秀项目奖品。

代表性观点

认真对待人生，但不要认真到忘了什么才重要。别忘记快乐，也别忘记是什么让生活值得。

如果你在构建 Agent，最该寻找的问题是：哪里存在能够被稳定测量和验证的上下文？

一美元算力能够转化成一美元软件收入，而市场给后者的估值可能高出十倍。

任何告诉你芯片已经商品化的人，都应该重新解释为什么芯片价格不是下降，而是在上涨。

不要只把自己当成学生。你们也是这个时代变化的参与者。

延伸阅读

课程指定材料

  1. Chinchilla: Training Compute-Optimal Large Language Models（Hoffmann 等，2022）

    • arxiv.org/abs/2203.15556
    • 讨论训练算力与模型规模之间的最优扩展关系，也是 Arthur Mensch 到访前的指定阅读。

  2. CLOUD Act — Clarifying Lawful Overseas Use of Data Act

    • AWS 说明
    • 理解主权 AI、Mistral 与本地算力需求的重要背景。

补充材料

  1. AI Compute Demand — Stanford MSE 435

  2. Economics of the AI Supercycle — Stanford MSE 435

    • 课程主页
    • 从经济学角度补充 CS153 的基础设施主题。

关联