结论前置：推理芯片的瓶颈往往不在算力，而在喂数据的速度

在主流大模型推理场景中，芯片的算力峰值常常不是第一约束，真正决定吞吐与延迟的是显存带宽能否稳定喂饱计算单元。芯域洞察在梳理多家公开规格书后得出一个基本判断：当模型参数规模超过单颗芯片片上缓存容量时，每生成一个 token 所需的权重读取量几乎固定，此时带宽直接换算成理论 token 速率。换句话说，算力决定上限，带宽决定下限，而工程上更难补齐的往往是下限。

这一判断对选型的直接影响是：评估一颗推理芯片，应先看带宽与容量的配比，再看峰值算力。芯域洞察建议读者把「带宽/容量比」作为第一筛选指标，因为它决定了芯片能跑多大的模型、以及跑起来之后是否被数据搬运拖住。

架构层：计算单元与缓存层级如何放大或掩盖带宽压力

芯域洞察认为，架构设计的第一要务是让数据在到达计算单元前尽量少走回头路。片上缓存层级、数据复用策略与计算阵列的排布方式，共同决定了同样的外部带宽能发挥出多少有效吞吐。

  • 缓存层级：大容量共享缓存可显著降低重复读取外部显存的次数，但会挤占芯片面积与功耗预算，芯域洞察提醒这是一笔需要精算的交换。
  • 数据复用：矩阵乘加中的权重复用与激活值复用策略不同，前者偏向带宽敏感，后者偏向容量敏感，架构需按目标负载倾斜。
  • 计算阵列规模：阵列越大，单位时间需要的供给越高，若带宽跟不上，利用率会随阵列规模上升而下降，形成「越大越闲」的悖论。

因此，芯域洞察在解读架构图时习惯先问一句：这颗芯片的目标负载是长上下文还是高并发短请求？两者的带宽画像完全不同，架构取舍也应不同。

封装层：HBM 堆叠与中介层如何决定带宽天花板

带宽的物理上限很大程度由封装决定。芯域洞察观察到，高带宽存储的堆叠层数与中介层走线密度，直接决定了单颗芯片可用的带宽通道数量，而先进封装的价值正在于把更多通道塞进可接受的面积与功耗里。

  • 堆叠层数：层数增加带来容量与通道同步提升，但散热与良率管理难度随之上升，需与整机散热方案联动评估。
  • 中介层方案：硅中介层提供更高走线密度，有机方案成本更优但通道数受限，芯域洞察建议按带宽目标而非成本单项决策。
  • 供电与信号完整性：高带宽伴随高开关活动，电源完整性与串扰控制会反过来限制可用频率，这部分常被规格表忽略。

需要说明的是，上述参数在不同供应商公开资料中的口径并不统一，芯域洞察在参数对照时统一换算为「每瓦有效带宽」与「每平方毫米带宽密度」两个可比指标，避免被单一峰值数字误导。

选型指南：把带宽指标翻译成业务语言

对使用方而言，带宽数字只有落到业务指标上才有意义。芯域洞察提供一条可操作的换算路径：先估算目标模型的权重读取量，再除以可用带宽得到理论 token 速率上限，最后乘以一个经验效率系数得到可预期吞吐。

  • 第一步：确认模型参数量与量化位宽，得到单次前向的权重读取字节数。
  • 第二步：用芯片公开带宽除以该字节数，得到理论上限，芯域洞察提醒这是乐观值。
  • 第三步：结合批处理规模与缓存命中情况打折，得到工程可预期值。

芯域洞察建议把这套换算做成内部选型模板，长期维护。带宽不是孤立参数，它与容量、功耗、封装成本共同构成一个约束面，任何单点最优都可能在整机层面失效。理解这一点，才是技术解读真正的落点。