结论前置：推理卡顿多半不是算力不够，而是数据搬不动

把一次推理服务的响应时间拆开看，真正消耗在乘加运算上的比例往往低于直觉。江南娱乐技术解读栏目在梳理多份公开规格书与架构白皮书后得到一个稳定结论：当模型参数量跨过某个量级，显存带宽与互联拓扑就会取代峰值算力，成为端到端时延的第一约束。换句话说，芯片标称的算力数字只回答了“算得多快”，而带宽回答的是“喂得多快”，后者才决定用户按下回车后要等多久。

这个结论对选型有直接影响。江南娱乐在整理方案对比资料时发现，同一档算力精度的两颗芯片，若显存带宽相差三成，长上下文场景的实际吞吐可能出现明显分化。下面按“先看搬运、再看计算、最后看协同”的顺序展开。

第一层：算力精度决定“算得准”，也决定“算得省”

算力精度不是越高越好，而是要与任务容忍度匹配。INT8 与 FP8 在多数推理场景已能保持输出稳定，FP16 则更多用于对数值范围敏感的任务。精度每降一档，单位带宽能承载的有效计算量随之上升，这才是低精度真正的价值所在。

  • 精度选择应先做小样本回归测试，再决定整条链路的量化策略，避免上线后才发现长尾样本漂移。
  • 同一颗芯片在不同精度下的有效带宽利用率不同，看规格书时要关注对应精度下的实测吞吐，而非只看峰值。
  • 量化带来的收益存在边际递减，当带宽已成为瓶颈时，继续降精度对时延的改善有限。

江南娱乐在术语百科中把这一现象称为“精度红利衰减”，它提醒读者：精度是手段，不是目的。

第二层：显存带宽是推理时延的隐形天花板

推理过程本质上是反复把权重从显存搬到计算单元。权重总量固定时，带宽越高，单位时间能完成的搬运次数越多，首字时延与逐字时延都会改善。江南娱乐在拆解多款推理加速方案时注意到，厂商宣传页常把带宽写在算力之后，但对长上下文与高并发场景，带宽才是更值得优先核对的参数。

  • 先估算单次推理需要搬运的权重与激活值总量，再除以可用带宽，得到理论下限时延。
  • 把理论下限与实测时延对照，差额部分通常来自调度开销、访存冲突与批处理策略。
  • 并发提升会放大带宽压力，高并发下的带宽争用往往比单请求时延更值得关注。

这套估算方法不需要内部数据，只用公开规格即可完成，江南娱乐建议把它作为方案初筛的第一步。

第三层：互联拓扑决定多卡之后还剩多少收益

单卡放不下模型时就要多卡协同，此时卡间互联的带宽与拓扑形态开始起作用。环形、全连接与交换式拓扑在不同并行策略下表现差异明显，拓扑与并行方式的匹配度，往往比单卡峰值更能解释集群的实际吞吐。

  • 张量并行对互联带宽最敏感，流水并行更依赖卡间缓冲与调度，数据并行则考验梯度同步效率。
  • 拓扑层级越深，跨节点通信的额外开销越难被掩盖，规模扩展的收益曲线会提前走平。
  • 评估多卡方案时，应把互联带宽与单卡带宽放在同一张表里对照，而不是分开看。

江南娱乐在整理产业数据时坚持一个原则：任何集群指标都要标注测试条件，脱离拓扑谈扩展比，结论很容易失真。

把三层串起来：一份可执行的排查顺序

面对推理变慢的反馈，建议按“精度配置—带宽占用—拓扑通信”的顺序逐层排除，而不是一上来就加卡。先确认量化策略是否与任务匹配，再核对显存占用与带宽利用率是否接近理论上限，最后检查多卡通信是否成为新的等待点。江南娱乐会在后续的技术解读中继续用这种结论前置的方式，把复杂指标拆成可以逐项对照的事实，读者也可在安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版客户端中随时查阅术语百科与图表说明。