先给结论：推理芯片的瓶颈不在算力数字，而在数据搬运

很多人看推理芯片，第一眼盯的是TOPS或FLOPS，觉得数字越大就越强。江南娱乐在整理公开规格书时发现一个规律：同一档算力的芯片，实际推理吞吐可能相差一倍以上，差距往往来自数据搬运能力，而不是计算单元本身。换句话说，算力是发动机，带宽和互联是油路和传动，任何一段堵住，整台机器都跑不快。江南娱乐技术解读栏目习惯先把结论摆出来，再拆解指标，这篇就按这个顺序讲。

本文不讨论具体厂商的未公开数据，只引用公开规格书与行业白皮书中可核验的通用指标，帮助读者建立一套自己的对照方法。江南娱乐希望读者看完之后，拿到一张参数表能自己判断哪里可能成为瓶颈。

显存带宽：决定推理芯片能不能“喂饱”计算单元

核心信息一句话：显存带宽决定单位时间内能搬运多少权重和激活值，带宽不足时，计算单元只能空转等待。

推理过程可以粗略理解为反复读权重、算乘加、写结果。大模型推理中，权重读取量往往远大于计算量，因此带宽经常先于算力成为天花板。江南娱乐在术语百科里把这一现象称为“带宽受限”，对应的判断方法是算一算每瓦或每TOPS对应的带宽配比。

  • 看总带宽：单位通常是GB/s，数值越大，单位时间可搬运的数据越多。
  • 看带宽与算力的配比：配比过低时，算力单元容易闲置，参数表好看但吞吐上不去。
  • 看访问效率：同样带宽下，访存模式是否连续、缓存命中率高低，都会影响实际可用带宽。
  • 看容量与带宽的平衡：容量不够会触发频繁换入换出，等效带宽被进一步拉低。

江南娱乐提醒一点：带宽不是越大越好，容量、功耗、成本要一起算。对端侧设备来说，带宽拉高往往伴随功耗上升，这时更该看每瓦带宽，而不是绝对数值。

互联拓扑：多芯粒系统里最容易被忽略的一环

核心信息一句话：当一颗芯片被拆成多个芯粒，芯粒之间怎么连，直接决定扩容后性能是线性增长还是原地踏步。

单芯粒时代，互联拓扑基本是芯片内部的事；进入多芯粒封装后，芯粒间的数据流开始出现在参数表里。江南娱乐在对照公开技术文档时发现，拓扑选型的关键不在“连得上”，而在“扩容时是否还连得动”。常见拓扑可以粗分为几类：

  • 点对点直连：结构简单、延迟低，适合芯粒数量少的场景，但芯粒一多，连线数量会快速膨胀。
  • 环形互联：布线规整、扩展方便，代价是跨环传输的跳数增加，远端访问延迟上升。
  • 交换式互联：通过交换节点转发，扩展性好，但交换节点本身会带来额外延迟和面积开销。
  • 网格与片上网络：适合芯粒较多、数据流较规则的场景，路由策略设计得好，带宽利用率更高。

判断拓扑是否合适，江南娱乐建议看三个问题：扩容后单跳延迟是否可控、最坏情况下的数据流会不会挤在同一条链路上、拓扑占用的封装面积和功耗是否在预算内。这三个问题答不清楚，扩容时就容易暴露问题。

先进封装：把带宽和互联“装”进去的代价账

核心信息一句话：先进封装能显著提升带宽密度和互联密度，但它同时带来成本、良率与散热三方面的代价，选型时要先算清这笔账。

高带宽存储要靠先进封装贴近计算芯粒，多芯粒互联也要靠先进封装提供高密度走线。江南娱乐在梳理公开封装技术资料时看到，封装方案的选择往往不是技术最优，而是约束条件下的折中。

  • 成本：封装工序越多、中介层面积越大，单位成本越高，小批量场景尤其明显。
  • 良率：多芯粒封装中任一芯粒失效都可能影响整体，封装前的已知良品筛选很关键。
  • 散热：芯粒堆叠和高密度互连会抬高局部热流密度，散热设计要提前介入。
  • 可测试性：封装完成后内部节点难以探测，测试策略需要在设计阶段就规划好。

江南娱乐技术解读栏目一直强调，先进封装不是万能钥匙，它解决的是“距离”问题，代价是“复杂度”问题。把带宽、互联、封装三笔账放在一张表里对照，比单看任何一项指标都更接近真实。

一份可以照着用的对照清单

核心信息一句话：拿到一张推理芯片参数表，按下面顺序过一遍，能较快定位潜在瓶颈。

  • 第一步，算带宽与算力的配比，判断是否可能带宽受限。
  • 第二步，看多芯粒场景下的互联拓扑，问一句扩容后延迟怎么变。
  • 第三步，看封装方案带来的成本、散热与测试约束是否可接受。
  • 第四步，把功耗预算放进来，端侧场景优先看每瓦带宽与每瓦算力。

江南娱乐会持续在技术解读栏目更新这类对照方法，配合术语百科与图表说明，让复杂指标变成可以对照的事实。读者可以在安卓、苹果iOS、Windows电脑版、Mac电脑版客户端上查看完整栏目内容，按自己的场景逐项核对。