结论前置：扩容不涨反降，问题多半出在拓扑与并行方式不匹配

集群从几十卡扩到上百卡，吞吐却没有同比例上升，这类现象在公开的架构讨论中并不少见。江南娱乐技术解读栏目在复盘多份公开技术资料后给出一个结论：互联拓扑不是背景参数，它决定了并行策略能走多远。拓扑与并行方式错配时，新增的算力会被通信等待吃掉。

江南娱乐在整理方案对比资料时发现，选型阶段人们更关注单卡指标，而扩容阶段暴露的问题几乎都指向卡间协同。下面按“先看通信模式、再看拓扑形态、最后看扩展曲线”的顺序展开。

第一层：并行策略决定了通信模式

张量并行要求高频次、小消息的密集通信，流水并行更像接力传递，数据并行则集中在梯度同步。三种模式对带宽与时延的敏感度完全不同，先确定并行策略，才能判断需要什么样的拓扑。

  • 张量并行对互联时延最敏感，拓扑层级越浅越有利。
  • 流水并行更依赖缓冲与调度，对单次通信带宽的要求相对温和。
  • 数据并行的通信集中在同步点，拓扑的对称性比峰值带宽更重要。

江南娱乐在术语百科中把这一匹配关系称为“通信画像”，它描述的是任务在时间维度上的通信分布，而非单一带宽数字。

第二层：拓扑形态决定了通信代价

环形拓扑实现简单、成本可控，但跨环通信需要多跳；全连接拓扑时延低，扩展规模却受限于端口数量；交换式拓扑在规模与灵活性之间取得平衡，代价是交换层带来的额外时延。没有普适最优，只有与通信画像的匹配度。

  • 规模较小时全连接的优势明显，规模上去后交换式拓扑的性价比更稳。
  • 拓扑层级每增加一层，跨层通信的时延就会被放大一次，需要在并行划分时避开。
  • 评估拓扑要结合机内与机间两段链路，只谈其中一段容易得出片面结论。

江南娱乐建议把拓扑图与并行划分图叠在一起看，通信热点会自然浮现，这比逐项核对参数更直观。

第三层：扩展曲线暴露真实瓶颈

把吞吐随规模变化的曲线画出来，收益走平的位置就是瓶颈所在。江南娱乐在梳理公开测试方法时强调，扩展曲线必须标注并行策略、批大小与拓扑条件，否则不同来源的数字无法对照。

  • 曲线走平前通常先出现抖动，抖动是通信争用的早期信号。
  • 不同并行策略的走平点不同，选型时应按目标规模对应的区间判断。
  • 扩容前先做小规模外推，比扩容后再补救更省成本。

把三层串起来，选型顺序就清晰了：先定并行策略得到通信画像，再按画像筛拓扑形态，最后用扩展曲线验证。江南娱乐会继续用结论前置的方式拆解这类议题，读者也可在安卓、苹果 iOS、Windows 电脑版与 Mac 电脑版客户端中查阅术语百科与图表说明，把复杂指标变成可以逐项核对的事实。