第09讲：网络通信基础与集合通信 Collective 原语直觉——从物理网络拓扑到 Ring/Tree 算法与通信量第一性原理
🏛️ 第09讲：网络通信基础与集合通信 Collective 原语直觉——从物理网络拓扑到 Ring/Tree 算法与通信量第一性原理 主讲人：👓 Ringi（大厂 AI Infrastructure 工程师） 所属模块：Module 00: 性能工程与系统前置 篇章范式：🏛️ 性能工程与系统前置篇（Performance Engineering & System Baseline） 核心导读：在单卡时代，算法工程师只需要关心“算力有多大、显存放不放得下”；然而一旦进入大模型时代，当我们需要调度单机 8 卡乃至跨机数千张 GPU 协同训练一个 70B/405B 大模型时，整个系统的性能瓶颈就会发生天翻地覆的转移——单卡算力再强，网卡慢也只能干等！ 很多初学者在接触分布式训练（DDP、Megatron-LM、DeepSpeed ZeRO、FSDP、MoE）时，常常被各种英文术语搞得晕头转向：一会儿是 AllReduce，一会儿是 AllGather，一会儿又是 ReduceScatter 和 AllToAll。如果你只把它们当作抽象的黑盒 API，你就永远无法理解为什么千卡集群的 GPU 利用率会离奇腰斩，无法手算每一步跨卡通信到底搬运了多少字节，更不知道为什么在 NVLink 域内和跨机网卡上要采用完全不同的算法。 集合通信（Collective Communication）是分布式系统必须掌握的通用世界语。本讲我们将彻底告别枯燥的公式堆砌，用极客大白话、生活直觉比喻、手把手极简数字算盘与拓扑图解，带你彻底穿透八大通信原语、Ring-AllReduce 环形流水线与 $\alpha$-$\beta$ 通信模型，手撕分布式训练背后的通信量账本！ ...