流同步

🏛️ 第07讲：PyTorch 异步执行流——CUDA Stream 与 CUDA Graph 原理 主讲人：👓 Ringi（大厂 AI Infrastructure 工程师） 所属模块：Module 00: 性能工程与系统前置 篇章范式：🏛️ 性能工程与系统前置篇（Performance Engineering & System Baseline） 核心导读：在很多刚接触 GPU 编程或大模型训练的同学眼中，代码的执行逻辑总是理所当然地被当作“同步串行”的：Python 解释器读到第 1 行矩阵乘法，GPU 就把第 1 行算完；读到第 2 行激活函数，GPU 再接着算第 2 行。然而，这种朴素的直觉在现代 GPU 计算体系中是彻底错误的！ GPU 本质上是一个独立于 CPU 的极致并发、完全异步的协处理器（Asynchronous Coprocessor）。当你在 Python 中调用 c = torch.matmul(a, b) 时，CPU 仅仅是把一条计算指令装填进硬件队列后就瞬间扬长而去，实际的计算可能要在几十微秒之后才会在 GPU 内部的流式多处理器（SM）上真正运转。这种异步设计赋予了系统极高的并行吞吐，但也带来了重重致命暗礁：为什么用 time.time() 测出的模型耗时只有 0.1 毫秒？为什么随手写一句 print(loss.item()) 就会导致 Serving 吞吐暴跌 70%？为什么在没有调用 tensor.record_stream() 时多流并发会出现静默的数据踩踏（Data Corruption）？为什么在大模型单 Token 生成（Decode）阶段，算力强劲的 H100 显卡有 80% 的时间在饥饿等待 CPU 下发指令？ 本讲将带你穿透 Python 运行时与 CUDA 驱动层，手拆 Host-Device 异步流水线、CUDA Stream/Event 硬件调度模型、Launch Overhead 微秒级账本，并彻底掌握大模型推理引擎（如 vLLM、TensorRT-LLM）性能翻倍的终极大杀器——CUDA Graph 录制与重放机制！ ...