DeepSeek 推出了 DeepEP，MoE 模型訓練的秘密武器

嘿，各位，最近 DeepSeek 開源社群可熱鬧了！他們在 #OpenSourceWeek 的第二天，就丟出了一個超厲害的東西：DeepEP。這可不是一般的通訊函式庫，而是專門為「混合專家模型」（Mixture-of-Experts，MoE）量身打造的。

DeepEP 到底是什麼東東？🤔

簡單來說，DeepEP 是一個能讓 MoE 模型在訓練和推論時，溝通更有效率的函式庫。你知道的，MoE 模型就像一群各有所長的專家，DeepEP 就像是他們的超級聯絡官，讓這些專家之間的溝通暢行無阻。

DeepEP 的幾個特點，讓我來跟你娓娓道來：

又快又好：它優化了 all-to-all 的通訊，不管是節點內還是節點間，都能發揮 NVLink 和 RDMA 的威力。
訓練推論一把罩：不管是需要高吞吐量的訓練和推論預填充（prefilling），還是需要低延遲的推論解碼（decoding），DeepEP 都有專門的 kernel 來處理。
FP8 也沒問題：它還支援原生的 FP8，讓運算更有效率。
彈性十足：你可以靈活控制 GPU 資源，讓運算和通訊可以重疊進行，節省寶貴的時間。

說真的，DeepEP 解決了我們在做 MoE 模型時的很多痛點，你懂的，當你的模型裡有一堆專家，如何讓他們有效溝通真的很重要。

深入了解 DeepEP 的細節 🤓

DeepEP 的核心，就是它那些厲害的 all-to-all GPU kernels，也就是大家常說的 MoE dispatch 和 combine。這些 kernels 不只速度快，還支援低精度的運算，像是 FP8。

還有，為了配合 DeepSeek-V3 論文中提到的 group-limited gating 演算法，DeepEP 提供了一系列的 kernels，專門優化非對稱域的頻寬轉發（asymmetric-domain bandwidth forwarding），像是把資料從 NVLink 域轉發到 RDMA 域。這些 kernels 的吞吐量超高，不管是訓練還是推論預填充都很好用。而且，它們還支援 SM（Streaming Multiprocessors）數量的控制。

對於需要低延遲的推論解碼，DeepEP 也有一組專門的 kernels，只用 RDMA 來降低延遲。它還引入了一個基於 hook 的通訊-運算重疊方法，完全不佔用任何 SM 資源。

實際效能如何？數據會說話！📊

DeepEP 的開發團隊在 H800 上做了測試，結果真的很亮眼。

一般 kernels（NVLink 和 RDMA 轉發）：
- 節點內：dispatch 和 combine 的瓶頸頻寬分別達到 153 GB/s 和 158 GB/s（NVLink）。
- 節點間：dispatch 和 combine 的瓶頸頻寬都能達到 40 GB/s 以上（RDMA）。
低延遲 kernels（純 RDMA）：
- 在不同數量的 EP 下，dispatch 的延遲大約在 163 到 194 微秒之間，combine 的延遲大約在 318 到 360 微秒之間。
- RDMA 的頻寬也能達到 40 GB/s 左右。