DeepSeek？开源第一个用（于混合专）家：模型训练和推理？的高效专家并行通信库

DeepSeek在“开源周”的第二天向公众开源了DeepEP。据介绍，DeepEP是第一个用于MoE（混合专家）模型训练和推理的EP（ExpertParallelism，专家并行）通信库，可以实现高效且优化的全对全通信，支持包括FP8在内的低精度运算，适配现代高性能计算需求。同时，DeepEP针对NVLink到RDMA的非对称带宽转发场景进行了深度优化，不仅提供了高吞吐量，还支持SM（StreamingMultiprocessors）数量控制，兼顾训练和推理任务的高吞吐量表现。对于延迟敏感的推理解码场景，DeepEP还提供了纯RDMA的低延迟内核，支持自适应路由，能实现更灵活的GPU资源控制，满足不同场景需求。

本文源自：财联社财经

（内容来源：快科技）