果冻甜甜的

attention中张量并行与GQA

发表于 2025-08-17 更新于 2025-08-24 分类于 分布式基础

megatron中attention实现中tp与GQA参数的关系

阅读全文 »

pytorch Shard

发表于 2025-06-20 更新于 2025-08-24 分类于 分布式基础

pytorch中Shard实现

阅读全文 »

ubuntu搭建技术博客指南

发表于 2025-06-14 更新于 2025-08-24 分类于 其它

web网页搭建实战记录

阅读全文 »

pytorch中TCPStore Rendezvous机制

发表于 2025-06-14 更新于 2025-08-24 分类于 分布式基础

pytorch中TCPStore Rendezvous实现机制记录

阅读全文 »

pytorch send and recv

发表于 2025-06-14 更新于 2025-08-24 分类于 分布式基础

pytorch中send和recv实现

阅读全文 »

pytorch devicemesh

发表于 2025-06-14 更新于 2025-08-24 分类于 分布式基础

pytorch中devicemesh实现

阅读全文 »