技术
DiLoCo: Gonka 中的分布式模型训练
像 GPT 或 Qwen 这样的大型语言模型是在由超高速通道连接的巨型 GPU 集群上训练的。DiLoCo（分布式本地计算）改变了游戏规则——它允许通过普通互联网训练此类模型，而无需单个数据中心。
为什么需要分布式训练
现代 AI 模型包含数千亿个参数。训练这种模型需要数百个 GPU 同步工作。传统方法是将所有 GPU 集中在一个数据中心并通过 InfiniBand 连接。这成本高昂，限制了规模，并创建了单点故障。DiLoCo 允许将训练分布式到世界各地的集群中。
DiLoCo 如何工作
每个 GPU 集群（例如 8xH100）使用 AdamW 优化器在本地训练模型。每约 1,000 步，集群之间通过全局优化器（Nesterov momentum）进行一次同步。同步所需的带宽极低——普通互联网连接就足够。这与传统方式有着根本不同，后者 GPU 在每一步都要交换数据。
这对 Gonka 网络意味着什么
得益于 DiLoCo，Gonka 可以利用分布在全球各地的主机 GPU 来训练 300 到 500 亿参数的模型。无需单一的数据中心——只需拥有 8 个 GPU 且具备互联网连接的集群即可。这使得 AI 训练真正实现了去中心化，并为社区自主训练模型铺平了道路。
DiLoCo 是一种通过互联网训练 AI 模型的技术。GPU 集群独立工作，很少同步，这使得 Gonka 能够在没有集中数据中心的情况下训练模型。