Технология

DiLoCo: распределённое обучение моделей в Gonka

Большие языковые модели вроде GPT или Qwen обучаются на огромных кластерах GPU, соединённых сверхбыстрыми каналами. DiLoCo (Distributed Local Computation) меняет правила игры — позволяет обучать такие модели через обычный интернет, без единого дата-центра.

Зачем нужно распределённое обучение

Современные AI-модели содержат сотни миллиардов параметров. Обучение такой модели требует сотен GPU, работающих синхронно. Традиционный подход — собрать все GPU в одном дата-центре и соединить InfiniBand. Это дорого, ограничивает масштаб и создаёт единую точку отказа. DiLoCo позволяет распределить обучение по кластерам в разных точках мира.

Как работает DiLoCo

Каждый кластер GPU (например, 8xH100) обучает модель локально, используя оптимизатор AdamW. Раз в ~1 000 шагов кластеры синхронизируются между собой через глобальный оптимизатор (Nesterov momentum). Синхронизация требует минимальной пропускной способности — достаточно обычного интернет-канала. Это радикально отличается от классического подхода, где GPU обмениваются данными на каждом шаге.

Что это даёт сети Gonka

Благодаря DiLoCo Gonka может обучать модели на 30--50 миллиардов параметров, используя GPU хостов, разбросанных по всему миру. Не нужен единый дата-центр — достаточно кластеров из 8 GPU с интернет-подключением. Это делает обучение AI по-настоящему децентрализованным и открывает путь к моделям, обученным самим сообществом.

DiLoCo — технология обучения AI-моделей через интернет. Кластеры GPU работают независимо и синхронизируются редко, что позволяет Gonka обучать модели без централизованного дата-центра.

Хотите узнать больше?

Разберитесь в экономике GNK или начните зарабатывать прямо сейчас.

Архитектура сети Gonka →

DiLoCo: распределённое обучение моделей в Gonka

Зачем нужно распределённое обучение

Как работает DiLoCo

Что это даёт сети Gonka

Хотите узнать больше?

Читайте также