Technologie

DiLoCo : apprentissage distribué de modèles dans Gonka

Les grands modèles linguistiques comme GPT ou Qwen sont entraînés sur d'énormes clusters de GPU connectés par des canaux ultra-rapides. DiLoCo (Distributed Local Computation) change la donne – il permet d'entraîner de tels modèles via Internet ordinaire, sans un seul centre de données.

Pourquoi l'apprentissage distribué est nécessaire

Les modèles d'IA modernes contiennent des centaines de milliards de paramètres. L'entraînement d'un tel modèle nécessite des centaines de GPU fonctionnant de manière synchrone. L'approche traditionnelle consiste à rassembler tous les GPU dans un centre de données et à les connecter avec InfiniBand. C'est coûteux, cela limite l'échelle et crée un point de défaillance unique. DiLoCo permet un entraînement distribué sur des clusters situés dans différentes parties du monde.

Comment fonctionne DiLoCo

Chaque cluster de GPU (par exemple, 8xH100) entraîne le modèle localement en utilisant l'optimiseur AdamW. Environ tous les ~1 000 pas, les clusters se synchronisent entre eux via un optimiseur global (Nesterov momentum). La synchronisation nécessite une bande passante minimale – un canal Internet ordinaire est suffisant. C'est radicalement différent de l'approche classique où les GPU échangent des données à chaque pas.

Ce que cela apporte au réseau Gonka

Grâce à DiLoCo, Gonka peut entraîner des modèles de 30 à 50 milliards de paramètres en utilisant des GPU hôtes répartis dans le monde entier. Il n'est pas nécessaire d'avoir un seul centre de données, il suffit de clusters de 8 GPU avec une connexion Internet. Cela rend l'entraînement de l'IA véritablement décentralisé et ouvre la voie à des modèles entraînés par la communauté elle-même.

DiLoCo est une technologie pour entraîner des modèles d'IA via Internet. Les clusters de GPU fonctionnent indépendamment et se synchronisent rarement, ce qui permet à Gonka d'entraîner des modèles sans centre de données centralisé.

Vous voulez en savoir plus ?

Comprenez l'économie GNK ou commencez à gagner dès maintenant.

Architecture du réseau Gonka →

DiLoCo : apprentissage distribué de modèles dans Gonka

Pourquoi l'apprentissage distribué est nécessaire

Comment fonctionne DiLoCo

Ce que cela apporte au réseau Gonka

Vous voulez en savoir plus ?

Lire aussi