Tecnologia

DiLoCo: addestramento distribuito di modelli in Gonka

I grandi modelli linguistici come GPT o Qwen vengono addestrati su enormi cluster GPU, collegati da canali ultraveloci. DiLoCo (Distributed Local Computation) cambia le regole del gioco — permette di addestrare tali modelli tramite la normale internet, senza un singolo data center.

Perché è necessario l'addestramento distribuito

I moderni modelli AI contengono centinaia di miliardi di parametri. L'addestramento di un tale modello richiede centinaia di GPU che lavorano in modo sincrono. L'approccio tradizionale è quello di raccogliere tutte le GPU in un unico data center e collegarle con InfiniBand. Questo è costoso, limita la scalabilità e crea un singolo punto di fallimento. DiLoCo consente di distribuire l'addestramento su cluster in diverse parti del mondo.

Come funziona DiLoCo

Ogni cluster di GPU (ad esempio 8xH100) addestra il modello localmente usando l'optimizer AdamW. Ogni ~1 000 step i cluster si sincronizzano tra loro tramite un optimizer globale (Nesterov momentum). La sincronizzazione richiede una larghezza di banda minima — basta un normale canale internet. È radicalmente diverso dall'approccio classico, in cui le GPU si scambiano dati a ogni step.

Cosa offre alla rete Gonka

Grazie a DiLoCo, Gonka può addestrare modelli da 30-50 miliardi di parametri utilizzando le GPU degli host sparsi in tutto il mondo. Non serve un data center unico: bastano cluster da 8 GPU con una connessione internet. Questo rende l'addestramento dell'AI veramente decentralizzato e apre la strada a modelli addestrati dalla comunità stessa.

DiLoCo – tecnologia di addestramento di modelli AI tramite internet. I cluster GPU lavorano indipendentemente e si sincronizzano raramente, il che consente a Gonka di addestrare modelli senza un data center centralizzato.

Vuoi saperne di più?

Comprendi l'economia GNK o inizia a guadagnare subito.

Architettura della rete Gonka →

DiLoCo: addestramento distribuito di modelli in Gonka

Perché è necessario l'addestramento distribuito

Come funziona DiLoCo

Cosa offre alla rete Gonka

Vuoi saperne di più?

Leggi anche