प्रौद्योगिकी
DiLoCo: गोंका में मॉडल का वितरित प्रशिक्षण
GPT या Qwen जैसे बड़े भाषा मॉडल विशाल GPU क्लस्टरों पर प्रशिक्षित होते हैं, जो अल्ट्रा-तेज चैनलों से जुड़े होते हैं। DiLoCo (Distributed Local Computation) खेल के नियमों को बदल देता है - यह ऐसे मॉडलों को सामान्य इंटरनेट के माध्यम से, एक भी डेटा सेंटर के बिना प्रशिक्षित करने की अनुमति देता है।
वितरित प्रशिक्षण की आवश्यकता क्यों है
आधुनिक AI मॉडलों में अरबों पैरामीटर होते हैं। ऐसे मॉडल को प्रशिक्षित करने के लिए सैकड़ों GPU की आवश्यकता होती है, जो सिंक्रनाइज़ तरीके से काम करते हैं। पारंपरिक दृष्टिकोण सभी GPU को एक डेटा सेंटर में इकट्ठा करना और उन्हें InfiniBand से जोड़ना है। यह महंगा है, पैमाने को सीमित करता है और एक बिंदु की विफलता पैदा करता है। DiLoCo प्रशिक्षण को दुनिया के विभिन्न हिस्सों में क्लस्टरों में वितरित करने की अनुमति देता है।
DiLoCo कैसे काम करता है
हर GPU क्लस्टर (जैसे 8xH100) AdamW ऑप्टिमाइज़र से मॉडल को लोकली ट्रेन करता है। हर ~1 000 स्टेप पर क्लस्टर आपस में एक ग्लोबल ऑप्टिमाइज़र (Nesterov momentum) के ज़रिए सिंक होते हैं। सिंक के लिए न्यूनतम बैंडविड्थ ही काफी है — एक आम इंटरनेट कनेक्शन पर्याप्त है। यह क्लासिक तरीके से बिल्कुल अलग है, जहाँ GPU हर स्टेप पर डेटा का आदान-प्रदान करते हैं।
यह गोंका नेटवर्क को क्या देता है
DiLoCo की बदौलत, Gonka दुनिया भर में बिखरे हुए होस्ट्स के GPU का उपयोग करके 30 से 50 बिलियन पैरामीटर वाले मॉडल प्रशिक्षित कर सकता है। किसी केंद्रीय डेटा सेंटर की आवश्यकता नहीं है — इंटरनेट कनेक्शन के साथ केवल 8 GPU के क्लस्टर ही पर्याप्त हैं। यह AI प्रशिक्षण को वास्तव में विकेंद्रीकृत बनाता है और समुदाय द्वारा प्रशिक्षित मॉडलों के लिए रास्ता खोलता है।
DiLoCo - इंटरनेट के माध्यम से AI मॉडल को प्रशिक्षित करने की तकनीक। GPU क्लस्टर स्वतंत्र रूप से काम करते हैं और शायद ही कभी सिंक्रनाइज़ होते हैं, जिससे Gonka केंद्रीय डेटा सेंटर के बिना मॉडल को प्रशिक्षित कर सकता है।
यह भी पढ़ें
प्रौद्योगिकी
Proof of Work 2.0 क्या है
प्रौद्योगिकी
Proof-of-Computation V2: नोड्स की ईमानदारी की जाँच कैसे होती है
मूल अवधारणाएँ
Inference (अनुमान) क्या है
टोकनोनॉमिक्स
GNK का वितरण कैसे होता है: उत्पत्ति बनाम राजस्व
सुरक्षा
संपार्श्विक और स्लैशिंग: नेटवर्क कैसे सुरक्षित है
टोकनोनॉमिक्स
वेस्टिंग: पुरस्कार तुरंत क्यों नहीं मिलते
आर्किटेक्चर
गोंका में ट्रांसफर एजेंट क्या हैं
प्रौद्योगिकी
स्प्रिंट: गोंका की सहमति कैसे काम करती है
मूल अवधारणाएँ
GNK क्या है: गोंका नेटवर्क का टोकन
मूल अवधारणाएँ
गोंका में युग: नेटवर्क की समय इकाई
टोकनोमिक्स
कम्युनिटी पूल: गोंका इकोसिस्टम का सामान्य कोष