Gonka नेटवर्क आर्किटेक्चर: Sprint, Transfer Agents, DiLoCo

ट्रांसफर एजेंट गोंका वास्तुकला का एक महत्वपूर्ण घटक है, जो ग्राहकों और ML-नोड्स के बीच एक बुद्धिमान गेटवे की भूमिका निभाता है। जब कोई उपयोगकर्ता AI अनुरोध भेजता है, तो यह सीधे GPU पर नहीं, बल्कि ट्रांसफर एजेंट पर पहुंचता है - एक विशेष बिचौलिए नोड पर, जो यह तय करता है कि कौन सा GPU इस अनुरोध को संसाधित करेगा।

प्रक्रिया इस प्रकार दिखती है: ग्राहक OpenAI-संगत API के माध्यम से एक मानक POST /v1/chat/completions अनुरोध करता है। ट्रांसफर एजेंट अनुरोध के क्रिप्टोग्राफिक हस्ताक्षर को सत्यापित करता है, आवश्यक मॉडल निर्धारित करता है और उपयुक्त विशेषताओं के साथ एक खाली ML-नोड ढूंढता है। प्रत्येक ML-नोड पंजीकरण के दौरान अपने पैरामीटर प्रकाशित करता है: वह किन मॉडलों का समर्थन करता है, VRAM की मात्रा, वर्तमान बैंडविड्थ और लोड। ट्रांसफर एजेंट लोड संतुलन के लिए इस डेटा का उपयोग करता है - कार्यों को समान रूप से वितरित किया जाता है, न कि एक नोड पर ढेर किया जाता है।

लोअर फॉल्ट टॉलरेंस के लिए, कई ट्रांसफर एजेंट एक साथ नेटवर्क में काम करते हैं। यदि एक विफल हो जाता है - ग्राहक स्वचालित रूप से दूसरे पर स्विच करता है। प्रत्येक ट्रांसफर एजेंट /v1/identity एंडपॉइंट के माध्यम से अपना पता प्रकाशित करता है, जो नोड्स और ग्राहकों को एक-दूसरे को गतिशील रूप से खोजने की अनुमति देता है। ट्रांसफर एजेंट अनुरोध कतारों का भी प्रबंधन करते हैं: यदि सभी नोड व्यस्त हैं, तो अनुरोध को कमीशन के आधार पर प्राथमिकता के साथ कतार में रखा जाता है। यह एक ऐसी वास्तुकला है जो CDN की याद दिलाती है, लेकिन AI कंप्यूटिंग के लिए - वितरित, फॉल्ट-टॉलरेंट और नियंत्रण के एक बिंदु के बिना।

स्प्रिंट एक ट्रांसफार्मर पीओडब्ल्यू 2.0 है, जो गोंका की अनूठी सर्वसम्मति है, जो सभी मौजूदा ब्लॉकचेन प्रोटोकॉल से मौलिक रूप से भिन्न है। बिटकॉइन में, खनिक निरर्थक SHA-256 हैश की गणना पर 26 GW बिजली खर्च करते हैं - जिसका एकमात्र उद्देश्य यह साबित करना है कि ऊर्जा खर्च की गई है। एथेरियम प्रूफ ऑफ स्टेक में, कंप्यूटेशनल काम को पूरी तरह से त्याग दिया गया है - सत्यापनकर्ता केवल टोकन को लॉक करते हैं, ऊर्जा दक्षता के लिए विकेंद्रीकरण का त्याग करते हैं। स्प्रिंट एक तीसरा रास्ता प्रदान करता है।

स्प्रिंट में प्रत्येक गणना एक वास्तविक एआई-अनुरोध है। एक उपयोगकर्ता “पायथन में एक फ़ंक्शन लिखें” प्रॉम्प्ट भेजता है → जीपीयू न्यूरल नेटवर्क Qwen3-235B के माध्यम से एक प्रतिक्रिया उत्पन्न करता है → यह अनुमान एक साथ उपयोगकर्ता की सेवा करता है और ब्लॉकचेन में एक ब्लॉक की पुष्टि करता है। परिणाम: नेटवर्क संसाधनों का 99% उपयोगी कार्य (एआई अनुमान) पर जाता है, और केवल 1% - क्रिप्टोग्राफिक सुरक्षा के लिए। तुलना के लिए: बिटकॉइन में, 100% ऊर्जा सुरक्षा पर खर्च होती है, 0% - उपयोगी कार्य पर।

नेटवर्क का कार्य युगों में व्यवस्थित है। प्रत्येक युग में, ट्रांसफर एजेंट्स एमएल-नोड्स के बीच एआई कार्यों को वितरित करते हैं। युग के अंत में, किए गए कार्य के प्रमाण युक्त एक ब्लॉक बनता है। पुरस्कार प्रत्येक नोड के योगदान के अनुपात में वितरित किए जाते हैं - जीपीयू ने जितने अधिक अनुरोधों को संसाधित किया है, उसे उतने ही अधिक जीएनके प्राप्त होते हैं। यह एक बाजार प्रोत्साहन बनाता है: मेजबान कार्यों के लिए प्रतिस्पर्धा करते हैं, प्रदर्शन का अनुकूलन करते हैं और उपयोगकर्ताओं के लिए अनुमान की लागत को कम करते हैं।

DiLoCo — AI मॉडलों के वितरित प्रशिक्षण की एक तकनीक है, जो एक मूलभूत समस्या को हल करती है: भौगोलिक रूप से वितरित GPUs पर अरबों मापदंडों पर एक न्यूरल नेटवर्क को कैसे प्रशिक्षित किया जाए जो पारंपरिक इंटरनेट से जुड़े हैं, न कि एक ही डेटा सेंटर के भीतर हाई-स्पीड NVLink से?

पारंपरिक प्रशिक्षण दृष्टिकोण में प्रत्येक चरण के बाद मापदंडों के सिंक्रनाइज़ेशन की आवश्यकता होती है - यह केवल सैकड़ों गीगाबिट/सेकंड की संचार गति पर संभव है, यानी एक NVIDIA क्लस्टर के भीतर। DiLoCo प्रक्रिया को फिर से परिभाषित करता है: नोड्स प्रत्येक चरण के बाद नहीं, बल्कि लगभग 1000 चरणों के बाद मापदंडों को सिंक्रनाइज़ करते हैं। सिंक्रनाइज़ेशन के बीच, प्रत्येक नोड अपने डेटा के उपसमूह पर स्थानीय रूप से प्रशिक्षित होता है। यह बैंडविड्थ आवश्यकताओं को तीन गुना कम करता है, जिससे इंटरनेट पर प्रशिक्षण व्यावहारिक रूप से संभव हो जाता है।

अनुकूलन दो स्तरों पर काम करता है: स्थानीय रूप से, प्रत्येक नोड AdamW का उपयोग करता है - ट्रांसफॉर्मर के लिए एक मानक ऑप्टिमाइज़र। विश्व स्तर पर, सिंक्रनाइज़ेशन के दौरान, नेस्टेरोव मोमेंटम का उपयोग किया जाता है - एक एल्गोरिथम जो अद्यतन की दिशा का 'पूर्वानुमान' करता है और अभिसरण को तेज करता है। परिणाम: 30-50 बिलियन मापदंडों वाले मॉडल को 8xH100 वाले क्लस्टर पर प्रशिक्षित किया जा सकता है, जो पूरे ग्रह पर वितरित हैं, बिना किसी केंद्रीय सर्वर के। तुलना के लिए: GPT-4 के प्रशिक्षण के लिए एक डेटा सेंटर में हजारों GPUs की आवश्यकता थी, जिसमें अरबों डॉलर का निवेश किया गया था। DiLoCo संभावित रूप से Gonka के वितरित बुनियादी ढांचे पर तुलनीय परिणाम प्राप्त करने की अनुमति देता है।

यह क्यों महत्वपूर्ण है? प्रशिक्षण AI का सबसे महंगा हिस्सा है। OpenAI जैसी कंपनियां एक प्रशिक्षण चक्र पर सैकड़ों मिलियन खर्च करती हैं। DiLoCo Gonka को समय के साथ नेटवर्क की ताकत से अपने मॉडल को प्रशिक्षित करने की अनुमति देता है - अरबों के लिए डेटा सेंटर बनाने की आवश्यकता के बिना। यह Gonka को केवल एक अनुमान नेटवर्क नहीं, बल्कि ऊर्ध्वाधर एकीकरण के साथ एक पूर्ण AI प्लेटफॉर्म बनाता है।

PoC V2 — एक सत्यापन तंत्र जो यह सुनिश्चित करता है कि प्रत्येक ML-नोड ने वास्तव में गणना की है, न कि यादृच्छिक कचरा लौटाया है। यह महत्वपूर्ण है: सत्यापन के बिना, एक हमलावर एक 'नोड' को पंजीकृत कर सकता है जो नकली उत्तर देता है और GPU पर एक वॉट भी खर्च किए बिना पुरस्कार प्राप्त करता है।

तंत्र क्रॉस-सत्यापन के माध्यम से काम करता है। नेटवर्क यादृच्छिक रूप से 1-10% कार्यों का चयन करता है और उन्हें एक अन्य नोड द्वारा पुन: निष्पादन के लिए भेजता है। यदि परिणाम मेल खाते हैं - दोनों नोड्स को इनाम मिलता है। यदि परिणाम भिन्न होते हैं - तो एक मध्यस्थता प्रक्रिया (विवाद) शुरू होती है। हारने वाला नोड अपनी 20% हिस्सेदारी (स्टेक) खो देता है, जिसे ईमानदार प्रतिभागियों के बीच वितरित किया जाता है। यह जुर्माना धोखाधड़ी को आर्थिक रूप से लाभहीन बनाता है: नकली उत्तरों से संभावित आय हिस्सेदारी खोने के जोखिम से काफी कम है।

सत्यापन की गति BLS-हस्ताक्षरों द्वारा सुनिश्चित की जाती है - एक क्रिप्टोग्राफिक प्रिमिटिव जो कई हस्ताक्षरों को एक में एकत्रित करने और 10 मिलीसेकंड से भी कम समय में इसे सत्यापित करने की अनुमति देता है। इसका मतलब है कि ईमानदारी की जांच नेटवर्क के संचालन को धीमा नहीं करती है - उपयोगकर्ता बिना किसी देरी के उत्तर प्राप्त करता है, और सत्यापन समानांतर में होता है।

मॉडल प्रशिक्षण कार्यों (DiLoCo के माध्यम से) के लिए, एक अतिरिक्त तंत्र का उपयोग किया जाता है - प्रूफ-ऑफ-लर्निंग। प्रत्येक नोड ब्लॉकचेन में प्रत्येक चेकपॉइंट पर मॉडल वज़न और ऑप्टिमाइज़र स्थिति के हैश को रिकॉर्ड करता है। यह एक अपरिवर्तनीय ऑडिट ट्रेल बनाता है: कोई भी सत्यापित कर सकता है कि प्रशिक्षण वास्तव में हुआ है, और वज़न को बदला नहीं गया है। यह दो-स्तरीय सत्यापन - अनुमान के लिए PoC V2, प्रशिक्षण के लिए प्रूफ-ऑफ-लर्निंग - Gonka को CertiK द्वारा ऑडिट किए गए सबसे सुरक्षित विकेन्द्रीकृत AI नेटवर्क में से एक बनाता है।