Gonka नेटवर्क आर्किटेक्चर: Sprint, Transfer Agents, DiLoCo

ट्रांसफर एजेंट गोंका वास्तुकला का एक महत्वपूर्ण घटक है, जो ग्राहकों और ML-नोड्स के बीच एक बुद्धिमान गेटवे की भूमिका निभाता है। जब कोई उपयोगकर्ता AI अनुरोध भेजता है, तो यह सीधे GPU पर नहीं, बल्कि ट्रांसफर एजेंट पर पहुंचता है - एक विशेष बिचौलिए नोड पर, जो यह तय करता है कि कौन सा GPU इस अनुरोध को संसाधित करेगा।

प्रक्रिया इस प्रकार दिखती है: ग्राहक OpenAI-संगत API के माध्यम से एक मानक POST /v1/chat/completions अनुरोध करता है। ट्रांसफर एजेंट अनुरोध के क्रिप्टोग्राफिक हस्ताक्षर को सत्यापित करता है, आवश्यक मॉडल निर्धारित करता है और उपयुक्त विशेषताओं के साथ एक खाली ML-नोड ढूंढता है। प्रत्येक ML-नोड पंजीकरण के दौरान अपने पैरामीटर प्रकाशित करता है: वह किन मॉडलों का समर्थन करता है, VRAM की मात्रा, वर्तमान बैंडविड्थ और लोड। ट्रांसफर एजेंट लोड संतुलन के लिए इस डेटा का उपयोग करता है - कार्यों को समान रूप से वितरित किया जाता है, न कि एक नोड पर ढेर किया जाता है।

लोअर फॉल्ट टॉलरेंस के लिए, कई ट्रांसफर एजेंट एक साथ नेटवर्क में काम करते हैं। यदि एक विफल हो जाता है - ग्राहक स्वचालित रूप से दूसरे पर स्विच करता है। प्रत्येक ट्रांसफर एजेंट /v1/identity एंडपॉइंट के माध्यम से अपना पता प्रकाशित करता है, जो नोड्स और ग्राहकों को एक-दूसरे को गतिशील रूप से खोजने की अनुमति देता है। ट्रांसफर एजेंट अनुरोध कतारों का भी प्रबंधन करते हैं: यदि सभी नोड व्यस्त हैं, तो अनुरोध को कमीशन के आधार पर प्राथमिकता के साथ कतार में रखा जाता है। यह एक ऐसी वास्तुकला है जो CDN की याद दिलाती है, लेकिन AI कंप्यूटिंग के लिए - वितरित, फॉल्ट-टॉलरेंट और नियंत्रण के एक बिंदु के बिना।

Sprint एक Transformer PoW 2.0 है, जो Gonka की अनूठी सहमति प्रणाली है और सभी मौजूदा ब्लॉकचेन प्रोटोकॉल से मौलिक रूप से अलग है। Bitcoin में, माइनर्स अर्थहीन SHA-256 हैश की गणना करने में 26 GW बिजली खर्च करते हैं, जिसका एकमात्र उद्देश्य यह साबित करना है कि ऊर्जा खर्च की गई है। Ethereum Proof of Stake में, गणना कार्य (computational work) को पूरी तरह से छोड़ दिया गया है — वैलिडेटर्स केवल टोकन लॉक करते हैं, जिससे ऊर्जा दक्षता के लिए विकेंद्रीकरण से समझौता किया जाता है। Sprint एक तीसरा रास्ता पेश करता है।

Sprint में, प्रत्येक गणना एक वास्तविक AI-अनुरोध है। उपयोगकर्ता एक प्रॉम्प्ट भेजता है "पायथन में एक फ़ंक्शन लिखें" → GPU, Kimi K2.6 न्यूरल नेटवर्क के माध्यम से उत्तर उत्पन्न करता है → यह inference एक साथ उपयोगकर्ता की सेवा करता है और ब्लॉकचेन में ब्लॉक की पुष्टि करता है। परिणाम: नेटवर्क के 99% संसाधन उपयोगी कार्य (AI inference) के लिए जाते हैं, और केवल 1% क्रिप्टोग्राफ़िक सुरक्षा के लिए। तुलना के लिए: Bitcoin में 100% ऊर्जा सुरक्षा के लिए जाती है, 0% उपयोगी कार्य के लिए।

नेटवर्क संचालन युगों (epochs) में व्यवस्थित है। प्रत्येक युग में, Transfer Agents AI-कार्यों को ML-Nodes के बीच वितरित करते हैं। युग के अंत में, एक ब्लॉक बनता है जिसमें किए गए कार्य का प्रमाण होता है। पुरस्कार प्रत्येक नोड के योगदान के अनुपात में वितरित किए जाते हैं — GPU ने जितने अधिक अनुरोधों को संसाधित किया, उसे उतने ही अधिक GNK मिलते हैं। यह एक बाजार प्रोत्साहन पैदा करता है: होस्ट कार्यों के लिए प्रतिस्पर्धा करते हैं, प्रदर्शन को अनुकूलित करते हैं और उपयोगकर्ताओं के लिए inference की लागत कम करते हैं।

DiLoCo — AI मॉडलों के वितरित प्रशिक्षण की एक तकनीक है, जो एक मूलभूत समस्या को हल करती है: भौगोलिक रूप से वितरित GPUs पर अरबों मापदंडों पर एक न्यूरल नेटवर्क को कैसे प्रशिक्षित किया जाए जो पारंपरिक इंटरनेट से जुड़े हैं, न कि एक ही डेटा सेंटर के भीतर हाई-स्पीड NVLink से?

पारंपरिक प्रशिक्षण दृष्टिकोण में प्रत्येक चरण के बाद मापदंडों के सिंक्रनाइज़ेशन की आवश्यकता होती है - यह केवल सैकड़ों गीगाबिट/सेकंड की संचार गति पर संभव है, यानी एक NVIDIA क्लस्टर के भीतर। DiLoCo प्रक्रिया को फिर से परिभाषित करता है: नोड्स प्रत्येक चरण के बाद नहीं, बल्कि लगभग 1000 चरणों के बाद मापदंडों को सिंक्रनाइज़ करते हैं। सिंक्रनाइज़ेशन के बीच, प्रत्येक नोड अपने डेटा के उपसमूह पर स्थानीय रूप से प्रशिक्षित होता है। यह बैंडविड्थ आवश्यकताओं को तीन गुना कम करता है, जिससे इंटरनेट पर प्रशिक्षण व्यावहारिक रूप से संभव हो जाता है।

अनुकूलन दो स्तरों पर काम करता है: स्थानीय रूप से, प्रत्येक नोड AdamW का उपयोग करता है - ट्रांसफॉर्मर के लिए एक मानक ऑप्टिमाइज़र। विश्व स्तर पर, सिंक्रनाइज़ेशन के दौरान, नेस्टेरोव मोमेंटम का उपयोग किया जाता है - एक एल्गोरिथम जो अद्यतन की दिशा का 'पूर्वानुमान' करता है और अभिसरण को तेज करता है। परिणाम: 30-50 बिलियन मापदंडों वाले मॉडल को 8xH100 वाले क्लस्टर पर प्रशिक्षित किया जा सकता है, जो पूरे ग्रह पर वितरित हैं, बिना किसी केंद्रीय सर्वर के। तुलना के लिए: GPT-4 के प्रशिक्षण के लिए एक डेटा सेंटर में हजारों GPUs की आवश्यकता थी, जिसमें अरबों डॉलर का निवेश किया गया था। DiLoCo संभावित रूप से Gonka के वितरित बुनियादी ढांचे पर तुलनीय परिणाम प्राप्त करने की अनुमति देता है।

यह क्यों महत्वपूर्ण है? प्रशिक्षण AI का सबसे महंगा हिस्सा है। OpenAI जैसी कंपनियां एक प्रशिक्षण चक्र पर सैकड़ों मिलियन खर्च करती हैं। DiLoCo Gonka को समय के साथ नेटवर्क की ताकत से अपने मॉडल को प्रशिक्षित करने की अनुमति देता है - अरबों के लिए डेटा सेंटर बनाने की आवश्यकता के बिना। यह Gonka को केवल एक अनुमान नेटवर्क नहीं, बल्कि ऊर्ध्वाधर एकीकरण के साथ एक पूर्ण AI प्लेटफॉर्म बनाता है।

PoC V2 — एक सत्यापन तंत्र जो यह सुनिश्चित करता है कि प्रत्येक ML-नोड ने वास्तव में गणना की है, न कि यादृच्छिक कचरा लौटाया है। यह महत्वपूर्ण है: सत्यापन के बिना, एक हमलावर एक 'नोड' को पंजीकृत कर सकता है जो नकली उत्तर देता है और GPU पर एक वॉट भी खर्च किए बिना पुरस्कार प्राप्त करता है।

तंत्र क्रॉस-सत्यापन के माध्यम से काम करता है। नेटवर्क यादृच्छिक रूप से 1-10% कार्यों का चयन करता है और उन्हें एक अन्य नोड द्वारा पुन: निष्पादन के लिए भेजता है। यदि परिणाम मेल खाते हैं - दोनों नोड्स को इनाम मिलता है। यदि परिणाम भिन्न होते हैं - तो एक मध्यस्थता प्रक्रिया (विवाद) शुरू होती है। हारने वाला नोड अपनी 20% हिस्सेदारी (स्टेक) खो देता है, जिसे ईमानदार प्रतिभागियों के बीच वितरित किया जाता है। यह जुर्माना धोखाधड़ी को आर्थिक रूप से लाभहीन बनाता है: नकली उत्तरों से संभावित आय हिस्सेदारी खोने के जोखिम से काफी कम है।

सत्यापन की गति BLS-हस्ताक्षरों द्वारा सुनिश्चित की जाती है - एक क्रिप्टोग्राफिक प्रिमिटिव जो कई हस्ताक्षरों को एक में एकत्रित करने और 10 मिलीसेकंड से भी कम समय में इसे सत्यापित करने की अनुमति देता है। इसका मतलब है कि ईमानदारी की जांच नेटवर्क के संचालन को धीमा नहीं करती है - उपयोगकर्ता बिना किसी देरी के उत्तर प्राप्त करता है, और सत्यापन समानांतर में होता है।

मॉडल प्रशिक्षण कार्यों (DiLoCo के माध्यम से) के लिए, एक अतिरिक्त तंत्र का उपयोग किया जाता है - प्रूफ-ऑफ-लर्निंग। प्रत्येक नोड ब्लॉकचेन में प्रत्येक चेकपॉइंट पर मॉडल वज़न और ऑप्टिमाइज़र स्थिति के हैश को रिकॉर्ड करता है। यह एक अपरिवर्तनीय ऑडिट ट्रेल बनाता है: कोई भी सत्यापित कर सकता है कि प्रशिक्षण वास्तव में हुआ है, और वज़न को बदला नहीं गया है। यह दो-स्तरीय सत्यापन - अनुमान के लिए PoC V2, प्रशिक्षण के लिए प्रूफ-ऑफ-लर्निंग - Gonka को CertiK द्वारा ऑडिट किए गए सबसे सुरक्षित विकेन्द्रीकृत AI नेटवर्क में से एक बनाता है।