গঞ্জা নেটওয়ার্কের আর্কিটেকচার: স্প্রিন্ট, ট্রান্সফার এজেন্ট, ডিলোকো

ট্রান্সফার এজেন্টরা হল গোনকা আর্কিটেকচারের একটি গুরুত্বপূর্ণ উপাদান, যা ক্লায়েন্ট এবং ML-নোডের মধ্যে একটি বুদ্ধিমান গেটওয়ে হিসাবে কাজ করে। যখন একজন ব্যবহারকারী একটি AI অনুরোধ পাঠায়, তখন এটি সরাসরি GPU-তে না গিয়ে ট্রান্সফার এজেন্টের কাছে যায় — একটি বিশেষ মধ্যস্থতাকারী নোড যা সিদ্ধান্ত নেয় কোন GPU এই অনুরোধটি প্রক্রিয়া করবে।

প্রক্রিয়াটি এমন হয়: ক্লায়েন্ট OpenAI-সামঞ্জস্যপূর্ণ API-এর মাধ্যমে একটি স্ট্যান্ডার্ড POST /v1/chat/completions অনুরোধ করে। ট্রান্সফার এজেন্ট অনুরোধের ক্রিপ্টোগ্রাফিক স্বাক্ষর যাচাই করে, প্রয়োজনীয় মডেল নির্ধারণ করে এবং উপযুক্ত বৈশিষ্ট্য সহ একটি খালি ML-নোড খুঁজে পায়। প্রতিটি ML-নোড নিবন্ধনের সময় তার প্যারামিটার প্রকাশ করে: এটি কোন মডেলগুলিকে সমর্থন করে, VRAM-এর পরিমাণ, বর্তমান ব্যান্ডউইথ এবং লোড। ট্রান্সফার এজেন্ট লোড ব্যালেন্স করার জন্য এই ডেটা ব্যবহার করে — কাজগুলি সমানভাবে বিতরণ করা হয়, একটি একক নোডে জমা হয় না।

ব্যর্থতা সহনশীলতার জন্য, নেটওয়ার্কে একাধিক ট্রান্সফার এজেন্ট একই সাথে কাজ করে। যদি একটি খারাপ হয়ে যায় — ক্লায়েন্ট স্বয়ংক্রিয়ভাবে অন্যটিতে স্থানান্তরিত হয়। প্রতিটি ট্রান্সফার এজেন্ট তার ঠিকানা /v1/identity এন্ডপয়েন্টের মাধ্যমে প্রকাশ করে, যা নোড এবং ক্লায়েন্টদের একে অপরকে গতিশীলভাবে আবিষ্কার করতে দেয়। ট্রান্সফার এজেন্টরা অনুরোধের কিউও পরিচালনা করে: যদি সমস্ত নোড ব্যস্ত থাকে, তবে অনুরোধটি কমিশন ভিত্তিতে অগ্রাধিকার সহ কিউতে রাখা হয়। এটি এমন একটি স্থাপত্য যা CDN-এর কথা মনে করিয়ে দেয়, কিন্তু AI গণনার জন্য — বিতরণকৃত, ব্যর্থতা-সহনশীল এবং একক নিয়ন্ত্রণ বিন্দু ছাড়াই।

Sprint হলো একটি Transformer PoW 2.0, এটি Gonka-এর একটি অনন্য ঐকমত্য (consensus) যা সমস্ত বিদ্যমান ব্লকচেইন প্রোটোকল থেকে মৌলিকভাবে আলাদা। Bitcoin-এ মাইনাররা অর্থহীন SHA-256 হ্যাশ গণনা করার জন্য ২৬ GW শক্তি ব্যয় করে — যার একমাত্র উদ্দেশ্য হলো এটি প্রমাণ করা যে শক্তি খরচ হয়েছে। Ethereum Proof of Stake-এ কম্পিউটেশনাল কাজ বাদ দেওয়া হয়েছে — ভ্যালিডেটররা কেবল টোকেন লক করে, শক্তি সাশ্রয়ের জন্য বিকেন্দ্রীকরণের সাথে আপস করে। Sprint একটি তৃতীয় পথ প্রস্তাব করে।

Sprint-এ প্রতিটি গণনা হলো একটি প্রকৃত AI-অনুরোধ। ব্যবহারকারী প্রম্পট পাঠান "Python-এ একটি ফাংশন লিখুন" → GPU নেটওয়ার্কের মডেলগুলোর একটির মাধ্যমে (যেমন MiniMax M2.7) উত্তর তৈরি করে → এই inference একই সাথে ব্যবহারকারীকে পরিষেবা দেয় এবং ব্লকচেইনে একটি ব্লক নিশ্চিত করে। ফলাফল: নেটওয়ার্কের ৯৯% সম্পদ কার্যকর কাজে (AI inference) ব্যয় হয়, এবং মাত্র ১% ক্রিপ্টোগ্রাফিক নিরাপত্তা নিশ্চিত করতে ব্যবহৃত হয়। তুলনামূলকভাবে: Bitcoin-এ ১০০% শক্তি নিরাপত্তায় যায়, ০% কার্যকর কাজে।

নেটওয়ার্কের কাজ বিভিন্ন যুগে (epochs) সংগঠিত। প্রতিটি যুগে Transfer Agents ML-নোডগুলোর মধ্যে AI-কাজ বণ্টন করে। যুগ শেষ হলে একটি ব্লক তৈরি হয়, যা সম্পন্ন কাজের প্রমাণ বহন করে। প্রতিটি নোডের অবদানের অনুপাতে পুরষ্কার বিতরণ করা হয় — GPU যত বেশি অনুরোধ প্রসেস করবে, তত বেশি GNK পাবে। এটি একটি বাজারগত প্রণোদনা তৈরি করে: হোস্টরা কাজের জন্য প্রতিযোগিতা করে, কর্মক্ষমতা অপ্টিমাইজ করে এবং ব্যবহারকারীদের জন্য inference-এর খরচ কমায়।

DiLoCo হল AI মডেলগুলির বিতরণ করা প্রশিক্ষণের একটি প্রযুক্তি, যা একটি মৌলিক সমস্যার সমাধান করে: কীভাবে বিলিয়ন প্যারামিটারের উপর একটি নিউরাল নেটওয়ার্ককে প্রশিক্ষণ দেওয়া যায়, যখন GPUগুলি বিভিন্ন দেশে অবস্থিত এবং একটি একক ডেটা সেন্টারের মধ্যে উচ্চ-গতির NVLink দ্বারা সংযুক্ত না হয়ে সাধারণ ইন্টারনেট দ্বারা সংযুক্ত থাকে?

প্রশিক্ষণের ঐতিহ্যগত পদ্ধতিতে প্রতিটি ধাপের পরে পরামিতিগুলির সিঙ্ক্রোনাইজেশন প্রয়োজন — এটি শুধুমাত্র শত শত গিগাবিট/সেকেন্ডের সংযোগ গতিতে সম্ভব, অর্থাৎ একটি একক NVIDIA ক্লাস্টারের মধ্যে। DiLoCo প্রক্রিয়াটিকে নতুন করে কল্পনা করে: নোডগুলি প্রতি ~1000 ধাপের পরে পরামিতিগুলি সিঙ্ক্রোনাইজ করে, প্রতিটি ধাপের পরে নয়। সিঙ্ক্রোনাইজেশনের মধ্যে, প্রতিটি নোড তার নিজস্ব ডেটার সাবসেটে স্থানীয়ভাবে প্রশিক্ষণ নেয়। এটি ব্যান্ডউইথের প্রয়োজনীয়তা তিন গুণ কমিয়ে দেয়, যা ইন্টারনেটের মাধ্যমে প্রশিক্ষণকে প্রায় ব্যবহারযোগ্য করে তোলে।

অপ্টিমাইজেশন দুটি স্তরে কাজ করে: স্থানীয়ভাবে, প্রতিটি নোড AdamW ব্যবহার করে — ট্রান্সফর্মারদের জন্য একটি স্ট্যান্ডার্ড অপ্টিমাইজার। বিশ্বব্যাপী, সিঙ্ক্রোনাইজেশনে, Nesterov momentum ব্যবহার করা হয় — একটি অ্যালগরিদম যা আপডেটের দিকটি 'ভবিষ্যদ্বাণী' করে এবং একত্রিততাকে ত্বরান্বিত করে। ফলস্বরূপ: 30-50 বিলিয়ন প্যারামিটার যুক্ত মডেলগুলিকে 8xH100 এর ক্লাস্টারে প্রশিক্ষণ দেওয়া যেতে পারে, যা বিশ্বজুড়ে বিতরণ করা হয়েছে, কোনো কেন্দ্রীয় সার্ভার ছাড়াই। তুলনামূলকভাবে: GPT-4 এর প্রশিক্ষণের জন্য একটি ডেটা সেন্টারে হাজার হাজার GPU এবং বিলিয়ন ডলার বিনিয়োগের প্রয়োজন হয়েছিল। DiLoCo সম্ভাব্যভাবে Gonka এর বিতরণ করা অবকাঠামোতে তুলনামূলক ফলাফল অর্জন করতে দেয়।

এটি কেন গুরুত্বপূর্ণ? প্রশিক্ষণ হল AI এর সবচেয়ে ব্যয়বহুল অংশ। OpenAI-এর মতো সংস্থাগুলি একটি একক প্রশিক্ষণ চক্রের জন্য শত শত মিলিয়ন ব্যয় করে। DiLoCo Gonka কে সময়ের সাথে সাথে নেটওয়ার্কের মাধ্যমে নিজস্ব মডেলগুলিকে প্রশিক্ষণ দিতে দেয় — বিলিয়ন ডলারের ডেটা সেন্টার তৈরি করার প্রয়োজন ছাড়াই। এটি Gonka কে কেবল একটি ইনফারেন্স নেটওয়ার্ক নয়, বরং উল্লম্ব সমন্বয় সহ একটি পূর্ণাঙ্গ AI প্ল্যাটফর্ম করে তোলে।

PoC V2 হল একটি যাচাইকরণ প্রক্রিয়া যা নিশ্চিত করে যে প্রতিটি ML-নোড সত্যিই গণনাটি সম্পন্ন করেছে, এলোমেলো আবর্জনা ফেরত দেয়নি। এটি অত্যন্ত গুরুত্বপূর্ণ: যাচাইকরণ ছাড়া, একজন আক্রমণকারী একটি 'নোড' নিবন্ধন করতে পারত যা মিথ্যা উত্তর দেয় এবং পুরস্কার পায়, GPU-তে এক ওয়াটও খরচ না করে।

এই প্রক্রিয়াটি ক্রস-যাচাইকরণের মাধ্যমে কাজ করে। নেটওয়ার্ক এলোমেলোভাবে 1-10% কাজ নির্বাচন করে এবং অন্য একটি নোড দ্বারা পুনরায় সম্পাদনের জন্য পাঠায়। যদি ফলাফলগুলি মিলে যায় — উভয় নোডই পুরস্কার পায়। যদি ফলাফলগুলি ভিন্ন হয় — একটি সালিশী প্রক্রিয়া (dispute) শুরু হয়। পরাজিত নোড তার জমার 20% হারায় (stake), যা সৎ অংশগ্রহণকারীদের মধ্যে বিতরণ করা হয়। এই জরিমানা প্রতারণাকে অর্থনৈতিকভাবে অলাভজনক করে তোলে: মিথ্যা উত্তরের সম্ভাব্য আয় জমা হারানোর ঝুঁকির চেয়ে উল্লেখযোগ্যভাবে কম।

যাচাইকরণের গতি BLS-স্বাক্ষর দ্বারা নিশ্চিত করা হয় — একটি ক্রিপ্টোগ্রাফিক আদিম যা একাধিক স্বাক্ষরকে একটিতে একত্রিত করতে এবং 10 মিলিসেকেন্ডেরও কম সময়ে এটি যাচাই করতে দেয়। এর অর্থ হল সততা যাচাইকরণ নেটওয়ার্কের কাজকে ধীর করে না — ব্যবহারকারী কোনো বিলম্ব ছাড়াই উত্তর পায়, এবং যাচাইকরণ সমান্তরালভাবে ঘটে।

মডেল প্রশিক্ষণের কাজগুলির জন্য (DiLoCo (DiLoCo) এর মাধ্যমে) একটি অতিরিক্ত প্রক্রিয়া ব্যবহার করা হয় — Proof-of-Learning। প্রতিটি নোড ব্লকচেইনে প্রতিটি চেকপয়েন্টে মডেল ওয়েট এবং অপ্টিমাইজারের অবস্থার হ্যাশগুলি রেকর্ড করে। এটি একটি অক্ষয় অডিট ট্রেল তৈরি করে: যে কেউ যাচাই করতে পারে যে প্রশিক্ষণ সত্যিই ঘটেছে এবং ওয়েটগুলি প্রতিস্থাপিত হয়নি। এই দ্বি-স্তরীয় যাচাইকরণ — ইনফারেন্সের জন্য PoC V2, প্রশিক্ষণের জন্য Proof-of-Learning — Gonka কে CertiK দ্বারা অডিট করা সবচেয়ে সুরক্ষিত বিকেন্দ্রীভূত AI নেটওয়ার্কগুলির মধ্যে একটি করে তোলে।