Qwen3-235B: যে মডেলটি আগে Gonka সার্ভিস দিতো

Qwen3-235B-A22B-Instruct-2507-FP8 হল Qwen3 পরিবারের একটি বৃহৎ ভাষা মডেল (LLM), যা Alibaba Cloud-এর Qwen দল দ্বারা তৈরি করা হয়েছে। সম্পূর্ণ নামটির ব্যাখ্যা হল: Qwen3 — তৃতীয় প্রজন্মের সিরিজ, 235B — মোট 235 বিলিয়ন প্যারামিটার, A22B — প্রতি অনুরোধে 22 বিলিয়ন সক্রিয় প্যারামিটার, Instruct — নির্দেশনা অনুসরণ করার জন্য প্রশিক্ষিত সংস্করণ, 2507 — জুলাই 2025 রিলিজ, FP8 — মেমরি অপ্টিমাইজেশনের জন্য 8-বিট কোয়ান্টিজেশন।

মুখ্য স্থাপত্য বৈশিষ্ট্য হল MoE (Mixture of Experts)। "ঘন" মডেলগুলির (GPT-5.5, Claude Sonnet 4.6) থেকে ভিন্ন, যেখানে প্রতিটি টোকেন সমস্ত প্যারামিটারের মধ্য দিয়ে যায়, MoE-মডেল প্রতিটি অনুরোধের জন্য কেবল "বিশেষজ্ঞদের" একটি উপসেট সক্রিয় করে – নিউরাল নেটওয়ার্কের বিশেষায়িত ব্লক। Qwen3-235B-এর ক্ষেত্রে, 235 বিলিয়ন প্যারামিটারের মধ্যে প্রতিটি টোকেনের জন্য কেবল 22 বিলিয়ন সক্রিয় হয় – 10% এরও কম। এটি 200B+ প্যারামিটার সহ মডেলগুলির স্তরের গুণমান দেয়, 22B মডেলের গণনার খরচ সহ।

ব্যবহারিকভাবে এর অর্থ হল: মডেলটি তার গতির তুলনায় অনেক বেশি স্মার্ট। এটি তুলনামূলক মানের ঘন মডেলগুলির চেয়ে উল্লেখযোগ্যভাবে দ্রুত অনুরোধগুলি প্রক্রিয়া করে, একই সাথে ইনফারেন্সের জন্য অনেক কম VRAM প্রয়োজন হয়। এই কারণেই MoE 2025-2026 সালের বৃহত্তম মডেলগুলির জন্য একটি প্রভাবশালী স্থাপত্য হয়ে উঠেছে।

Qwen3-235B-এর প্রাসঙ্গিক উইন্ডো হল 131,072 টোকেন (~100,000 শব্দ) – এটি একটি একক অনুরোধে সম্পূর্ণ বই, কোডবেস বা দীর্ঘ আইনি নথি বিশ্লেষণের জন্য যথেষ্ট। মডেলটি 119টি ভাষা সমর্থন করে, যার মধ্যে রাশিয়ান, ইংরেজি, চীনা, আরবি, হিন্দি এবং আরও কয়েক ডজন ভাষা রয়েছে – যা এটিকে বাজারের সবচেয়ে বহুভাষিক মডেলগুলির মধ্যে একটি করে তোলে।

Qwen3-235B বৃহত্তম ক্লোজড এবং ওপেন মডেলগুলোর সাথে প্রতিযোগিতা করে। মূল বৈশিষ্ট্যগুলোর তুলনা নিচে দেওয়া হলো:

Qwen3-235B অধিকাংশ বেঞ্চমার্কে GPT-5.5 এবং Claude Sonnet 4.6 এর সমতুল্য গুণমান প্রদর্শন করে, এবং একটি open-weights MoE-মডেল হিসেবে এটি প্রোপাইটারি অ্যানালগগুলোর চেয়ে অনেক সস্তা: MoE-আর্কিটেকচার প্রতিটি অনুরোধে মাত্র কয়েকটি প্যারামিটার সক্রিয় করে এবং কম্পিউট খরচ কমায়। Gonka নেটওয়ার্ক আজ তার মডেলগুলোর জন্য—Kimi K2.6 এবং MiniMax M2.7—একই সস্তা ডিসেন্ট্রালাইজড inference পদ্ধতি প্রয়োগ করছে, যা JoinGonka Gateway এর মাধ্যমে প্রতি 1M টোকেন $0.0047 মূল্যে পাওয়া যাচ্ছে (GPT-5.5 এবং Claude-এর চেয়ে শতগুণ—হাজারগুণ সস্তা)।

MMLU-Pro, HumanEval, MATH-500 এবং GSM8K বেঞ্চমার্কে মডেলটি সেরা তিনটি open-source মডেলের মধ্যে রয়েছে, যা গাণিতিক যুক্তির (reasoning) ক্ষেত্রে শুধুমাত্র DeepSeek-R1-এর পিছনে। কোড জেনারেশন, অনুবাদ এবং নির্দেশনা পালনের ক্ষেত্রে Qwen3-235B ধারাবাহিকভাবে Llama 4 Maverick-এর চেয়ে এগিয়ে এবং Claude Sonnet 4.6 এর সমতুল্য।

যখন Qwen3-235B নেটওয়ার্কের প্রধান মডেল ছিল, তখন এটি inference-এর জন্য অভিযোজিত DiLoCo প্রোটোকলের মাধ্যমে Gonka নেটওয়ার্কে ডিস্ট্রিবিউটেড পদ্ধতিতে কাজ করত। FP8 ফরম্যাটে সম্পূর্ণ মডেলটির জন্য প্রায় ৬৪০ GB ভিডিও মেমোরি (VRAM) প্রয়োজন হয়, যা একটি মাত্র GPU-তে রাখা অসম্ভব — এমনকি H100 80GB বা H200 141GB-ও যথেষ্ট নয়। তাই মডেলটিকে একাধিক ML-নোডের মধ্যে লেয়ার অনুযায়ী (tensor parallelism + pipeline parallelism) ভাগ করা হয়েছিল।

বাস্তব প্রয়োগে, Qwen3-235B ৮-১৬টি GPU-নোডের একটি ক্লাস্টারে কাজ করত, যার প্রতিটিতে কমপক্ষে ৪০ GB VRAM ছিল। Transfer Agents অনুরোধটিকে সঠিক ক্লাস্টারে পাঠাত, প্রতিটি নোডে থাকা vLLM মডেলের অংশটি প্রসেস করত, এবং ফলাফলগুলো একত্রিত হয়ে ব্যবহারকারীর কাছে ফিরে আসত। পুরো প্রক্রিয়াটি কয়েকশ মিলিসেকেন্ড লাগত — ব্যবহারকারী বুঝতেও পারতেন না যে তার অনুরোধটি পৃথিবীর বিভিন্ন প্রান্তে থাকা এক ডজন GPU দ্বারা প্রসেস করা হয়েছে। নেটওয়ার্কটি এখনও সেই একই ডিস্ট্রিবিউটেড inference নীতি বর্তমান মডেলগুলোর ক্ষেত্রে ব্যবহার করে।

একটি গুরুত্বপূর্ণ প্রযুক্তিগত তথ্য: Gonka সার্ভিং ইঞ্জিন হিসেবে vLLM ব্যবহার করে। vLLM হলো একটি open-source প্রজেক্ট যা PagedAttention-এর মাধ্যমে উচ্চ-পারফরম্যান্স টেক্সট জেনারেশন প্রদান করে — এটি এমন একটি অ্যালগরিদম যা একাধিক অনুরোধ সমান্তরালভাবে প্রসেস করার সময় ভিডিও মেমোরির ব্যবহার অপ্টিমাইজ করে। এটি নেটওয়ার্কটিকে গুণমান বজায় রেখে হাজার হাজার ব্যবহারকারীকে একই সাথে সেবা দিতে সক্ষম করে।

মডেলটি native tool calling সমর্থন করে — অর্থাৎ মডেলের উত্তরের মাধ্যমেই সরাসরি ফাংশন এবং টুল কল করা যায়। এই সুবিধাটি PR #767-এর মাধ্যমে Gonka-তে যোগ করা হয়েছিল, যার থ্রেশহোল্ড ছিল ০.৯৫৪। Qwen3-235B-তে এটি ডেভেলপারদের এমন AI-এজেন্ট তৈরি করতে সাহায্য করত যা বাইরের API, ডেটাবেস এবং টুলের সাথে ইন্টারঅ্যাক্ট করতে পারত। Tool calling-এর এই সাপোর্ট বর্তমান নেটওয়ার্ক মডেলগুলোতেও সংরক্ষিত আছে।

Gonka নেটওয়ার্কে ৪,০০০-এর বেশি GPU (H100, H200, A100, RTX 4090 এবং অন্যান্য) রয়েছে, যা ১২০টিরও বেশি ML-নোডে একত্রিত। এটি বিশ্বের অন্যতম বৃহত্তম ডিস্ট্রিবিউটেড GPU নেটওয়ার্ক AI inference-এর জন্য — এবং যদিও এই ক্ষমতা আগে Qwen3-235B-এর জন্য ব্যবহৃত হতো, বর্তমানে এটি নেটওয়ার্কের বর্তমান মডেলগুলো — Kimi K2.6, MiniMax M2.7 এবং DeepSeek V4 Flash-এর জন্য কাজ করছে।

সরাসরি উত্তর: Gonka নেটওয়ার্কের মাধ্যমে—আর নয়। Qwen3-235B নেটওয়ার্ক থেকে সরিয়ে নেওয়া হয়েছে, তাই আমাদের Gateway-এর মাধ্যমে qwen3-235b-a22b আইডেন্টিফায়ার ব্যবহার করে এটিকে আর কল করা সম্ভব নয়। যেহেতু মডেলটি উন্মুক্ত (Apache 2.0), আপনি এখনও এটিকে নিজে রান করতে পারেন অথবা ওপেন-ওয়েট মডেলের থার্ড-পার্টি হোস্টিং ব্যবহার করতে পারেন—যেমন, OpenRouter (প্রতি 1M টোকেনের জন্য আনুমানিক $0.071/$0.100)।

আপনি যদি সেই সস্তা বিকেন্দ্রীভূত (decentralized) inference খুঁজছেন যার জন্য সবাই Gonka-তে আসে—তবে সেটি কোথাও যায়নি, এটি এখন নেটওয়ার্কের বর্তমান মডেলগুলোতে কাজ করছে। JoinGonka API Gateway-এর মাধ্যমে OpenAI-সামঞ্জস্যপূর্ণ API ব্যবহার করে Kimi K2.6, MiniMax M2.7 এবং DeepSeek V4 Flash উপলব্ধ: OpenAI-এর জন্য লেখা যেকোনো কোড কোনো পরিবর্তন ছাড়াই কাজ করবে—শুধুমাত্র URL, API-কী এবং মডেলের নাম পরিবর্তন করলেই হবে।

বর্তমান মডেলের জন্য অনুরোধের একটি উদাহরণ:

curl https://gate.joingonka.ai/api/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "moonshotai/Kimi-K2.6",
    "messages": [{"role": "user", "content": "MoE-আর্কিটেকচার ব্যাখ্যা করুন"}]
  }'

খরচ: $0.0047 প্রতি ১ মিলিয়ন টোকেন — এটি GPT-5.5 ($5.00/1M) এর চেয়ে প্রায় ৮০০ গুণ এবং Claude Sonnet 4.6 ($3.00/1M) এর চেয়ে প্রায় ৫০০ গুণ সস্তা। সাইন আপ করার সময়, আপনি পরীক্ষার জন্য বিনামূল্যে 1.5M টোকেন পাবেন।

Gateway জনপ্রিয় ডেভেলপমেন্ট টুলগুলোর সাথে সামঞ্জস্যপূর্ণ: Quick Start-এ Python, Node.js এবং curl-এর মাধ্যমে সংযোগ করার পদ্ধতি বর্ণনা করা হয়েছে। এছাড়া IDE ইন্টিগ্রেশন—Cursor, Continue, Cline, Aider এবং Claude Code—এবং AI-এজেন্ট ফ্রেমওয়ার্ক: LangChain, n8n, LibreChat, Open WebUI সমর্থিত।

দ্রুত শুরুর জন্য:

1. gate.joingonka.ai-তে সাইন আপ করুন (আপনার ওয়ালেট কানেক্ট করুন অথবা নতুন একটি তৈরি করুন)
2. Dashboard থেকে একটি API-কী পান
3. আপনার কোডে api.openai.com-কে gate.joingonka.ai/api দ্বারা প্রতিস্থাপন করুন
4. নেটওয়ার্কের বর্তমান মডেলের নাম উল্লেখ করুন — moonshotai/Kimi-K2.6, MiniMaxAI/MiniMax-M2.7 অথবা deepseek-ai/DeepSeek-V4-Flash-0731 (সম্পূর্ণ তালিকা GET /v1/models এন্ডপয়েন্টে দেখুন)

হবি-প্রজেক্টের মূল্যে এন্টারপ্রাইজ-লেভেল বিকেন্দ্রীভূত inference কোথাও হারিয়ে যায়নি — Qwen3-235B কেবল নেটওয়ার্কের নতুন মডেলগুলোর জন্য জায়গা করে দিয়েছে। একই মূল্য এবং মানের সমন্বয় এখন Kimi K2.6, MiniMax M2.7 এবং DeepSeek V4 Flash-এ কাজ করছে।