Qwen3-235B: mô hình mà Gonka đã từng phục vụ

Qwen3-235B-A22B-Instruct-2507-FP8 là một mô hình ngôn ngữ lớn (LLM) thuộc gia đình Qwen3, được phát triển bởi đội ngũ Qwen tại Alibaba Cloud. Tên đầy đủ được giải thích như sau: Qwen3 — thế hệ thứ ba của dòng, 235B — tổng cộng 235 tỷ tham số, A22B — 22 tỷ tham số hoạt động trên mỗi yêu cầu, Instruct — phiên bản được đào tạo để tuân theo hướng dẫn, 2507 — phiên bản phát hành tháng 7 năm 2025, FP8 — lượng tử hóa 8 bit để tối ưu hóa bộ nhớ.

Đặc điểm kiến trúc chính là MoE (Mixture of Experts). Không giống như các mô hình "dense" (GPT-5.5, Claude Sonnet 4.6), nơi mỗi token đi qua tất cả các tham số, mô hình MoE chỉ kích hoạt một tập hợp con các "chuyên gia" — các khối mạng thần kinh chuyên biệt — cho mỗi yêu cầu. Trong trường hợp của Qwen3-235B, từ 235 tỷ tham số, chỉ 22 tỷ được kích hoạt cho mỗi token — chưa đến 10%. Điều này mang lại chất lượng tương đương với các mô hình có hơn 200 tỷ tham số với chi phí tính toán của một mô hình 22 tỷ tham số.

Trong thực tế, điều này có nghĩa là: mô hình thông minh hơn những gì người ta mong đợi từ tốc độ của nó. Nó xử lý các yêu cầu nhanh hơn đáng kể so với các mô hình dense có chất lượng tương đương, đồng thời yêu cầu VRAM ít hơn nhiều cho inference. Đó là lý do tại sao MoE đã trở thành kiến trúc thống trị cho các mô hình lớn nhất từ năm 2025—2026.

Cửa sổ ngữ cảnh của Qwen3-235B là 131.072 token (~100.000 từ) — đủ để phân tích toàn bộ sách, cơ sở mã hoặc tài liệu pháp lý dài chỉ trong một yêu cầu. Mô hình hỗ trợ 119 ngôn ngữ, bao gồm tiếng Nga, tiếng Anh, tiếng Trung, tiếng Ả Rập, tiếng Hindi và hàng chục ngôn ngữ khác — làm cho nó trở thành một trong những mô hình đa ngôn ngữ nhất trên thị trường.

Qwen3-235B cạnh tranh trực tiếp với những mô hình đóng và mở lớn nhất hiện nay. Dưới đây là so sánh các đặc điểm chính:

Qwen3-235B đạt chất lượng ngang ngửa GPT-5.5 và Claude Sonnet 4.6 trên hầu hết các benchmark, nhưng vì là mô hình MoE open-weights nên chi phí rẻ hơn nhiều lần so với các sản phẩm độc quyền: kiến trúc MoE chỉ kích hoạt một phần tham số cho mỗi truy vấn, nhờ đó giảm mạnh chi phí tính toán. Nguyên lý inference phi tập trung giá rẻ đó chính là điều mà mạng Gonka đang áp dụng cho các mô hình hiện hành — MiniMax M2.7, DeepSeek V4 Flash và GLM-5.3 Flash — tất cả đều truy cập được qua JoinGonka Gateway với mức giá $0.0069 cho 1M token (rẻ hơn GPT-5.5 và Claude hàng trăm đến hàng nghìn lần).

Trên các benchmark MMLU-Pro, HumanEval, MATH-500 và GSM8K, mô hình này nằm trong top 3 mô hình open-source tốt nhất, chỉ xếp sau DeepSeek-R1 ở các bài toán suy luận (reasoning). Ở các tác vụ sinh code, dịch thuật và tuân thủ hướng dẫn, Qwen3-235B liên tục vượt Llama 4 Maverick và ngang tầm Claude Sonnet 4.6.

Khi Qwen3-235B còn là mô hình chủ lực của mạng, nó chạy phân tán trong mạng Gonka thông qua giao thức DiLoCo đã được tùy biến cho inference. Mô hình đầy đủ ở định dạng FP8 cần khoảng 640 GB bộ nhớ video (VRAM), con số không thể nhồi vừa một GPU — ngay cả H100 80GB hay H200 141GB cũng không đủ. Vì vậy mô hình được chia theo lớp (tensor parallelism + pipeline parallelism) giữa nhiều ML-node.

Trên thực tế, Qwen3-235B chạy trên cụm 8—16 GPU-node, mỗi node tối thiểu 40 GB VRAM. Transfer Agent định tuyến truy vấn đến cụm phù hợp, vLLM trên mỗi node xử lý phần mô hình của mình, kết quả được tổng hợp rồi trả về cho người dùng. Toàn bộ quá trình chỉ mất vài trăm mili-giây — người dùng không hề biết rằng truy vấn của mình vừa được xử lý bởi cả chục GPU rải khắp hành tinh. Nguyên lý inference phân tán đó vẫn được mạng áp dụng cho đến nay — với các mô hình hiện hành.

Một chi tiết kỹ thuật quan trọng: Gonka dùng vLLM làm engine serving. vLLM là dự án mã nguồn mở cung cấp khả năng sinh văn bản hiệu năng cao nhờ PagedAttention — thuật toán tối ưu việc dùng bộ nhớ video khi xử lý song song nhiều truy vấn. Nhờ đó mỗi node có thể xử lý nhiều truy vấn đồng thời mà không giảm chất lượng.

Mô hình hỗ trợ native tool calling — gọi hàm và công cụ ngay trong phản hồi của mô hình. Tính năng này được thêm vào Gonka qua PR #767 với ngưỡng 0.958 để nhận diện lời gọi công cụ. Với Qwen3-235B, lập trình viên có thể xây dựng AI agent tương tác với API bên ngoài, cơ sở dữ liệu và công cụ — tất cả qua một truy vấn duy nhất. Hỗ trợ tool calling vẫn được giữ nguyên trong các mô hình hiện hành của mạng.

Hiện tại mạng Gonka có 944 GPU (H100, H200, B300 và nhiều loại khác). Nếu trước kia nguồn sức mạnh này dành cho Qwen3-235B, thì nay nó đang phục vụ các mô hình hiện hành của mạng — MiniMax M2.7, DeepSeek V4 Flash và GLM-5.3 Flash.

Trả lời thẳng: qua mạng Gonka — không còn nữa. Qwen3-235B đã bị rút khỏi mạng, nên bạn không thể gọi nó bằng ID qwen3-235b-a22b qua Gateway của chúng tôi nữa. Vì mô hình này là mã nguồn mở (Apache 2.0), bạn vẫn có thể tự chạy nó hoặc truy cập qua các dịch vụ lưu trữ mô hình open-weights của bên thứ ba — ví dụ qua OpenRouter (khoảng $0.071/$0.100 cho 1M token).

Còn nếu bạn cần đúng cái inference phi tập trung giá rẻ mà người ta tìm đến Gonka — nó vẫn ở đó, chỉ là giờ chạy trên các mô hình đang hoạt động của mạng. Qua JoinGonka API Gateway, bạn có thể truy cập MiniMax M2.7, DeepSeek V4 Flash và GLM-5.3 Flash qua API tương thích OpenAI: mọi đoạn code viết cho OpenAI đều chạy nguyên xi — chỉ cần đổi URL, API key và tên mô hình.

Ví dụ request đến mô hình đang hoạt động:

curl https://gate.joingonka.ai/api/v1/chat/completions \
  -H "Authorization: Bearer YOUR_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "MiniMaxAI/MiniMax-M2.7",
    "messages": [{"role": "user", "content": "Explain the MoE architecture"}]
  }'

Chi phí: $0.0069 cho 1 triệu token — rẻ hơn GPT-5.5 ($5.00/1M) khoảng 720 lần và rẻ hơn Claude Sonnet 4.6 ($3.00/1M) khoảng 430 lần. Khi đăng ký, bạn nhận được 3M token miễn phí để thử nghiệm.

Gateway tương thích với các công cụ phát triển phổ biến: Quick Start hướng dẫn kết nối qua Python, Node.js và curl. Ngoài ra còn hỗ trợ tích hợp IDE — Cursor, Continue, Cline, Aider và Claude Code — cùng các framework cho AI agent: LangChain, n8n, LibreChat, Open WebUI.

Để bắt đầu nhanh:

1. Đăng ký tại gate.joingonka.ai (kết nối ví hoặc tạo ví mới)
2. Lấy API key trong Dashboard
3. Thay api.openai.com bằng gate.joingonka.ai/api trong code của bạn
4. Chỉ định mô hình hiện hành của mạng — MiniMaxAI/MiniMax-M2.7, deepseek-ai/DeepSeek-V4-Flash-0731 hoặc zai-org/GLM-5.3-Flash (danh sách đầy đủ ở endpoint GET /v1/models)

Inference phi tập trung cấp doanh nghiệp với mức giá của một dự án sở thích vẫn còn nguyên — Qwen3-235B chỉ nhường chỗ cho những mô hình mới hơn của mạng. Cùng công thức giá và chất lượng đó giờ đây vận hành trên MiniMax M2.7, DeepSeek V4 Flash và GLM-5.3 Flash.