LlamaIndex + Gonka AI — Ứng dụng RAG giá rẻ

API-key JoinGonka: đăng ký tại gate.joingonka.ai/register — khi bắt đầu, chúng tôi tặng 10 triệu token miễn phí — và tạo khóa jg-xxx trong Dashboard.

Cài đặt:

pip install llama-index llama-index-llms-openai-like

Đối với API tương thích OpenAI tùy ý, LlamaIndex cung cấp lớp OpenAILike từ gói llama_index.llms.openai_like. Ví dụ yêu cầu tối thiểu tới Gonka:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-khóa-của-bạn",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    is_chat_model=True,            # Gonka — đây là endpoint chat
    is_function_calling_model=True, # tool calling gốc được hỗ trợ
    context_window=131072,         # 128K với Qwen3-235B
    max_tokens=8192,               # giới hạn đầu ra qua Gateway (Qwen)
)

response = llm.complete("Giải thích RAG là gì trong ba câu.")
print(response)

Quan trọng về OpenAILike: bạn phải chỉ định is_chat_model=True — nếu không LlamaIndex sẽ truy cập endpoint hoàn thành, mà chúng tôi không có. is_function_calling_model=True bật các lệnh gọi công cụ gốc. Đặt context_window theo mô hình để LlamaIndex cắt ngữ cảnh một cách chính xác.

Kịch bản LlamaIndex cổ điển là một chỉ mục trên tài liệu của bạn và các truy vấn đến nó thông qua query_engine. LLM toàn cục được đặt một lần thông qua Settings.llm, sau đó toàn bộ đường ống sử dụng Gonka tự động.

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM thông qua Gonka (một lần — toàn cục)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-khóa-của-bạn",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    is_chat_model=True,
    context_window=131072,
    max_tokens=8192,
)

# 2. Embedding cục bộ (miễn phí, không dùng OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. Tải và lập chỉ mục tài liệu từ thư mục ./data
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. Truy vấn cơ sở kiến thức
query_engine = index.as_query_engine()
response = query_engine.query("Tài liệu này nói về điều gì?")
print(response)

Lưu ý quan trọng về embedding: Theo mặc định, VectorStoreIndex sử dụng embedding của OpenAI (text-embedding-ada-002) — đây là các lệnh gọi trả phí riêng biệt cho OpenAI, không phải Gonka. Để hoàn toàn thoát khỏi OpenAI, hãy đặt mô hình embedding cục bộ thông qua Settings.embed_model (như trong ví dụ trên — HuggingFaceEmbedding, gói pip install llama-index-embeddings-huggingface). Khi đó, quá trình tạo được thực hiện thông qua Gonka, và việc vector hóa được thực hiện cục bộ và miễn phí.

Chi phí: một yêu cầu đường ống RAG (tìm kiếm + tạo) tiêu thụ khoảng 2–5K token LLM. Thông qua Gonka, chi phí này chỉ là một phần nhỏ của xu; thông qua OpenAI/Anthropic — đắt hơn 3–4 bậc. Với lưu lượng hàng nghìn yêu cầu mỗi ngày, sự khác biệt này biến thành hàng chục nghìn đô la tiết kiệm mỗi tháng.

Một ứng dụng RAG không phải là một cuộc trò chuyện một lần, mà là một luồng yêu cầu liên tục: mỗi câu hỏi của người dùng kéo theo 2–5 nghìn token LLM (bản thân câu hỏi cộng với các đoạn ngữ cảnh được tìm thấy). Chúng ta hãy tính toán khối lượng điển hình và chi phí của chúng với các nhà cung cấp khác nhau. Giá của Gonka thông qua JoinGonka Gateway: đầu vào ~0.0005 đô la/1 triệu token, đầu ra ×3.

Với 10 triệu token miễn phí, bạn có thể gỡ lỗi toàn bộ đường ống RAG, lập chỉ mục tập tài liệu thử nghiệm và chạy hàng nghìn yêu cầu — mà không tốn một xu nào. Với khối lượng sản xuất, JoinGonka Gateway biến RAG từ một dịch vụ đắt đỏ thành một khoản chi phí mà bạn thậm chí không cần chú ý đến.

LlamaIndex không chỉ có thể trả lời tài liệu mà còn có thể xây dựng các tác nhân với các công cụ. Ba mô hình Gonka đều hỗ trợ gọi công cụ gốc — các tác nhân gọi hàm có cấu trúc, không cần phân tích cú pháp văn bản. Ví dụ về tác nhân có công cụ:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-khóa-của-bạn",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=131072,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """Nhân hai số."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="Bạn là một trợ lý hữu ích. Hãy sử dụng các công cụ khi cần.",
)

async def main():
    result = await agent.run("1234 nhân 5678 là bao nhiêu?")
    print(result)

asyncio.run(main())

Chọn một mô hình (trường model và giới hạn context_window / max_tokens tương ứng):

Giới hạn max_tokens thông qua Gateway — lên đến 8192 cho mô hình Qwen3; đối với Kimi và MiniMax, hãy chỉ định 3072 và 4096 tương ứng. Nếu max_tokens không được chỉ định cho yêu cầu không streaming, theo mặc định sẽ trả về tối đa 1500 token — đối với các phản hồi RAG và các bước của tác nhân, hãy chỉ định giá trị rõ ràng.

TypeScript: Đối với LlamaIndex.TS, có một cách tương tự — lớp OpenAI từ gói @llamaindex/openai chấp nhận baseURL và apiKey (hoặc đọc các biến OPENAI_BASE_URL / OPENAI_API_KEY), vì vậy cùng một Gateway cũng có thể được kết nối trong ngăn xếp Node.js. Nếu bạn đang xây dựng ứng dụng AI và trên các framework Python, hãy xem hướng dẫn về LangChain.