LlamaIndex + Gonka AI — แอป RAG ราคาถูก

API-คีย์ JoinGonka: ลงทะเบียนที่ gate.joingonka.ai/register — เราให้ 10M โทเคนฟรี เมื่อเริ่มต้น — และสร้างคีย์ jg-xxx ใน Dashboard

การติดตั้ง:

pip install llama-index llama-index-llms-openai-like

สำหรับ API ที่เข้ากันได้กับ OpenAI แบบกำหนดเอง LlamaIndex มีคลาส OpenAILike จากแพ็คเกจ llama_index.llms.openai_like ตัวอย่างคำขอขั้นต่ำไปยัง Gonka:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    is_chat_model=True,            # Gonka — it's a chat endpoint
    is_function_calling_model=True, # native tool calling is supported
    context_window=131072,         # 128K for Qwen3-235B
    max_tokens=8192,               # output ceiling through Gateway (Qwen)
)

response = llm.complete("อธิบายว่า RAG คืออะไร ในสามประโยค")
print(response)

สำคัญเกี่ยวกับ OpenAILike: ต้องระบุ is_chat_model=True — มิฉะนั้น LlamaIndex จะเข้าสู่ completion-endpoint ซึ่งเราไม่มี is_function_calling_model=True เปิดใช้งาน native tool calls กำหนด context_window ตามโมเดลเพื่อให้ LlamaIndex ตัดบริบทได้อย่างถูกต้อง

สถานการณ์คลาสสิกของ LlamaIndex คือการสร้างดัชนีจากเอกสารของคุณและสอบถามผ่าน query_engine LLM ทั่วโลกถูกกำหนดเพียงครั้งเดียวผ่าน Settings.llm จากนั้น pipeline ทั้งหมดจะใช้ Gonka โดยอัตโนมัติ

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM ผ่าน Gonka (ครั้งเดียว — ทั่วโลก)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    is_chat_model=True,
    context_window=131072,
    max_tokens=8192,
)

# 2. Embeddings ภายใน (ฟรี, ไม่มี OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. โหลดและทำดัชนีเอกสารจากโฟลเดอร์ ./data
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. สอบถามฐานความรู้
query_engine = index.as_query_engine()
response = query_engine.query("เอกสารนี้เกี่ยวกับอะไร?")
print(response)

ข้อสำคัญเกี่ยวกับ embeddings: โดยค่าเริ่มต้น VectorStoreIndex ใช้ embeddings ของ OpenAI (text-embedding-ada-002) — ซึ่งเป็นการเรียกใช้ OpenAI ที่มีค่าใช้จ่ายแยกต่างหาก ไม่ใช่ Gonka เพื่อหลีกเลี่ยง OpenAI ทั้งหมด ให้กำหนดโมเดล embeddings ภายในผ่าน Settings.embed_model (ตามตัวอย่างด้านบน — HuggingFaceEmbedding, แพ็คเกจ pip install llama-index-embeddings-huggingface) จากนั้นการสร้างจะดำเนินการผ่าน Gonka และการแปลงเป็นเวกเตอร์จะดำเนินการภายในเครื่องและฟรี

ค่าใช้จ่าย: คำขอ RAG-pipeline หนึ่งครั้ง (ค้นหา + สร้าง) ใช้ LLM tokens ประมาณ ~2–5K ผ่าน Gonka นี่คือเศษเสี้ยวของเซ็นต์; ผ่าน OpenAI/Anthropic — แพงกว่า 3–4 เท่า ที่ปริมาณคำขอหลายพันครั้งต่อวัน ความแตกต่างนี้จะกลายเป็นเงินออมหลายหมื่นดอลลาร์ต่อเดือน

แอปพลิเคชัน RAG ไม่ใช่แค่แชทครั้งเดียว แต่เป็นกระแสของคำขออย่างต่อเนื่อง: ทุกคำถามของผู้ใช้ดึง LLM โทเคนประมาณ 2–5K (คำถามเองและส่วนบริบทที่พบ) เราจะคำนวณปริมาณงานทั่วไปและค่าใช้จ่ายในผู้ให้บริการต่างๆ ราคา Gonka ผ่าน JoinGonka Gateway: อินพุต ~$0.0005/1M, เอาต์พุต ×3

ด้วย 10M โทเคนฟรี คุณสามารถดีบัก RAG-pipeline ทั้งหมด, สร้างดัชนีชุดทดสอบ และเรียกใช้คำขอนับพัน — และไม่ต้องใช้เงินแม้แต่เซ็นต์เดียว ที่ปริมาณการผลิต JoinGonka Gateway เปลี่ยน RAG จากบริการราคาแพงให้กลายเป็นรายการค่าใช้จ่ายที่คุณอาจไม่สังเกตเห็น

LlamaIndex สามารถทำได้ไม่เพียงแค่ตอบตามเอกสารเท่านั้น แต่ยังสร้างเอเจนต์พร้อมเครื่องมือด้วย ทั้งสามโมเดลของ Gonka รองรับ native tool calling — เอเจนต์เรียกใช้ฟังก์ชันอย่างมีโครงสร้าง โดยไม่ต้องแยกวิเคราะห์ข้อความ ตัวอย่างเอเจนต์พร้อมเครื่องมือ:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=131072,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """คูณเลขสองตัว"""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="คุณเป็นผู้ช่วยที่เป็นประโยชน์ ใช้เครื่องมือสำหรับการคำนวณ",
)

async def main():
    result = await agent.run("1234 คูณ 5678 ได้เท่าไร?")
    print(result)

asyncio.run(main())

การเลือกโมเดล (ช่อง model และขีดจำกัดที่เกี่ยวข้อง context_window / max_tokens):

ขีดจำกัด max_tokens ผ่าน Gateway — สูงสุด 8192 บนโมเดล Qwen3; สำหรับ Kimi และ MiniMax ระบุ 3072 และ 4096 ตามลำดับ หากไม่ได้กำหนด max_tokens สำหรับคำขอที่ไม่ใช่สตรีม โดยค่าเริ่มต้นจะส่งคืน 1500 โทเคน — สำหรับคำตอบ RAG และขั้นตอนของเอเจนต์ ให้ระบุค่าอย่างชัดเจน

TypeScript: สำหรับ LlamaIndex.TS มีเส้นทางที่เหมือนกัน — คลาส OpenAI จากแพ็คเกจ @llamaindex/openai รับ baseURL และ apiKey (หรืออ่านตัวแปร OPENAI_BASE_URL / OPENAI_API_KEY) ดังนั้น Gateway เดียวกันจึงเชื่อมต่อในสแต็ก Node.js ด้วย หากคุณกำลังสร้างแอปพลิเคชัน AI บนเฟรมเวิร์ก Python โปรดดูคู่มือเกี่ยวกับ LangChain ด้วย