LlamaIndex + Gonka AI — แอป RAG ราคาถูก

API-key ของ JoinGonka: ลงทะเบียนที่ gate.joingonka.ai/register — เรามอบ 3M โทเค็นฟรี ในการเริ่มต้น — และสร้างคีย์ jg-xxx ใน Dashboard

การติดตั้ง:

pip install llama-index llama-index-llms-openai-like

สำหรับ API ที่รองรับ OpenAI ทั่วไป LlamaIndex มีคลาส OpenAILike จากแพ็คเกจ llama_index.llms.openai_like นี่คือตัวอย่างคำขอขั้นต่ำไปยัง Gonka:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka เป็น chat-endpoint
    is_function_calling_model=True, # รองรับ native tool calling
    context_window=200000,         # 200K สำหรับโมเดลในเครือข่าย
    max_tokens=8192,               # ขีดจำกัดเอาต์พุตผ่าน Gateway
)

response = llm.complete("อธิบายว่า RAG คืออะไร ในสามประโยค")
print(response)

สิ่งสำคัญเกี่ยวกับ OpenAILike: ตรวจสอบให้แน่ใจว่าได้ตั้งค่า is_chat_model=True ไม่เช่นนั้น LlamaIndex จะไปที่ completion-endpoint ซึ่งเราไม่มีให้บริการ is_function_calling_model=True จะเปิดใช้งาน native tool calls กำหนดค่า context_window ตามโมเดลเพื่อให้ LlamaIndex แบ่งบริบทได้อย่างถูกต้อง

บทบาทคลาสสิกของ LlamaIndex คือการสร้างดัชนี (index) จากเอกสารของคุณและสอบถามผ่าน query_engine โดยกำหนด Global LLM ครั้งเดียวผ่าน Settings.llm หลังจากนั้นทั้ง pipeline จะใช้ Gonka โดยอัตโนมัติ

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM ผ่าน Gonka (กำหนดครั้งเดียวในระดับ global)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=200000,
    max_tokens=8192,
)

# 2. Local embeddings (ฟรี ไม่ผ่าน OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. โหลดและทำ indexing เอกสารจากโฟลเดอร์ ./data
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. สอบถามฐานความรู้
query_engine = index.as_query_engine()
response = query_engine.query("เอกสารนี้เกี่ยวกับอะไร?")
print(response)

ข้อควรระวังสำคัญเรื่อง embeddings: โดยปกติ VectorStoreIndex จะใช้ embeddings ของ OpenAI (text-embedding-ada-002) ซึ่งมีค่าใช้จ่ายแยกต่างหาก ไม่ได้ใช้ผ่าน Gonka เพื่อหลีกเลี่ยงการใช้ OpenAI โดยสิ้นเชิง ให้กำหนดโมเดล embeddings แบบ local ผ่าน Settings.embed_model (ตามตัวอย่างด้านบนคือ HuggingFaceEmbedding โดยใช้ pip install llama-index-embeddings-huggingface) ในกรณีนี้ การสร้างข้อความจะเป็นผ่าน Gonka และการแปลงข้อมูลเป็น vector จะทำแบบ local ฟรี

ค่าใช้จ่าย: หนึ่งคำขอ RAG pipeline (การค้นหา + การสร้างข้อความ) ใช้ประมาณ 2–5K tokens ของ LLM ผ่าน Gonka นี่คิดเป็นเพียงเศษเสี้ยวของเซนต์; ถ้าเทียบกับ OpenAI/Anthropic จะแพงกว่าถึง 3–4 เท่า หากต้องรับคำขอเป็นหลักพันต่อวัน ส่วนต่างนี้หมายถึงประหยัดได้หลายหมื่นดอลลาร์ต่อเดือน

แอปพลิเคชัน RAG ไม่ใช่แค่การแชทแบบครั้งเดียว แต่เป็น flow ของคำถามต่อเนื่อง: คำถามแต่ละข้อของผู้ใช้ต้องใช้ LLM token ประมาณ 2–5K (ตัวคำถามบวกกับ context ที่ค้นพบ) มาลองคำนวณปริมาณการใช้งานทั่วไปและค่าใช้จ่ายของแต่ละ provider โดยราคาของ Gonka ผ่าน JoinGonka Gateway คือ: ขาเข้า ~$0.0069/1M, ขาออก ×3

ด้วยโบนัส 3M token ฟรี คุณสามารถเริ่มทดสอบ RAG-pipeline, ทำดัชนีชุดข้อมูลทดสอบ และถามตอบได้หลายพันครั้งโดยไม่เสียค่าใช้จ่าย สำหรับการใช้งานระดับ production JoinGonka Gateway จะเปลี่ยน RAG จากบริการที่มีราคาสูงให้เป็นค่าใช้จ่ายที่ถูกมากจนแทบไม่รู้สึก

LlamaIndex ไม่เพียงแต่สามารถตอบคำถามจากเอกสารได้เท่านั้น แต่ยังสร้างเอเจนท์ที่มีเครื่องมือได้ด้วย โมเดล Gonka ทั้ง 3 รุ่นรองรับ native tool calling ซึ่งเอเจนท์จะเรียกใช้ฟังก์ชันอย่างมีโครงสร้างโดยไม่ต้องแยกวิเคราะห์ข้อความ ตัวอย่างเอเจนท์ที่ใช้เครื่องมือ:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=200000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """คูณตัวเลขสองจำนวน"""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="คุณคือผู้ช่วยที่มีประโยชน์ ให้ใช้เครื่องมือสำหรับการคำนวณ",
)

async def main():
    result = await agent.run("1234 คูณ 5678 ได้เท่าไหร่?")
    print(result)

asyncio.run(main())

การเลือกโมเดล (ฟิลด์ model และขีดจำกัดที่สอดคล้องกัน context_window / max_tokens):

ขีดจำกัดของ max_tokens ผ่าน Gateway สูงสุดถึง 8192 สำหรับ MiniMax M2.7 และ GLM-5.3 Flash และสูงสุด 32768 สำหรับ DeepSeek V4 Flash หากไม่ได้ตั้งค่า max_tokens สำหรับคำขอแบบไม่สตรีมมิ่ง ค่าเริ่มต้นจะส่งคืนไม่เกิน 1500 tokens โปรดระบุค่าให้ชัดเจนสำหรับคำตอบแบบ RAG และขั้นตอนของเอเจนท์

TypeScript: สำหรับ LlamaIndex.TS มีวิธีที่คล้ายกัน คลาส OpenAI จากแพ็คเกจ @llamaindex/openai จะรับค่า baseURL และ apiKey (หรืออ่านจากตัวแปรสภาพแวดล้อม OPENAI_BASE_URL / OPENAI_API_KEY) ดังนั้น Gateway เดียวกันนี้จึงสามารถเชื่อมต่อใน Node.js stack ได้ หากคุณสร้างแอป AI ด้วย Python frameworks ลองดูคู่มือ LangChain เพิ่มเติมด้วย