LlamaIndex + Gonka AI — แอป RAG ราคาถูก

คีย์ API ของ JoinGonka: ลงทะเบียนที่ gate.joingonka.ai/register — ตอนเริ่มต้นเราแจกโทเคนฟรี 3M — แล้วสร้างคีย์ jg-xxx ใน Dashboard

การติดตั้ง:

pip install llama-index llama-index-llms-openai-like

สำหรับ API ที่เข้ากันได้กับ OpenAI ทั่วไป LlamaIndex มีคลาส OpenAILike จากแพ็กเกจ llama_index.llms.openai_like ตัวอย่างการเรียกใช้ Gonka แบบสั้นที่สุด:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka is a chat endpoint
    is_function_calling_model=True, # native tool calling is supported
    context_window=180000,         # MiniMax M2.7 context window
    max_tokens=8192,               # Gateway output cap
)

response = llm.complete("Explain what RAG is in three sentences.")
print(response)

ข้อควรระวังเกี่ยวกับ OpenAILike: ต้องระบุ is_chat_model=True เสมอ — ไม่เช่นนั้น LlamaIndex จะไปที่ endpoint Completions แบบเก่าด้วย prompt ดิบแทนการสนทนา is_function_calling_model=True เปิดใช้ native tool calls ส่วน context_window ให้ตั้งตามโมเดล เพื่อให้ LlamaIndex ตัดบริบทได้อย่างถูกต้อง

สถานการณ์คลาสสิกของ LlamaIndex คือการสร้างดัชนีจากเอกสารของคุณและส่งคำถามผ่าน query_engine LLM ระดับโกลบอลกำหนดเพียงครั้งเดียวผ่าน Settings.llm จากนั้นไปป์ไลน์ทั้งหมดจะใช้ Gonka โดยอัตโนมัติ

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM via Gonka (set once, globally)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=180000,
    max_tokens=8192,
)

# 2. Local embeddings (free, no OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. Load and index documents from the ./data folder
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. Query the knowledge base
query_engine = index.as_query_engine()
response = query_engine.query("What is this document about?")
print(response)

จุดสำคัญที่ต้องระวังเรื่อง embeddings: โดยค่าเริ่มต้น VectorStoreIndex จะใช้ embeddings ของ OpenAI (text-embedding-ada-002) ซึ่งเป็นการเรียก OpenAI แยกต่างหากที่มีค่าใช้จ่าย ไม่ใช่ผ่าน Gonka หากต้องการหลีกเลี่ยง OpenAI ทั้งหมด ให้กำหนดโมเดล embeddings ภายในเครื่องผ่าน Settings.embed_model (ดังตัวอย่างด้านบน — HuggingFaceEmbedding แพ็กเกจ pip install llama-index-embeddings-huggingface) จากนั้นการสร้างข้อความจะผ่าน Gonka ส่วนการแปลงเป็นเวกเตอร์ทำภายในเครื่องและฟรี

ค่าใช้จ่าย: คำถามหนึ่งครั้งในไปป์ไลน์ RAG (ค้นหา + สร้าง) ใช้โทเคน LLM ประมาณ 2–5K ผ่าน Gonka คิดเป็นเศษเสี้ยวของเซนต์ แต่ผ่าน OpenAI/Anthropic แพงกว่าหลายเท่าเป็นพันเท่า เมื่อมีคำถามหลายพันครั้งต่อวัน ความต่างนี้กลายเป็นการประหยัดหลายหมื่นดอลลาร์ต่อเดือน

แอปพลิเคชัน RAG ไม่ใช่แชตครั้งเดียว แต่เป็นกระแสคำขอที่ต่อเนื่อง: ทุกคำถามของผู้ใช้ดึงโทเคน LLM ตามมา 2–5K (ตัวคำถามบวกส่วนบริบทที่ค้นพบ) มาคำนวณปริมาณทั่วไปและค่าใช้จ่ายกับผู้ให้บริการแต่ละราย ราคาของ Gonka ผ่าน JoinGonka Gateway: อินพุต ~$0.0062/1M เอาต์พุต ×3

ด้วยโทเคนฟรี 3M สามารถรันคำขอแรก ๆ ของไปป์ไลน์ RAG จัดทำดัชนีคลังข้อมูลทดสอบ และรันคำขอหลายพันรายการ — โดยไม่ต้องจ่ายสักบาท ด้วยปริมาณระดับ production แล้ว JoinGonka Gateway เปลี่ยน RAG จากบริการราคาแพงให้กลายเป็นรายจ่ายที่แทบไม่ต้องสนใจเลย

LlamaIndex ไม่ได้แค่ตอบคำถามจากเอกสาร แต่ยังสร้างเอเจนต์ที่มีเครื่องมือได้ด้วย โมเดลทั้งสามของ Gonka รองรับ native tool calling — เอเจนต์เรียกฟังก์ชันอย่างมีโครงสร้าง ไม่ต้องแยกวิเคราะห์ข้อความ ตัวอย่างเอเจนต์ที่มีเครื่องมือ:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=180000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """Multiplies two numbers."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="You are a helpful assistant. Use the tools for calculations.",
)

async def main():
    result = await agent.run("What is 1234 multiplied by 5678?")
    print(result)

asyncio.run(main())

การเลือกโมเดล (ฟิลด์ model และขีดจำกัดที่สอดคล้องกัน context_window / max_tokens):

ขีดจำกัด max_tokens ผ่าน Gateway — สูงสุด 8192 สำหรับ MiniMax M2.7 และ GLM-5.3 Flash, สูงสุด 32768 สำหรับ DeepSeek V4 Flash หากไม่กำหนด max_tokens สำหรับคำขอแบบไม่สตรีมมิ่ง ค่าเริ่มต้นจะคืนค่าสูงสุด 1500 โทเคน — สำหรับคำตอบ RAG และขั้นตอนของเอเจนต์ควรกำหนดค่าให้ชัดเจน

TypeScript: สำหรับ LlamaIndex.TS มีเส้นทางที่เทียบเคียงได้ — คลาส OpenAI จากแพ็กเกจ @llamaindex/openai รับ baseURL และ apiKey (หรืออ่านตัวแปร OPENAI_BASE_URL / OPENAI_API_KEY) ดังนั้น Gateway เดียวกันสามารถเชื่อมต่อในสแต็ก Node.js ได้เช่นกัน หากคุณสร้างแอป AI ด้วยเฟรมเวิร์ก Python ลองดูคู่มือ LangChain ด้วย