LlamaIndex + Gonka AI — แอป RAG ราคาถูก

API-ключ JoinGonka: ลงทะเบียนที่ gate.joingonka.ai/register — เรามอบ 10M tokens ฟรี เมื่อเริ่มต้น — และสร้างคีย์ jg-xxx ใน Dashboard

การติดตั้ง:

pip install llama-index llama-index-llms-openai-like

สำหรับ API ใดๆ ที่รองรับ OpenAI LlamaIndex มีคลาส OpenAILike จากแพ็คเกจ llama_index.llms.openai_like ตัวอย่างคำขอสั้นๆ สำหรับ Gonka:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka คือ chat-endpoint
    is_function_calling_model=True, # รองรับ native tool calling
    context_window=200000,         # 200K สำหรับโมเดลเครือข่าย
    max_tokens=8192,               # ขีดจำกัด output ผ่าน Gateway
)

response = llm.complete("อธิบายว่า RAG คืออะไร ในสามประโยค")
print(response)

ข้อสำคัญเกี่ยวกับ OpenAILike: ต้องระบุ is_chat_model=True มิฉะนั้น LlamaIndex จะไปที่ completion-endpoint ซึ่งเราไม่มี is_function_calling_model=True จะเปิดใช้งาน native tool calls ส่วน context_window ให้ตั้งค่าตามโมเดลเพื่อให้ LlamaIndex ตัดบริบทได้อย่างถูกต้อง

บทบาทคลาสสิกของ LlamaIndex คือการสร้างดัชนี (index) จากเอกสารของคุณและสอบถามผ่าน query_engine โดยกำหนด Global LLM ครั้งเดียวผ่าน Settings.llm หลังจากนั้นทั้ง pipeline จะใช้ Gonka โดยอัตโนมัติ

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM ผ่าน Gonka (กำหนดครั้งเดียวในระดับ global)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=200000,
    max_tokens=8192,
)

# 2. Local embeddings (ฟรี ไม่ผ่าน OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. โหลดและทำ indexing เอกสารจากโฟลเดอร์ ./data
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. สอบถามฐานความรู้
query_engine = index.as_query_engine()
response = query_engine.query("เอกสารนี้เกี่ยวกับอะไร?")
print(response)

ข้อควรระวังสำคัญเรื่อง embeddings: โดยปกติ VectorStoreIndex จะใช้ embeddings ของ OpenAI (text-embedding-ada-002) ซึ่งมีค่าใช้จ่ายแยกต่างหาก ไม่ได้ใช้ผ่าน Gonka เพื่อหลีกเลี่ยงการใช้ OpenAI โดยสิ้นเชิง ให้กำหนดโมเดล embeddings แบบ local ผ่าน Settings.embed_model (ตามตัวอย่างด้านบนคือ HuggingFaceEmbedding โดยใช้ pip install llama-index-embeddings-huggingface) ในกรณีนี้ การสร้างข้อความจะเป็นผ่าน Gonka และการแปลงข้อมูลเป็น vector จะทำแบบ local ฟรี

ค่าใช้จ่าย: หนึ่งคำขอ RAG pipeline (การค้นหา + การสร้างข้อความ) ใช้ประมาณ 2–5K tokens ของ LLM ผ่าน Gonka นี่คิดเป็นเพียงเศษเสี้ยวของเซนต์; ถ้าเทียบกับ OpenAI/Anthropic จะแพงกว่าถึง 3–4 เท่า หากต้องรับคำขอเป็นหลักพันต่อวัน ส่วนต่างนี้หมายถึงประหยัดได้หลายหมื่นดอลลาร์ต่อเดือน

แอปพลิเคชัน RAG ไม่ใช่แค่การแชทครั้งเดียว แต่เป็นกระแสข้อความต่อเนื่อง: ทุกคำถามของผู้ใช้ต้องใช้ LLM tokens ประมาณ 2–5K (รวมทั้งตัวคำถามและบริบทที่เกี่ยวข้อง) มาลองดูปริมาณการใช้งานทั่วไปและค่าใช้จ่ายของแต่ละผู้ให้บริการ โดยราคาของ Gonka ผ่าน JoinGonka Gateway อยู่ที่: ขาเข้า ~$0.003/1M, ขาออก ×3

คุณสามารถใช้ 10M tokens ฟรีเพื่อแก้ไขจุดบกพร่องของ RAG pipeline ทั้งหมด ทำ index ข้อมูลทดสอบ และทดสอบการเรียกใช้งานหลายพันครั้งโดยไม่เสียค่าใช้จ่ายแม้แต่เซ็นต์เดียว ในระดับ production, JoinGonka Gateway จะเปลี่ยนการใช้งาน RAG จากบริการที่มีราคาสูงให้กลายเป็นค่าใช้จ่ายที่แทบไม่รู้สึก

LlamaIndex ไม่เพียงแต่ตอบคำถามจากเอกสารได้ แต่ยังสามารถสร้างเอเจนต์ที่มีเครื่องมือต่างๆ ได้ด้วย โมเดล Gonka ทั้งสองรุ่นสนับสนุน native tool calling — เอเจนต์สามารถเรียกใช้งานฟังก์ชันได้อย่างมีโครงสร้างโดยไม่จำเป็นต้อง parsing ข้อความ ตัวอย่างเอเจนต์ที่มีเครื่องมือ:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=200000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """คูณตัวเลขสองจำนวน"""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="คุณคือผู้ช่วยที่มีประโยชน์ ใช้เครื่องมือสำหรับการคำนวณ",
)

async def main():
    result = await agent.run("1234 คูณ 5678 ได้เท่าไหร่?")
    print(result)

asyncio.run(main())

การเลือกโมเดล (ฟิลด์ model และขีดจำกัด context_window / max_tokens):

ขีดจำกัด max_tokens ผ่าน Gateway สูงสุดถึง 8192 สำหรับทุกโมเดลในเครือข่าย หากไม่ได้ระบุ max_tokens สำหรับคำขอแบบไม่ streaming โดยค่าเริ่มต้นจะส่งกลับสูงสุด 1500 tokens — สำหรับ RAG และการทำงานของเอเจนต์ ควรระบุค่านี้อย่างชัดเจน

TypeScript: สำหรับ LlamaIndex.TS มีเส้นทางเดียวกันคือคลาส OpenAI จากแพ็คเกจ @llamaindex/openai ที่รับ baseURL และ apiKey (หรืออ่านค่าจากตัวแปร OPENAI_BASE_URL / OPENAI_API_KEY) ดังนั้น Gateway เดียวกันนี้สามารถเชื่อมต่อใน Node.js stack ได้เช่นกัน หากคุณกำลังสร้าง AI แอพพลิเคชันบน Python framework สามารถดูคำแนะนำเพิ่มเติมได้ที่ LangChain