لاما انڈیکس + گونکا AI — RAG-ایپلی کیشنز صرف چند روپے میں

JoinGonka API کلید: gate.joingonka.ai/register پر رجسٹر کریں — آغاز پر ہم 3M مفت ٹوکنز دیتے ہیں — اور Dashboard میں jg-xxx کلید بنائیں۔

انسٹالیشن:

pip install llama-index llama-index-llms-openai-like

کسی بھی OpenAI کے ساتھ مطابقت رکھنے والی API کے لیے LlamaIndex llama_index.llms.openai_like پیکیج سے OpenAILike کلاس فراہم کرتا ہے۔ Gonka پر درخواست کی کم سے کم مثال:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka is a chat endpoint
    is_function_calling_model=True, # native tool calling is supported
    context_window=180000,         # MiniMax M2.7 context window
    max_tokens=8192,               # Gateway output cap
)

response = llm.complete("Explain what RAG is in three sentences.")
print(response)

OpenAILike کے بارے میں اہم بات: لازمی طور پر is_chat_model=True دیں — ورنہ LlamaIndex گفتگو کے بجائے خام پرامپٹ لے کر پرانے Completions اینڈپوائنٹ پر چلا جائے گا۔ is_function_calling_model=True نیٹو tool calls کو فعال کرتا ہے۔ context_window ماڈل کے مطابق مقرر کریں تاکہ LlamaIndex کانٹیکسٹ کو درست طریقے سے تقسیم کر سکے۔

LlamaIndex کا کلاسیکی منظر — آپ کی دستاویزات پر ایک انڈیکس اور query_engine کے ذریعے اس پر کوئریز۔ گلوبل LLM ایک بار Settings.llm کے ذریعے سیٹ ہوتا ہے، پھر پورا پائپ لائن خودکار طور پر Gonka استعمال کرتا ہے۔

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM via Gonka (set once, globally)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=180000,
    max_tokens=8192,
)

# 2. Local embeddings (free, no OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. Load and index documents from the ./data folder
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. Query the knowledge base
query_engine = index.as_query_engine()
response = query_engine.query("What is this document about?")
print(response)

ایمبیڈنگز کے بارے میں ایک اہم نکتہ: بطور ڈیفالٹ VectorStoreIndex OpenAI کی ایمبیڈنگز (text-embedding-ada-002) استعمال کرتا ہے — یہ OpenAI کو الگ قابلِ ادا کالز ہیں، Gonka کو نہیں۔ OpenAI سے مکمل چھٹکارے کے لیے Settings.embed_model کے ذریعے ایک لوکل ایمبیڈنگ ماڈل سیٹ کریں (جیسا کہ اوپر کی مثال میں — HuggingFaceEmbedding، پیکیج pip install llama-index-embeddings-huggingface)۔ تب جنریشن Gonka کے ذریعے چلے گی، اور ویکٹرائزیشن لوکل اور مفت ہوگی۔

لاگت: ایک RAG پائپ لائن کوئری (سرچ + جنریشن) تقریباً 2–5K LLM ٹوکنز خرچ کرتی ہے۔ Gonka کے ذریعے یہ سینٹ کا کچھ حصہ ہے؛ OpenAI/Anthropic کے ذریعے 3–4 آرڈرز زیادہ مہنگی۔ روزانہ ہزاروں کوئریز کے بہاؤ پر یہ فرق ماہانہ دسیوں ہزار ڈالر کی بچت میں بدل جاتا ہے۔

RAG ایپلیکیشن کوئی ایک بار کا چیٹ نہیں، بلکہ درخواستوں کا ایک مستقل سلسلہ ہے: صارف کا ہر سوال اپنے ساتھ 2–5K ٹوکنز LLM لاتا ہے (سوال خود اور ملنے والے کانٹیکسٹ کے اقتباسات)۔ آئیے عام مقداروں اور مختلف پرووائیڈرز پر ان کی لاگت کا حساب لگاتے ہیں۔ JoinGonka Gateway کے ذریعے Gonka کی قیمتیں: ان پٹ ~$0.0062/1M، آؤٹ پٹ ×3۔

مفت 3M ٹوکنز پر RAG پائپ لائن کی پہلی درخواستیں چلائی جا سکتی ہیں، ایک ٹیسٹ کارپس انڈیکس کیا جا سکتا ہے اور ہزاروں درخواستیں چلائی جا سکتی ہیں — اور ایک پیسہ بھی خرچ نہیں ہوگا۔ Production مقداروں پر JoinGonka Gateway RAG کو ایک مہنگی سروس سے ایک ایسی لاگت میں تبدیل کر دیتا ہے جسے مکمل طور پر نظر انداز کیا جا سکتا ہے۔

LlamaIndex صرف دستاویزات کی بنیاد پر جواب دینا ہی نہیں جانتا، بلکہ ٹولز کے ساتھ ایجنٹس بھی بنا سکتا ہے۔ Gonka کے تینوں ماڈلز نیٹو tool calling کی سہولت دیتے ہیں — ایجنٹس ٹیکسٹ پارس کیے بغیر منظم انداز میں فنکشنز کال کرتے ہیں۔ ٹول کے ساتھ ایک ایجنٹ کی مثال:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=180000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """Multiplies two numbers."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="You are a helpful assistant. Use the tools for calculations.",
)

async def main():
    result = await agent.run("What is 1234 multiplied by 5678?")
    print(result)

asyncio.run(main())

ماڈل کا انتخاب (model فیلڈ اور متعلقہ context_window / max_tokens حدود):

Gateway کے ذریعے max_tokens کی حد — MiniMax M2.7 اور GLM-5.3 Flash کے لیے 8192 تک، DeepSeek V4 Flash کے لیے 32768 تک۔ اگر نان اسٹریمنگ درخواست میں max_tokens سیٹ نہ ہو تو بطور ڈیفالٹ 1500 ٹوکنز تک واپس آتا ہے — RAG جوابات اور ایجنٹ مراحل کے لیے قدر واضح طور پر دیں۔

TypeScript: LlamaIndex.TS کے لیے متوازی راستہ موجود ہے — @llamaindex/openai پیکیج کی OpenAI کلاس baseURL اور apiKey وصول کرتی ہے (یا OPENAI_BASE_URL / OPENAI_API_KEY ویری ایبلز پڑھتی ہے)، لہٰذا وہی Gateway Node.js اسٹیک میں بھی جڑ جاتا ہے۔ اگر آپ Python فریم ورکس پر بھی AI ایپلیکیشنز بناتے ہیں تو LangChain گائیڈ بھی دیکھیں۔