لاما انڈیکس + گونکا AI — RAG-ایپلی کیشنز صرف چند روپے میں

JoinGonka API کلید: gate.joingonka.ai/register پر رجسٹر ہوں — شروع میں ہم 10M مفت ٹوکنز دیتے ہیں — اور ڈیش بورڈ میں jg-xxx کلید بنائیں۔

انسٹالیشن:

pip install llama-index llama-index-llms-openai-like

کسی بھی OpenAI-مطابقت پذیر API کے لیے LlamaIndex llama_index.llms.openai_like پیکیج سے OpenAILike کلاس فراہم کرتا ہے۔ گونکا کو درخواست کی کم از کم مثال:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-آپ کی کلید",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    is_chat_model=True,            # گونکا ایک چیٹ اینڈ پوائنٹ ہے
    is_function_calling_model=True, # مقامی ٹول کالنگ سپورٹڈ ہے
    context_window=131072,         # Qwen3-235B میں 128K
    max_tokens=8192,               # گیٹ وے کے ذریعے آؤٹ پٹ کی حد (Qwen)
)

response = llm.complete("بتائیں RAG کیا ہے، تین جملوں میں۔")
print(response)

OpenAILike کے بارے میں اہم نکتہ: is_chat_model=True کو ضرور بتائیں — ورنہ LlamaIndex تکمیل اینڈ پوائنٹ پر جائے گا، جو ہمارے پاس نہیں ہے۔ is_function_calling_model=True مقامی ٹول کالز کو فعال کرتا ہے۔ context_window ماڈل کے مطابق مقرر کریں تاکہ LlamaIndex سیاق و سباق کو صحیح طریقے سے کاٹے۔

لاما انڈیکس کا کلاسک منظر — آپ کی دستاویزات پر انڈیکس اور query_engine کے ذریعے اس سے درخواستیں کرنا۔ عالمی LLM Settings.llm کے ذریعے ایک بار مقرر کیا جاتا ہے، اس کے بعد پوری پائپ لائن خود بخود گونکا کو استعمال کرتی ہے۔

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. Gonka کے ذریعے LLM (ایک بار — عالمی طور پر)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-آپ کی کلید",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    is_chat_model=True,
    context_window=131072,
    max_tokens=8192,
)

# 2. مقامی embeddings (مفت، بغیر OpenAI کے)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. ./data فولڈر سے دستاویزات کو لوڈ اور انڈیکس کرنا
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. علم کے ڈیٹا بیس کو درخواست
query_engine = index.as_query_engine()
response = query_engine.query("یہ دستاویز کس بارے میں ہے؟")
print(response)

ایمبیڈنگز کے بارے میں اہم نکتہ: بطور ڈیفالٹ VectorStoreIndex OpenAI ایمبیڈنگز (text-embedding-ada-002) استعمال کرتا ہے — یہ OpenAI کو الگ الگ ادا شدہ کالیں ہیں، گونکا کو نہیں ہیں۔ OpenAI سے مکمل طور پر چھٹکارا پانے کے لیے، Settings.embed_model کے ذریعے ایک مقامی ایمبیڈنگ ماڈل مقرر کریں (جیسا کہ اوپر کی مثال میں — HuggingFaceEmbedding، pip install llama-index-embeddings-huggingface پیکیج)۔ پھر جنریشن گونکا کے ذریعے ہوتی ہے، اور ویکٹرائزیشن — مقامی طور پر اور مفت۔

لاگت: RAG-پائپ لائن کی ایک درخواست (تلاش + جنریشن) ~2–5K LLM ٹوکنز استعمال کرتی ہے۔ گونکا کے ذریعے یہ سینٹ کے حصے میں ہے؛ OpenAI/Anthropic کے ذریعے — 3–4 گنا زیادہ مہنگا ہے۔ روزانہ ہزاروں درخواستوں کے بہاؤ پر فرق ماہانہ دسیوں ہزار ڈالر کی بچت میں بدل جاتا ہے۔

RAG-ایپلی کیشن ایک بار کی چیٹ نہیں ہے، بلکہ درخواستوں کا ایک مسلسل بہاؤ ہے: صارف کا ہر سوال 2–5K LLM ٹوکنز (خود سوال اور سیاق و سباق کے ملے ہوئے ٹکڑے) کو کھینچتا ہے۔ ہم عام مقداروں کا حساب لگائیں گے اور وہ مختلف فراہم کنندگان پر کتنے میں آتی ہیں۔ JoinGonka Gateway کے ذریعے Gonka کی قیمتیں: ان پٹ ~$0.0005/1M، آؤٹ پٹ ×3۔

10M مفت ٹوکنز پر آپ پوری RAG-پائپ لائن کو ٹھیک کر سکتے ہیں، ٹیسٹ کارپس کو انڈیکس کر سکتے ہیں اور ہزاروں درخواستیں چلا سکتے ہیں — اور ایک سینٹ بھی خرچ نہیں کریں گے۔ پروڈکشن کی مقدار پر JoinGonka Gateway RAG کو ایک مہنگی سروس سے اخراجات کی ایک ایسی آئٹم میں تبدیل کرتا ہے جسے بالکل ہی نظر انداز کیا جا سکتا ہے۔

لاما انڈیکس نہ صرف دستاویزات کے مطابق جواب دے سکتا ہے، بلکہ ٹولز کے ساتھ ایجنٹ بھی بنا سکتا ہے۔ گونکا کے تینوں ماڈلز مقامی ٹول کالنگ کو سپورٹ کرتے ہیں — ایجنٹ فنکشنز کو ساختہ طریقے سے کال کرتا ہے، ٹیکسٹ پارسنگ کے بغیر۔ ٹول کے ساتھ ایجنٹ کی مثال:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-آپ کی کلید",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=131072,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """دو نمبروں کو ضرب دیتا ہے۔"""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="آپ ایک مددگار اسسٹنٹ ہیں۔ حساب کتاب کے لیے آلات استعمال کریں۔",
)

async def main():
    result = await agent.run("1234 کو 5678 سے ضرب دینے پر کیا ہوگا؟")
    print(result)

asyncio.run(main())

ماڈل کا انتخاب (model فیلڈ اور متعلقہ حدیں context_window / max_tokens):

گیٹ وے کے ذریعے max_tokens کی حد — Qwen3 ماڈل پر 8192 تک؛ Kimi اور MiniMax کے لیے بالترتیب 3072 اور 4096 بتائیں۔ اگر نان-سٹریمنگ درخواست کے لیے max_tokens مقرر نہیں ہے، تو بطور ڈیفالٹ 1500 ٹوکنز تک واپس کیے جائیں گے — RAG-جوابات اور ایجنٹ کے مراحل کے لیے واضح طور پر قیمت مقرر کریں۔

TypeScript: LlamaIndex.TS کے لیے ایک آئینہ دار راستہ ہے — @llamaindex/openai پیکیج سے OpenAI کلاس baseURL اور apiKey کو قبول کرتی ہے (یا OPENAI_BASE_URL / OPENAI_API_KEY متغیرات کو پڑھتی ہے)، لہٰذا وہی گیٹ وے Node.js-اسٹیک میں بھی منسلک ہوتا ہے۔ اگر آپ پائتھون فریم ورکس پر بھی AI-ایپلی کیشنز بنا رہے ہیں، تو LangChain کے لیے گائیڈ بھی دیکھیں۔