LlamaIndex + Gonka AI - تطبيقات RAG بتكلفة زهيدة

مفتاح API لـ JoinGonka: سجل في gate.joingonka.ai/register — نمنح 3M توكن مجانية عند البدء — وقم بإنشاء مفتاح jg-xxx في Dashboard.

التثبيت:

pip install llama-index llama-index-llms-openai-like

لأي API متوافق مع OpenAI، يوفر LlamaIndex فئة OpenAILike من حزمة llama_index.llms.openai_like. مثال مصغر لطلب إلى Gonka:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-مفتاحك",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka — هو chat-endpoint
    is_function_calling_model=True, # يدعم native tool calling
    context_window=200000,         # 200K لنماذج الشبكة
    max_tokens=8192,               # سقف المخرجات عبر Gateway
)

response = llm.complete("اشرح ما هو RAG في ثلاث جمل.")
print(response)

هام حول OpenAILike: تأكد من تحديد is_chat_model=True — وإلا سينتقل LlamaIndex إلى completion-endpoint، وهو غير موجود لدينا. is_function_calling_model=True يفعل الـ native tool calls. حدد context_window حسب النموذج ليقوم LlamaIndex بتقطيع السياق بشكل صحيح.

سيناريو LlamaIndex التقليدي هو بناء فهرس من مستنداتك واستخدام query_engine. يتم تعيين LLM العالمي مرة واحدة عبر Settings.llm، ومن ثم يستخدم خط المعالجة (pipeline) Gonka تلقائياً.

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM عبر Gonka (مرة واحدة — عالمياً)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=200000,
    max_tokens=8192,
)

# 2. تضمينات محلية (محلياً، بدون OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. تحميل وفهرسة المستندات من مجلد ./data
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. الاستعلام من قاعدة المعرفة
query_engine = index.as_query_engine()
response = query_engine.query("عن ماذا يتحدث هذا المستند؟")
print(response)

تفاصيل حساسة حول التضمينات (embeddings): افتراضياً، يستخدم VectorStoreIndex تضمينات OpenAI (text-embedding-ada-002) — وهي مكالمات مدفوعة منفصلة لـ OpenAI وليست لـ Gonka. للتخلص تماماً من OpenAI، حدد نموذج تضمين محلي عبر Settings.embed_model (كما في المثال أعلاه — HuggingFaceEmbedding، حزمة pip install llama-index-embeddings-huggingface). حينها يتم التوليد عبر Gonka، والتحويل إلى متجه يتم محلياً ومجاناً.

التكلفة: طلب واحد لـ RAG-pipeline (بحث + توليد) يستهلك حوالي ~2–5K من توكنات LLM. عبر Gonka، هذا يكلف كسراً من السنت؛ مقابل OpenAI/Anthropic — التكلفة أعلى بـ 3–4 مراتب. في حجم عمل بآلاف الطلبات يومياً، الفرق يتحول إلى عشرات الآلاف من الدولارات توفيراً شهرياً.

تطبيقات RAG ليست محادثة لمرة واحدة، بل تدفق مستمر من الطلبات: كل سؤال من المستخدم يستهلك 2–5K توكن LLM (السؤال نفسه بالإضافة إلى أجزاء السياق المستخرجة). لنحسب الأحجام النموذجية والتكاليف عبر مزودين مختلفين. أسعار Gonka عبر JoinGonka Gateway: الدخل ~$0.0069/1M، الخرج ×3.

بفضل الـ 3M توكن المجانية، يمكنك تشغيل طلبات RAG الأولى، وفهرسة عينات البيانات، وتشغيل آلاف الطلبات — دون إنفاق سنت واحد. في أحجام الـ production، يحول JoinGonka Gateway خدمة RAG من خدمة باهظة إلى مصروف يمكن تجاهله تمامًا.

لا تقتصر قدرة LlamaIndex على الإجابة من خلال الوثائق فحسب، بل يمكنه أيضاً بناء وكلاء (agents) باستخدام أدوات. جميع نماذج Gonka الثلاثة تدعم الـ tool calling الأصلي — حيث يستدعي الوكلاء الوظائف بطريقة منظمة دون تحليل النص. مثال لوكيل مع أداة:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=200000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """ضرب رقمين."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="أنت مساعد مفيد. استخدم الأدوات للقيام بالحسابات.",
)

async def main():
    result = await agent.run("كم يساوي 1234 ضرب 5678؟")
    print(result)

asyncio.run(main())

اختيار النموذج (حقل model والحدود المقابلة context_window / max_tokens):

الحد max_tokens عبر Gateway — يصل إلى 8192 لـ MiniMax M2.7 و GLM-5.3 Flash، ويصل إلى 32768 لـ DeepSeek V4 Flash. إذا لم يتم تحديد max_tokens لطلب غير متدفق (non-streaming)، فسيتم إرجاع ما يصل إلى 1500 رمز افتراضياً — بالنسبة لإجابات RAG وخطوات الوكيل، حدد القيمة بوضوح.

TypeScript: بالنسبة لـ LlamaIndex.TS، هناك مسار مطابق — فئة OpenAI من حزمة @llamaindex/openai تقبل baseURL و apiKey (أو تقرأ متغيرات OPENAI_BASE_URL / OPENAI_API_KEY)، لذا يمكن توصيل نفس Gateway في بيئة Node.js أيضاً. إذا كنت تبني تطبيقات AI باستخدام أطر عمل Python، ألقِ نظرة أيضاً على دليل LangChain.