LlamaIndex + Gonka AI - تطبيقات RAG بتكلفة زهيدة

API-key خاص بـ JoinGonka: سجّل في gate.joingonka.ai/register — نقدم لك 10M توكن مجاني عند البدء — وأنشئ مفتاح jg-xxx من لوحة التحكم.

التثبيت:

pip install llama-index llama-index-llms-openai-like

بالنسبة لأي API متوافق مع OpenAI، يوفر LlamaIndex فئة OpenAILike من حزمة llama_index.llms.openai_like. مثال مبسط لطلب إلى Gonka:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka هو chat-endpoint
    is_function_calling_model=True, # دعم native tool calling موجود
    context_window=200000,         # 200K لنماذج الشبكة
    max_tokens=8192,               # حد المخرجات عبر البوابة
)

response = llm.complete("اشرح ما هو RAG في ثلاث جمل.")
print(response)

ملاحظة هامة حول OpenAILike: تأكد من تعيين is_chat_model=True — وإلا فسيتجه LlamaIndex إلى completion-endpoint غير متوفر لدينا. الخاصية is_function_calling_model=True تفعّل native tool calls. قم بتعيين context_window حسب النموذج لضمان أن يقوم LlamaIndex بتقسيم السياق بشكل صحيح.

سيناريو LlamaIndex التقليدي هو بناء فهرس من مستنداتك واستخدام query_engine. يتم تعيين LLM العالمي مرة واحدة عبر Settings.llm، ومن ثم يستخدم خط المعالجة (pipeline) Gonka تلقائياً.

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM عبر Gonka (مرة واحدة — عالمياً)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=200000,
    max_tokens=8192,
)

# 2. تضمينات محلية (محلياً، بدون OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. تحميل وفهرسة المستندات من مجلد ./data
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. الاستعلام من قاعدة المعرفة
query_engine = index.as_query_engine()
response = query_engine.query("عن ماذا يتحدث هذا المستند؟")
print(response)

تفاصيل حساسة حول التضمينات (embeddings): افتراضياً، يستخدم VectorStoreIndex تضمينات OpenAI (text-embedding-ada-002) — وهي مكالمات مدفوعة منفصلة لـ OpenAI وليست لـ Gonka. للتخلص تماماً من OpenAI، حدد نموذج تضمين محلي عبر Settings.embed_model (كما في المثال أعلاه — HuggingFaceEmbedding، حزمة pip install llama-index-embeddings-huggingface). حينها يتم التوليد عبر Gonka، والتحويل إلى متجه يتم محلياً ومجاناً.

التكلفة: طلب واحد لـ RAG-pipeline (بحث + توليد) يستهلك حوالي ~2–5K من توكنات LLM. عبر Gonka، هذا يكلف كسراً من السنت؛ مقابل OpenAI/Anthropic — التكلفة أعلى بـ 3–4 مراتب. في حجم عمل بآلاف الطلبات يومياً، الفرق يتحول إلى عشرات الآلاف من الدولارات توفيراً شهرياً.

تطبيقات RAG ليست مجرد دردشة لمرة واحدة، بل هي تدفق مستمر للطلبات: كل سؤال من المستخدم يستهلك 2–5K من الـ LLM tokens (السؤال نفسه بالإضافة إلى مقاطع السياق المكتشفة). دعنا نحسب الحجوم النموذجية والتكاليف لدى مزودين مختلفين. أسعار Gonka عبر JoinGonka Gateway: الدخل ~$0.003/1M، المخرج ×3.

مع 10M توكن مجانية، يمكنك تنقيح مسار RAG بالكامل، وفهرسة المجموعة التجريبية، وتشغيل آلاف الطلبات — دون صرف سنت واحد. في بيئات الإنتاج، تُحول JoinGonka Gateway نظام RAG من خدمة باهظة الثمن إلى بند مصاريف لا يلاحظ.

لا تقتصر قدرات LlamaIndex على الإجابة من المستندات فحسب، بل يمكنه بناء وكلاء (agents) بأدوات. كلا نموذجي Gonka يدعمان native tool calling — حيث تستخدم الوكلاء الوظائف بطريقة منظمة دون الحاجة لتحليل النص. مثال لوكيل مع أداة:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=200000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """نضرب رقمين."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="أنت مساعد مفيد. استخدم الأدوات للقيام بالحسابات.",
)

async def main():
    result = await agent.run("كم حاصل ضرب 1234 في 5678؟")
    print(result)

asyncio.run(main())

اختيار النموذج (حقل model والحدود المقابلة context_window / max_tokens):

حد max_tokens عبر البوابة يصل إلى 8192 لجميع نماذج الشبكة. إذا لم يتم تحديد max_tokens للطلب غير المشفر (non-streaming)، فسيتم إرجاع 1500 توكن افتراضياً — بالنسبة لإجابات RAG وخطوات الوكيل، حدد القيمة صراحة.

TypeScript: بالنسبة لـ LlamaIndex.TS، المسار متماثل — فئة OpenAI من حزمة @llamaindex/openai تقبل baseURL و apiKey (أو تقرأ المتغيرات OPENAI_BASE_URL / OPENAI_API_KEY)، لذا يمكن وصل نفس البوابة في Node.js stack. إذا كنت تبني تطبيقات AI على أطر عمل Python، ألقِ نظرة أيضاً على دليل LangChain.