LlamaIndex + Gonka AI - تطبيقات RAG بتكلفة زهيدة

مفتاح API الخاص بـ JoinGonka: سجّل على gate.joingonka.ai/register — نمنحك في البداية 3M توكن مجاني — ثم أنشئ مفتاحًا jg-xxx في لوحة التحكم.

التثبيت:

pip install llama-index llama-index-llms-openai-like

لأي API متوافق مع OpenAI، يوفّر LlamaIndex الفئة OpenAILike من الحزمة llama_index.llms.openai_like. مثال أدنى لطلب إلى Gonka:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka is a chat endpoint
    is_function_calling_model=True, # native tool calling is supported
    context_window=180000,         # MiniMax M2.7 context window
    max_tokens=8192,               # Gateway output cap
)

response = llm.complete("Explain what RAG is in three sentences.")
print(response)

مهم بشأن OpenAILike: يجب تحديد is_chat_model=True — وإلا سيتجه LlamaIndex إلى نقطة نهاية Completions القديمة برومبت خام بدل المحادثة. يفعّل is_function_calling_model=True استدعاءات الأدوات الأصلية. حدّد context_window حسب الموديل حتى يجزّئ LlamaIndex السياق بشكل صحيح.

السيناريو الكلاسيكي في LlamaIndex هو بناء فهرس لمستنداتك ثم الاستعلام عنه عبر query_engine. يُضبط نموذج LLM العام مرة واحدة عبر Settings.llm، وبعد ذلك يستخدم خط المعالجة بأكمله Gonka تلقائيًا.

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM via Gonka (set once, globally)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=180000,
    max_tokens=8192,
)

# 2. Local embeddings (free, no OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. Load and index documents from the ./data folder
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. Query the knowledge base
query_engine = index.as_query_engine()
response = query_engine.query("What is this document about?")
print(response)

نقطة بالغة الأهمية بخصوص الـ embeddings: بشكل افتراضي يستخدم VectorStoreIndex نماذج embeddings الخاصة بـ OpenAI (text-embedding-ada-002) — وهي استدعاءات مدفوعة منفصلة تذهب إلى OpenAI وليس إلى Gonka. للتحرر تمامًا من OpenAI، اضبط نموذج embeddings محليًا عبر Settings.embed_model (كما في المثال أعلاه — HuggingFaceEmbedding، الحزمة pip install llama-index-embeddings-huggingface). عندها يمر التوليد عبر Gonka، بينما يتم الترميز المتجهي محليًا وبالمجان.

التكلفة: الاستعلام الواحد في خط معالجة RAG (بحث + توليد) يستهلك ~2–5K توكن من LLM. عبر Gonka لا يكلف سوى أجزاء من السنت؛ أما عبر OpenAI/Anthropic فالأمر يزيد بأضعاف مضاعفة بأربع مراتب من حيث التكلفة. ومع تدفق بآلاف الاستعلامات يوميًا، يتحول هذا الفارق إلى عشرات الآلاف من الدولارات التي تُوفَّر شهريًا.

تطبيق RAG ليس محادثة عابرة، بل تدفق مستمر من الطلبات: كل سؤال من المستخدم يجرّ خلفه 2–5K توكن من LLM (السؤال نفسه زائد المقاطع السياقية المسترجعة). لنحسب الأحجام النموذجية وكلفتها لدى مختلف المزودين. أسعار Gonka عبر JoinGonka Gateway: الإدخال ~$0.0062/1M، والإخراج ×3.

مع 3M توكن مجانية، يمكنك تشغيل الطلبات الأولى من خط أنابيب RAG، وفهرسة مجموعة نصوص تجريبية، وتنفيذ آلاف الاستعلامات — دون إنفاق سنت واحد. وعلى أحجام production، يحوّل JoinGonka Gateway تطبيقات RAG من خدمة باهظة إلى بند مصروفات قد لا تلاحظه أصلًا.

LlamaIndex لا يكتفي بالإجابة استنادًا إلى المستندات فحسب، بل يبني أيضًا وكلاء مزودين بأدوات. تدعم نماذج Gonka الثلاثة استدعاء الأدوات الأصلي — حيث يستدعي الوكلاء الدوال بطريقة منظمة دون تحليل نصي. إليك مثالاً على وكيل مزود بأداة:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=180000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """Multiplies two numbers."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="You are a helpful assistant. Use the tools for calculations.",
)

async def main():
    result = await agent.run("What is 1234 multiplied by 5678?")
    print(result)

asyncio.run(main())

اختيار النموذج (حقل model والحدود المقابلة context_window / max_tokens):

حد max_tokens عبر Gateway — حتى 8192 لـ MiniMax M2.7 وGLM-5.3 Flash، وحتى 32768 لـ DeepSeek V4 Flash. إذا لم يُضبط max_tokens في طلب غير متدفق (non-streaming)، فإن الافتراضي هو إرجاع ما يصل إلى 1500 توكن — لذا احرص على ضبط القيمة صراحةً لإجابات RAG وخطوات الوكلاء.

TypeScript: بالنسبة لـ LlamaIndex.TS يوجد مسار مكافئ — فصنف OpenAI من حزمة @llamaindex/openai يقبل baseURL وapiKey (أو يقرأ المتغيرين OPENAI_BASE_URL / OPENAI_API_KEY)، بحيث يمكن توصيل الـ Gateway نفسه في بيئة Node.js. وإذا كنت تبني تطبيقات ذكاء اصطناعي على أطر عمل Python أيضًا، فاطّلع على دليل LangChain.