LlamaIndex + Gonka AI — RAG uygulamaları kuruşa

JoinGonka API anahtarı: gate.joingonka.ai/register adresinden kaydolun — başlangıçta 3M ücretsiz token veriyoruz — ve Dashboard'da jg-xxx anahtarını oluşturun.

Kurulum:

pip install llama-index llama-index-llms-openai-like

Herhangi bir OpenAI uyumlu API için LlamaIndex, llama_index.llms.openai_like paketindeki OpenAILike sınıfını sunar. Gonka'ya minimal bir istek örneği:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka is a chat endpoint
    is_function_calling_model=True, # native tool calling is supported
    context_window=180000,         # MiniMax M2.7 context window
    max_tokens=8192,               # Gateway output cap
)

response = llm.complete("Explain what RAG is in three sentences.")
print(response)

OpenAILike hakkında önemli not: mutlaka is_chat_model=True belirtin — aksi halde LlamaIndex diyalog yerine ham prompt ile eski Completions endpoint'ine gider. is_function_calling_model=True yerel tool call'ları etkinleştirir. context_window değerini modele göre ayarlayın ki LlamaIndex bağlamı doğru şekilde bölsün.

Klasik LlamaIndex senaryosu — belgeleriniz üzerinde bir dizin ve query_engine üzerinden ona yapılan sorgular. Global LLM bir kez Settings.llm ile tanımlanır, sonrasında tüm pipeline otomatik olarak Gonka'yı kullanır.

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM via Gonka (set once, globally)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=180000,
    max_tokens=8192,
)

# 2. Local embeddings (free, no OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. Load and index documents from the ./data folder
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. Query the knowledge base
query_engine = index.as_query_engine()
response = query_engine.query("What is this document about?")
print(response)

Embedding'lerle ilgili kritik bir nokta: Varsayılan olarak VectorStoreIndex OpenAI embedding'lerini (text-embedding-ada-002) kullanır — bunlar Gonka'ya değil, OpenAI'ye yapılan ayrı ücretli çağrılardır. OpenAI'den tamamen kurtulmak için Settings.embed_model üzerinden yerel bir embedding modeli tanımlayın (yukarıdaki örnekte olduğu gibi — HuggingFaceEmbedding, paket pip install llama-index-embeddings-huggingface). Böylece üretim Gonka üzerinden, vektörleştirme ise yerel ve ücretsiz gerçekleşir.

Maliyet: Bir RAG pipeline sorgusu (arama + üretim) ~2–5K LLM tokenı harcar. Gonka üzerinden bu bir sentin altında; OpenAI/Anthropic üzerinden ise 3–4 kat daha pahalı. Günde binlerce sorguluk bir trafikte bu fark ayda on binlerce dolarlık tasarrufa dönüşür.

Bir RAG uygulaması tek seferlik bir sohbet değil, sürekli bir istek akışıdır: Her kullanıcı sorusu beraberinde 2–5K LLM token'ı getirir (sorunun kendisi artı bulunan bağlam parçaları). Tipik hacimleri ve bunların farklı sağlayıcılarda neye mal olduğunu hesaplayalım. JoinGonka Gateway üzerinden Gonka fiyatları: giriş ~$0.0062/1M, çıkış ×3.

Ücretsiz 3M token'la RAG hattının ilk isteklerini çalıştırabilir, bir test korpusunu indeksleyebilir ve binlerce istek gönderebilirsiniz — tek kuruş harcamadan. Production hacimlerinde JoinGonka Gateway, RAG'ı pahalı bir hizmet olmaktan çıkarıp farkına bile varılmayan bir gider kalemine dönüştürür.

LlamaIndex yalnızca belgelere göre yanıt vermekle kalmaz, araçlarla ajanlar da kurabilir. Üç Gonka modeli de yerel tool calling destekler — ajanlar fonksiyonları yapılandırılmış biçimde çağırır, metin ayrıştırmaya gerek kalmaz. Bir araçla ajan örneği:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=180000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """Multiplies two numbers."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="You are a helpful assistant. Use the tools for calculations.",
)

async def main():
    result = await agent.run("What is 1234 multiplied by 5678?")
    print(result)

asyncio.run(main())

Model seçimi (model alanı ve karşılık gelen context_window / max_tokens limitleri):

Gateway üzerinden max_tokens limiti MiniMax M2.7 ve GLM-5.3 Flash için 8192'ye, DeepSeek V4 Flash için 32768'e kadar çıkar. Streaming olmayan bir istekte max_tokens belirtilmezse varsayılan olarak 1500 tokena kadar döner — RAG yanıtları ve ajan adımları için değeri açıkça belirtin.

TypeScript: LlamaIndex.TS için ayna niteliğinde bir yol var — @llamaindex/openai paketindeki OpenAI sınıfı baseURL ve apiKey kabul eder (veya OPENAI_BASE_URL / OPENAI_API_KEY değişkenlerini okur), böylece aynı Gateway Node.js yığınına da bağlanır. Yapay zeka uygulamalarını Python çerçeveleriyle de geliştiriyorsanız LangChain rehberine de göz atın.