LangChain + Gonka AI — Kuruşlarla Yapay Zeka Uygulamaları

Minimum örnek — LangChain'i Gonka'ya bağlama:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-anahtarınız",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("RAG nedir açıkla")
print(response.content)

Hepsi bu kadar. Üç satır kodla LangChain projeniz merkeziyetsiz Gonka ağı üzerinden çok düşük maliyetle çalışır.

Bağımlılıkların yüklenmesi:

pip install langchain langchain-openai

Öneri: max_tokens=8192 değerini açıkça belirtin — bu, ağdaki tüm modeller için JoinGonka Gateway üzerinden çıkış sınırıdır. Ağ modellerinin bağlam penceresi 200K token'dır — RAG pipeline'larında chunk_size ayarını yaparken bunu dikkate alın.

RAG (Retrieval-Augmented Generation), AI uygulamalarının en popüler desenidir. Belgeleri yüklersiniz, parçalara ayırırsınız, yerleştirmeler (embeddings) oluşturursunuz, ilgili parçaları ararsınız ve bağlamla birlikte bir yanıt üretirsiniz.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. Gonka üzerinden LLM
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-anahtarınız",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Belgeleri yükleme ve indeksleme
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vektör deposu (yerel, ücretsiz)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG zinciri
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Sorgu
result = qa.invoke("Bu belge ne hakkında?")
print(result["result"])

Maliyet: Bir RAG hattı sorgusu (retrieval + generation) ~2-5K LLM tokeni kullanır. Gonka üzerinden bu $0.00001-0.000024'tür. OpenAI üzerinden — $0.005-0.05. Fark 1.300 kat.

Günde binlerce sorguyu işleyen üretim sistemleri için tasarruf ayda on binlerce dolardır.

LangChain, araçlarla (tools) birlikte aracılar oluşturmanıza olanak sağlar. Kimi K2.6, yerel tool calling desteğine sahiptir — aracılar, metin yanıtlarını ayrıştırmaya gerek kalmadan güvenilir bir şekilde çalışır.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Matematiksel ifadeyi hesaplar."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """İnternette bilgi arar."""
    return f"Şunun için arama sonuçları: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "Sen yararlı bir asistansın."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "2**10 * 3.14 kaçtır?"})
print(result["output"])

Aracı calculator'ı çağırır, sonucu alır ve yanıtı oluşturur. Tüm döngü Gonka üzerinden ~$0.00005'tir. OpenAI ile $0.01-0.05. Binlerce kullanıcısı olan sistemler için bu on binlerce dolarlık bir farktır.