LangChain + Gonka AI — Kuruşlarla Yapay Zeka Uygulamaları

Minimum örnek — LangChain'i Gonka'ya bağlama:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-anahtarınız",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("RAG nedir açıkla")
print(response.content)

Hepsi bu kadar. Üç satır kodla LangChain projeniz merkeziyetsiz Gonka ağı üzerinden çok düşük maliyetle çalışır.

Bağımlılıkların yüklenmesi:

pip install langchain langchain-openai

Öneri: max_tokens=8192 değerini açıkça belirtin — bu, ağdaki tüm modeller için JoinGonka Gateway üzerinden çıkış sınırıdır. Ağ modellerinin bağlam penceresi 200K token'dır — RAG pipeline'larında chunk_size ayarını yaparken bunu dikkate alın.

RAG (Retrieval-Augmented Generation), yapay zeka uygulamalarının en popüler desenidir. Belgeleri yüklersiniz, parçalara bölersiniz (chunk), embedding oluşturursunuz, ilgili parçaları ararsınız ve bağlam ile yanıt üretirsiniz.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. Gonka üzerinden LLM
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Belge yükleme ve indeksleme
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vektör deposu (yerel, ücretsiz)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG-zinciri
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Sorgu
result = qa.invoke("Bu belge ne hakkında?")
print(result["result"])

Maliyet: Bir RAG boru hattı sorgusu (retrieval + generation) ~2-5K LLM tokeni kullanır. Gonka ile bu $0.00001-0.000024'tür. OpenAI ile ise $0.005-0.05. Aradaki fark 2,000 kattır.

Günde binlerce sorgu işleyen üretim sistemleri için tasarruf, ayda on binlerce doları bulur.

LangChain, araçlarla (tools) birlikte aracılar oluşturmanıza olanak sağlar. Kimi K2.6, yerel tool calling desteğine sahiptir — aracılar, metin yanıtlarını ayrıştırmaya gerek kalmadan güvenilir bir şekilde çalışır.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Matematiksel ifadeyi hesaplar."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """İnternette bilgi arar."""
    return f"Şunun için arama sonuçları: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "Sen yararlı bir asistansın."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "2**10 * 3.14 kaçtır?"})
print(result["output"])

Aracı calculator'ı çağırır, sonucu alır ve yanıtı oluşturur. Tüm döngü Gonka üzerinden ~$0.00005'tir. OpenAI ile $0.01-0.05. Binlerce kullanıcısı olan sistemler için bu on binlerce dolarlık bir farktır.