LangChain + Gonka AI — Kuruşlarla Yapay Zeka Uygulamaları

Minimum örnek – LangChain'i Gonka'ya bağlama:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-anahtarınız",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

response = llm.invoke("RAG nedir açıkla")
print(response.content)

Hepsi bu. Üç satır – ve LangChain projeniz merkeziyetsiz Gonka ağı üzerinden kuruşlarca çalışıyor.

Bağımlılıkların Kurulumu:

pip install langchain langchain-openai

Öneri: Açıkça max_tokens=2048 belirtin – bu JoinGonka Gateway üzerinden maksimumdur. Qwen3-235B'nin bağlam penceresi – 128K token – RAG işlem hatlarında chunk_size'ı ayarlarken bunu göz önünde bulundurun.

RAG (Retrieval-Augmented Generation), yapay zeka uygulamalarının en popüler kalıbıdır. Belgeleri yüklersiniz, parçalara ayırırsınız, embeddings oluşturursunuz, ilgili parçaları ararsınız ve bağlamla bir yanıt oluşturursunuz.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. Gonka aracılığıyla LLM
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-anahtarınız",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    streaming=True,
)

# 2. Belgelerin yüklenmesi ve indekslenmesi
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vektör deposu (yerel, ücretsiz)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG zinciri
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Sorgu
result = qa.invoke("Bu belge ne hakkında?")
print(result["result"])

Maliyet: Bir RAG boru hattı isteği (getirme + oluşturma) ~2-5K LLM token'ı kullanır. Gonka aracılığıyla bu $0.000002-0.000005'tir. OpenAI aracılığıyla ise $0.005-0.05'tir. Fark — 10.000x.

Günde binlerce isteği işleyen üretim sistemleri için, tasarruf ayda on binlerce doları bulur.

LangChain, araçlarla ajanlar oluşturmanıza olanak tanır. Qwen3-235B yerel tool calling'i destekler — ajanlar metin yanıtlarını ayrıştırmadan güvenilir bir şekilde çalışır.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-anahtarınız",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

@tool
def calculator(expression: str) -> str:
    """Matematiksel bir ifadeyi değerlendirir."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """İnternette bilgi arar."""
    return f"Arama sonuçları: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "Faydalı bir asistansın."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "2**10 * 3.14 kaç eder?"})
print(result["output"])

Ajan calculator'ü çağırır, sonucu alır ve yanıtı biçimlendirir. Tüm döngü Gonka aracılığıyla ~$0.00001'e mal olur. OpenAI aracılığıyla ise $0.01-0.05'tir. Binlerce kullanıcısı olan sistemler için bu, on binlerce dolarlık bir fark yaratır.