LangChain + Gonka AI — Aplikasi AI dengan Biaya Rendah

Contoh minimal — menghubungkan LangChain ke Gonka:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-kunci-anda",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("Jelaskan apa itu RAG")
print(response.content)

Itu saja. Tiga baris — dan proyek LangChain Anda berjalan melalui jaringan terdesentralisasi Gonka dengan biaya yang sangat murah.

Instalasi dependensi:

pip install langchain langchain-openai

Rekomendasi: tentukan secara eksplisit max_tokens=8192 — ini adalah batas output melalui JoinGonka Gateway untuk semua model di jaringan. Jendela konteks model jaringan adalah 200K token — perhatikan ini saat mengatur chunk_size di pipeline RAG.

RAG (Retrieval-Augmented Generation) adalah pola aplikasi AI paling populer. Anda memuat dokumen, memecahnya menjadi potongan (chunks), membuat embedding, mencari fragmen yang relevan, dan menghasilkan jawaban dengan konteks.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM melalui Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Memuat dan mengindeks dokumen
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Penyimpanan Vektor (lokal, gratis)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG-chain
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Permintaan
result = qa.invoke("Apa isi dokumen ini?")
print(result["result"])

Biaya: satu permintaan RAG-pipeline (retrieval + generation) menggunakan ~2-5K token LLM. Melalui Gonka, ini hanya $0.00001-0.000024. Melalui OpenAI — $0.005-0.05. Perbedaannya 2,000x.

Untuk sistem produksi yang memproses ribuan permintaan sehari, penghematan yang didapat mencapai puluhan ribu dolar per bulan.

LangChain memungkinkan pembuatan agen dengan alat (tools). Kimi K2.6 mendukung tool calling asli (native) — agen bekerja dengan andal, tanpa perlu melakukan parsing jawaban teks.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Menghitung ekspresi matematika."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Mencari informasi di internet."""
    return f"Hasil pencarian untuk: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "Anda adalah asisten yang bermanfaat."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "Berapa hasil dari 2**10 * 3.14?"})
print(result["output"])

Agen memanggil calculator, mendapatkan hasil, lalu menyusun jawaban. Seluruh siklus memakan biaya ~$0.00005 melalui Gonka. Melalui OpenAI — $0.01-0.05. Untuk sistem dengan ribuan pengguna, ini adalah perbedaan puluhan ribu dolar.