LangChain + Gonka AI — Aplikasi AI dengan Biaya Rendah

Contoh minimal — menghubungkan LangChain ke Gonka:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-YOUR-KEY",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

response = llm.invoke("Jelaskan apa itu RAG")
print(response.content)

Itu saja. Tiga baris — dan proyek LangChain Anda berjalan melalui jaringan terdesentralisasi Gonka dengan biaya sangat murah.

Instalasi dependensi:

pip install langchain langchain-openai

Rekomendasi: secara eksplisit tentukan max_tokens=2048 — ini adalah maksimum melalui JoinGonka Gateway. Jendela konteks Qwen3-235B — 128K token — perhatikan hal ini saat mengonfigurasi chunk_size di pipeline RAG.

RAG (Retrieval-Augmented Generation) — pola aplikasi AI yang paling populer. Unggah dokumen, pecah menjadi potongan, buat embedding, cari fragmen yang relevan, dan hasilkan jawaban dengan konteks.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM melalui Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    streaming=True,
)

# 2. Mengunggah dan mengindeks dokumen
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Penyimpanan vektor (lokal, gratis)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. Rantai RAG
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Permintaan
result = qa.invoke("Tentang apa dokumen ini?")
print(result["result"])

Biaya: satu permintaan pipeline RAG (retrieval + generation) menggunakan ~2-5K token LLM. Melalui Gonka, ini adalah $0.000002-0.000005. Melalui OpenAI — $0.005-0.05. Perbedaannya — 10.000x.

Untuk sistem produksi yang memproses ribuan permintaan per hari, penghematan mencapai puluhan ribu dolar per bulan.

LangChain memungkinkan Anda membuat agen dengan alat (tools). Qwen3-235B mendukung tool calling asli — agen berfungsi dengan andal, tanpa mengurai respons teks.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

@tool
def calculator(expression: str) -> str:
    """Menghitung ekspresi matematika."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Mencari informasi di internet."""
    return f"Hasil pencarian untuk: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "Anda adalah asisten yang bermanfaat."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "Berapa 2**10 * 3.14?"})
print(result["output"])

Agen memanggil calculator, mendapatkan hasil dan membentuk respons. Seluruh siklus berharga ~$0.00001 melalui Gonka. Melalui OpenAI — $0.01-0.05. Untuk sistem dengan ribuan pengguna, ini adalah perbedaan puluhan ribu dolar.