LangChain + Gonka AI — AI-додатки за копійки

Мінімальний приклад — підключення LangChain до Gonka:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

response = llm.invoke("Объясни что такое RAG")
print(response.content)

Це все. Три рядки — і ваш LangChain-проект працює через децентралізовану мережу Gonka за копійки.

Встановлення залежностей:

pip install langchain langchain-openai

Рекомендація: явно вказуйте max_tokens=2048 — це максимум через JoinGonka Gateway. Контекстне вікно Qwen3-235B — 128K токенів — враховуйте це при налаштуванні chunk_size у RAG-пайплайнах.

RAG (Retrieval-Augmented Generation) — найпопулярніший патерн AI-додатків. Завантажуєте документи, розбиваєте на чанки, створюєте ембединги, шукаєте релевантні фрагменти та генеруєте відповідь з контекстом.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM через Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
    streaming=True,
)

# 2. Завантаження та індексація документів
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Векторне сховище (локальне, безкоштовне)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG-ланцюжок
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Запит
result = qa.invoke("О чём этот документ?")
print(result["result"])

Вартість: один запит RAG-пайплайну (retrieval + generation) використовує ~2-5K токенів LLM. Через Gonka це $0.000002-0.000005. Через OpenAI — $0.005-0.05. Різниця — 10,000x.

Для production-систем, що обробляють тисячі запитів на день, економія складає десятки тисяч доларів на місяць.

LangChain дозволяє створювати агентів з інструментами (tools). Qwen3-235B підтримує нативний tool calling — агенти працюють надійно, без парсингу текстових відповідей.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-ваш-ключ",
    model="Qwen/Qwen3-235B-A22B-Instruct-2507-FP8",
)

@tool
def calculator(expression: str) -> str:
    """Вычисляет математическое выражение."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Ищет информацию в интернете."""
    return f"Результаты поиска для: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "Ти корисний асистент."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "Скільки буде 2**10 * 3.14?"})
print(result["output"])

Агент викликає calculator, отримує результат та формує відповідь. Весь цикл коштує ~$0.00001 через Gonka. Через OpenAI — $0.01-0.05. Для систем з тисячами користувачів це різниця в десятки тисяч доларів.