지식 기반 섹션 ▾

내비게이션

▸ 여기서 시작하세요 역할별

카테고리

도구 52
용어집 12

도구

LangChain + Gonka AI — 저렴한 AI 애플리케이션

LangChain은 Python 및 JavaScript에서 AI 애플리케이션을 구축하기 위한 가장 인기 있는 프레임워크입니다. RAG 파이프라인, 체인(chains), 에이전트, 문서 처리 등 LangChain은 이 모든 것에 대한 추상화를 제공합니다.

LangChain은 ChatOpenAI 클래스를 통해 OpenAI 호환 API를 기본적으로 지원합니다. 즉, JoinGonka Gateway는 추가 패키지나 설정 없이 3줄의 코드로 통합됩니다.

결과: OpenAI에서 $2.50-15가 드는 RAG 시스템, 챗봇 또는 AI 에이전트를 토큰 100만 개당 $0.0069에 운영할 수 있습니다.

빠른 시작: 3줄 코드

최소 예제 — LangChain을 Gonka에 연결하기:

from langchain_openai import ChatOpenAI

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

response = llm.invoke("Explain what RAG is")
print(response.content)

이게 전부입니다. 단 세 줄이면 여러분의 LangChain 프로젝트가 탈중앙화 네트워크 Gonka를 통해 아주 저렴하게 동작합니다.

의존성 설치:

pip install langchain langchain-openai

권장 사항: max_tokens=8192를 명시하세요. 이것이 JoinGonka Gateway를 통한 MiniMax M2.7과 GLM-5.3 Flash의 출력 상한입니다(DeepSeek V4 Flash는 최대 32768). 컨텍스트 윈도우는 MiniMax M2.7이 200K 토큰(DeepSeek V4 Flash 380K, GLM-5.3 Flash 390K)입니다. RAG 파이프라인에서 chunk_size를 설정할 때 이를 고려하세요.

예제: Gonka를 사용한 RAG 파이프라인

RAG(Retrieval-Augmented Generation)는 AI 애플리케이션에서 가장 널리 쓰이는 패턴입니다. 문서를 불러와 청크로 나누고, 임베딩을 생성한 뒤 관련 조각을 검색해 컨텍스트와 함께 답변을 생성합니다.

from langchain_openai import ChatOpenAI
from langchain.text_splitter import RecursiveCharacterTextSplitter
from langchain.chains import RetrievalQA
from langchain_community.vectorstores import FAISS
from langchain_community.embeddings import HuggingFaceEmbeddings
from langchain_community.document_loaders import TextLoader

# 1. LLM via Gonka
llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    streaming=True,
)

# 2. Load and index documents
loader = TextLoader("docs/my_document.txt")
docs = loader.load()
splitter = RecursiveCharacterTextSplitter(chunk_size=1000)
chunks = splitter.split_documents(docs)

# 3. Vector store (local, free)
embeddings = HuggingFaceEmbeddings()
vectorstore = FAISS.from_documents(chunks, embeddings)

# 4. RAG chain
qa = RetrievalQA.from_chain_type(
    llm=llm,
    retriever=vectorstore.as_retriever(),
)

# 5. Query
result = qa.invoke("What is this document about?")
print(result["result"])

비용: RAG 파이프라인 요청 한 건(retrieval + generation)은 약 2~5K 토큰의 LLM을 사용합니다. Gonka를 통하면 $0.00001~0.000024입니다. OpenAI를 통하면 $0.005~0.05입니다. 격차는 1,300배입니다.

하루에 수천 건의 요청을 처리하는 프로덕션 시스템이라면 매달 수만 달러를 절약하는 셈입니다.

예제: 도구 호출을 포함한 AI 에이전트

LangChain을 사용하면 도구(tools)를 갖춘 에이전트를 만들 수 있습니다. 네트워크의 모델은 네이티브 tool calling을 지원하므로 텍스트 응답을 파싱할 필요 없이 에이전트가 안정적으로 동작합니다.

from langchain_openai import ChatOpenAI
from langchain.agents import create_openai_tools_agent, AgentExecutor
from langchain.tools import tool
from langchain.prompts import ChatPromptTemplate

llm = ChatOpenAI(
    base_url="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
)

@tool
def calculator(expression: str) -> str:
    """Evaluates a math expression."""
    return str(eval(expression))

@tool
def search_web(query: str) -> str:
    """Searches the web for information."""
    return f"Search results for: {query}"

prompt = ChatPromptTemplate.from_messages([
    ("system", "You are a helpful assistant."),
    ("human", "{input}"),
    ("placeholder", "{agent_scratchpad}"),
])

agent = create_openai_tools_agent(llm, [calculator, search_web], prompt)
executor = AgentExecutor(agent=agent, tools=[calculator, search_web])

result = executor.invoke({"input": "What is 2**10 * 3.14?"})
print(result["output"])

에이전트는 calculator를 호출해 결과를 받고 답변을 구성합니다. 이 전체 사이클은 Gonka를 통하면 약 $0.00005입니다. OpenAI를 통하면 $0.01~0.05입니다. 사용자가 수천 명인 시스템이라면 수만 달러의 차이입니다.

LangChain + Gonka = 저렴한 비용의 프로덕션 준비 완료 AI 애플리케이션. RAG, 에이전트, 체인을 ChatOpenAI와 3줄의 코드로 구현. 비용은 토큰 100만 개당 $0.0069, 기본 tool calling 및 streaming 지원.
← Aider + Gonka AI — AI 페어 프로그래밍 n8n + Gonka AI — 저렴한 AI로 자동화 →

더 자세히 알고 싶으세요?

다른 섹션을 탐색하거나 지금 GNK를 얻기 시작하세요.

무료 토큰 받기 →