LlamaIndex + Gonka AI — 저렴한 RAG 애플리케이션

JoinGonka API 키: gate.joingonka.ai/register에서 등록하면 시작 시 무료 토큰 3M을 제공합니다. 그런 다음 Dashboard에서 jg-xxx 키를 생성하세요.

설치:

pip install llama-index llama-index-llms-openai-like

임의의 OpenAI 호환 API에 대해 LlamaIndex는 llama_index.llms.openai_like 패키지의 OpenAILike 클래스를 제공합니다. Gonka에 대한 최소 요청 예시:

from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,            # Gonka is a chat endpoint
    is_function_calling_model=True, # native tool calling is supported
    context_window=180000,         # MiniMax M2.7 context window
    max_tokens=8192,               # Gateway output cap
)

response = llm.complete("Explain what RAG is in three sentences.")
print(response)

OpenAILike에 대한 중요 사항: 반드시 is_chat_model=True를 지정하세요. 그렇지 않으면 LlamaIndex가 대화 대신 원시 프롬프트로 구식 Completions 엔드포인트에 접속합니다. is_function_calling_model=True는 네이티브 tool calls를 활성화합니다. context_window는 모델에 맞게 설정하여 LlamaIndex가 컨텍스트를 올바르게 분할하도록 하세요.

LlamaIndex의 대표적인 사용법은 문서에 대한 인덱스를 만들고 query_engine을 통해 질의하는 것입니다. 전역 LLM은 Settings.llm으로 한 번만 설정하면 이후 전체 파이프라인이 자동으로 Gonka를 사용합니다.

from llama_index.core import (
    VectorStoreIndex,
    SimpleDirectoryReader,
    Settings,
)
from llama_index.llms.openai_like import OpenAILike
from llama_index.embeddings.huggingface import HuggingFaceEmbedding

# 1. LLM via Gonka (set once, globally)
Settings.llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    context_window=180000,
    max_tokens=8192,
)

# 2. Local embeddings (free, no OpenAI)
Settings.embed_model = HuggingFaceEmbedding(
    model_name="BAAI/bge-small-en-v1.5"
)

# 3. Load and index documents from the ./data folder
documents = SimpleDirectoryReader("data").load_data()
index = VectorStoreIndex.from_documents(documents)

# 4. Query the knowledge base
query_engine = index.as_query_engine()
response = query_engine.query("What is this document about?")
print(response)

임베딩에 관한 중요한 주의사항: 기본적으로 VectorStoreIndex는 OpenAI 임베딩(text-embedding-ada-002)을 사용합니다. 이는 Gonka가 아닌 OpenAI에 대한 별도의 유료 호출입니다. OpenAI에서 완전히 벗어나려면 Settings.embed_model을 통해 로컬 임베딩 모델을 지정하세요(위 예시처럼 HuggingFaceEmbedding, 패키지는 pip install llama-index-embeddings-huggingface). 그러면 생성은 Gonka를 통해, 벡터화는 로컬에서 무료로 처리됩니다.

비용: RAG 파이프라인 한 번의 질의(검색 + 생성)는 약 2~5K 토큰의 LLM을 소비합니다. Gonka를 통하면 1센트의 몇 분의 일 수준이고, OpenAI/Anthropic을 통하면 3~4자릿수 더 비쌉니다. 하루 수천 건의 질의가 오가는 환경에서는 그 차이가 월 수만 달러의 절감으로 이어집니다.

RAG 애플리케이션은 일회성 채팅이 아니라 지속적인 요청의 흐름입니다. 사용자의 각 질문은 2~5K의 LLM 토큰(질문 자체와 검색된 컨텍스트 조각)을 동반합니다. 일반적인 볼륨과 그것이 각 제공자에서 얼마나 드는지 계산해 봅시다. JoinGonka Gateway를 통한 Gonka 가격: 입력 약 $0.0062/100만, 출력 ×3.

무료 3M 토큰으로 RAG 파이프라인의 첫 요청을 돌리고, 테스트 코퍼스를 인덱싱하고, 수천 건의 요청을 처리할 수 있습니다. 단 한 푼도 쓰지 않고 말입니다. 프로덕션 규모에서는 JoinGonka Gateway가 RAG를 값비싼 서비스에서 전혀 신경 쓰이지 않는 비용 항목으로 바꿔 줍니다.

LlamaIndex는 문서 기반 답변뿐 아니라 도구를 갖춘 에이전트 구축도 지원합니다. Gonka의 세 모델 모두 네이티브 tool calling을 지원하므로, 에이전트가 텍스트 파싱 없이 구조화된 방식으로 함수를 호출할 수 있습니다. 도구를 갖춘 에이전트 예시:

import asyncio
from llama_index.core.agent.workflow import FunctionAgent
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    api_base="https://gate.joingonka.ai/v1",
    api_key="jg-your-key",
    model="MiniMaxAI/MiniMax-M2.7",
    is_chat_model=True,
    is_function_calling_model=True,
    context_window=180000,
    max_tokens=8192,
)

def multiply(a: float, b: float) -> float:
    """Multiplies two numbers."""
    return a * b

agent = FunctionAgent(
    tools=[multiply],
    llm=llm,
    system_prompt="You are a helpful assistant. Use the tools for calculations.",
)

async def main():
    result = await agent.run("What is 1234 multiplied by 5678?")
    print(result)

asyncio.run(main())

모델 선택(model 필드와 해당 context_window / max_tokens 한도):

Gateway를 통한 max_tokens 한도는 MiniMax M2.7과 GLM-5.3 Flash가 최대 8192, DeepSeek V4 Flash가 최대 32768입니다. 비스트리밍 요청에서 max_tokens를 지정하지 않으면 기본적으로 최대 1500 토큰이 반환됩니다. RAG 응답과 에이전트 단계에서는 값을 명시적으로 지정하세요.

TypeScript: LlamaIndex.TS에도 동일한 방법이 있습니다. @llamaindex/openai 패키지의 OpenAI 클래스는 baseURL과 apiKey를 받거나(또는 OPENAI_BASE_URL / OPENAI_API_KEY 환경 변수를 읽음) 동일한 Gateway를 Node.js 스택에서도 연결할 수 있습니다. Python 프레임워크로 AI 애플리케이션을 구축한다면 LangChain 가이드도 참고하세요.