API 문서

인증 및 Base URL

고유한 API 키와 특정 베이스 URL을 사용하여 클라이언트 구성을 업데이트하세요. 코드 로직을 변경할 필요가 없습니다. 연결 문자열만 변경하면 됩니다. 엔드포인트는 https://api.gatewayllm.cc/v1 다음을 필요로 합니다. Authorization: Bearer <key> header. 이 설정은 이미 설치된 모든 표준 OpenAI 호환 SDK와 호환됩니다.

첫 번째 요청

연결을 확인하고 즉시 응답을 받기 위해 표준 채팅 완료 요청을 보내세요. 모델 ID를 uncensored 특정 대규모 언어 모델에 접근하세요. 다음 예시는 cURL 명령줄 도구를 사용한 간단한 텍스트 상호 작용을 보여줍니다.

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

응답은 생성된 텍스트를 포함하는 JSON 형식으로 도착합니다. 유효한 응답을 받으면 통합이 올바르게 작동하고 있음을 의미합니다.

Python SDK 통합

base URL을 재정의하여 공식 OpenAI Python 라이브러리로 당사 엔드포인트에 연결하세요. 이렇게 하면 기존 Python 코드 구조를 유지하면서 백엔드 공급자를 전환할 수 있습니다. 다음 스니펫은 클라이언트 초기화 및 메시지 전송 방법을 보여줍니다.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

라이브러리는 직렬화 및 역직렬화를 자동으로 처리합니다. 이제 다음과 같은 표준 메서드를 사용할 수 있습니다. chat.completions.create 우리의 백엔드와 함께 사용합니다.

Node.js SDK 설정

키와 베이스 URL을 사용하여 OpenAI Node.js 패키지를 초기화하여 콘텐츠 생성을 시작하세요. 이 방식은 주요 리팩토링 없이 기존 Node 애플리케이션과의 호환성을 보장합니다. 다음 코드는 초기화 과정을 보여줍니다.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

원하는 모델 ID와 함께 completion 메서드를 호출하세요. 응답 객체에는 생성된 텍스트가 다음에 포함됩니다. content 필드입니다.

스트리밍 및 SSE

긴 출력의 인지된 지연 시간을 줄이기 위해 생성되는 대로 토큰을 받도록 스트리밍을 활성화하세요. 설정 stream: true 요청 매개변수에 포함됩니다. 서버 전송 이벤트를 활성화합니다. 다음 예제는 청크 단위로 스트림을 소비하는 방법을 보여줍니다.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

각 청크는 부분 데이터를 포함합니다. 마지막 청크에는 총 토큰 사용량 통계가 포함됩니다. 이 방법은 실시간 사용자 인터페이스에 이상적입니다.

제한 사항, 오류 및 컨텍스트

안정적인 애플리케이션을 유지하기 위해 요청 속도를 모니터링하고 오류를 우아하게 처리하세요. 당사 API는 키당 분당 300회 요청의 제한을 적용합니다. 다음을 받게 됩니다. 401 키가 유효하지 않으면 오류가 발생하며, a 402 미리 충전한 크레딧이 고갈되면 오류가 발생하며, a 429 rate limit을 초과하면 오류가 발생합니다. 각 요청은 100,000개의 토큰을 처리할 수 있는 컨텍스트 윈도우를 지원합니다. 잘림을 피하려면 프롬프트와 완성된 텍스트의 합계가 이 제한 내에 있도록 하십시오.