da ▾
Start nu

API Dokumentation

Skift din OpenAI base URL til vores, og begynd straks at generere tekst. Denne quickstart-guide viser dig, hvordan du autentificerer, sender anmodninger og håndterer streaming med vores uprægede API.

Autentificering og Base URL

Opdater din klientkonfiguration med din unikke API-nøgle og vores specifikke base-URL. Du behøver ikke at ændre din kode-logik, kun streng for forbindelsen. Endpointet er https://api.gatewayllm.cc/v1 og kræver Authorization: Bearer <key> header. Denne opsætning fungerer med ethvert standard OpenAI-kompatibelt SDK, du allerede har installeret.

Første anmodning

Send en standard chat-completions-anmodning for at verificere din forbindelse og modtage et øjeblikkeligt svar. Brug model-ID uncensored til at få adgang til vores specifikke store sprogmodel. Følgende eksempel demonstrerer en simpel tekstinteraktion ved hjælp af cURL-kommandolinjeværktøjet.

curl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

Dit svar vil ankomme som JSON indeholdende den genererede tekst. Hvis du modtager et gyldigt svar, fungerer din integration korrekt.

Python SDK-integration

Brug det officielle OpenAI Python-bibliotek til at interagere med vores endpoint ved at overskrive base-URL'en. Dette giver dig mulighed for at beholde din eksisterende Python-kodestruktur, mens du skifter den underliggende udbyder. Følgende kodeeksempel viser, hvordan du initialiserer klienten og sender en meddelelse.

from openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Biblioteket håndterer serialisering og deserialisering automatisk. Du kan nu bruge standardmetoder som chat.completions.create med vores backend.

Node.js SDK-setup

Initialiser OpenAI Node.js-pakken med din nøgle og vores base-URL for at starte generering af indhold. Denne tilgang sikrer kompatibilitet med eksisterende Node-applikationer uden at kræve større refaktorering. Følgende kode demonstrerer initialiseringsprocessen.

import OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Kald completion-metoden med dit ønskede model-id. Svarobjektet vil indeholde den genererede tekst i content felt.

Streaming og SSE

Aktivér streaming for at modtage tokens, mens de genereres, hvilket reducerer den opfattede forsinkelse for lange output. Indstil stream: true i dine request-parametre for at aktivere Server-Sent Events. Følgende eksempel viser, hvordan man konsumerer streamen i chunks.

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Hver chunk indeholder delvise data. Den sidste chunk indeholder de samlede token-brugsstatistikker. Denne metode er ideel til realtids-brugergrænseflader.

Begrænsninger, fejl og kontekst

Overvåg din anmodningshastighed og håndter fejl elegant for at opretholde en stabil applikation. Vores API håndhælder en grænse på 300 anmodninger i minuttet per nøgle. Du modtager en 401 fejl, hvis din nøgle er ugyldig, en 402 fejl, hvis din forudbetalte kredit er opbrugt, og en 429 fejl, hvis du overskrider hastedsgrænsen. Hver forespørgsel understøtter et kontekstvindue på 100.000 tokens. Sørg for, at din prompt plus svar forbliver inden for denne grænse for at undgå afkortning.

Ofte stillede spørgsmål

Er dette en OpenAI-kompatibel API?

Ja, vores endpoint følger OpenAI chat-completions-formatet. Du kan bruge de officielle OpenAI SDK'er ved blot at ændre base URL til vores. Dette muliggør en drop-in-erstatning for de fleste eksisterende integrationer.

Hvad er LLM gateway kontekstvinduesstørrelse?

Vi understøtter et kontekstvindue på 100.000 tokens for både prompt og completion tilsammen. Dette giver mulighed for at behandle store dokumenter eller lange samtalehistorikker i en enkelt anmodning.

Hvordan håndterer jeg ratelimits?

Vi tillader 300 anmodninger per minut per API-nøgle. Hvis du overskrider denne grænse, modtager du en 429-statuskode. Implementér eksponentiel backoff i din klient for at håndtere genforsøg effektivt.

Lås op for din nøgle på ét trin

Tilmeld dig, få nøglen, opdater din base-URL. Det er det.

Start nuSe dokumentation