API-Dokumentation

Authentifizierung und Base URL

Starten Sie, indem Sie Ihre Client-Konfiguration mit Ihrem eindeutigen API-Schlüssel und unserer spezifischen Basis-URL aktualisieren. Sie müssen Ihre Code-Logik nicht ändern, nur die Verbindungszeichenfolge. Der Endpunkt ist https://api.gatewayllm.cc/v1 und erfordert den Authorization: Bearer <key> header. Dieses Setup funktioniert mit jedem Standard-OpenAI-kompatiblen SDK, das Sie bereits installiert haben.

Erste Anfrage

Senden Sie eine Standard-Chat-Vervollständigungsanfrage, um Ihre Verbindung zu überprüfen und eine sofortige Antwort zu erhalten. Verwenden Sie die Modell-ID uncensored auf unser spezifisches Large Language Model zugreifen. Das folgende Beispiel zeigt eine einfache Textinteraktion mit dem cURL-Befehlszeilentool.

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

Ihre Antwort kommt als JSON mit dem generierten Text an. Wenn Sie eine gültige Antwort erhalten, funktioniert Ihre Integration korrekt.

Python SDK-Integration

Verwenden Sie die offizielle OpenAI-Python-Bibliothek, um mit unserem Endpunkt zu interagieren, indem Sie die Basis-URL überschreiben. So können Sie Ihre bestehende Python-Codestruktur beibehalten und gleichzeitig den zugrunde liegenden Anbieter wechseln. Das folgende Snippet zeigt, wie Sie den Client initialisieren und eine Nachricht senden.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Die Bibliothek übernimmt Serialisierung und Deserialisierung automatisch. Sie können nun Standardmethoden wie chat.completions.create mit unserem Backend.

Node.js-SDK-Einrichtung

Initialisieren Sie das OpenAI Node.js-Paket mit Ihrem Schlüssel und unserer Basis-URL, um Inhalte zu generieren. Dieser Ansatz gewährleistet die Kompatibilität mit bestehenden Node-Anwendungen, ohne größere Refaktorierungen zu erfordern. Der folgende Code veranschaulicht den Initialisierungsprozess.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Rufen Sie die Completion-Methode mit Ihrer gewünschten Modell-ID auf. Das Antwortobjekt enthält den generierten Text im content Feld.

Streaming und SSE

Streaming aktivieren, um Tokens sofort bei ihrer Generierung zu empfangen, wodurch die wahrgenommene Latenz für lange Ausgaben reduziert wird. Legen Sie den stream: true in Ihren Anfrage-Parametern, um Server-Sent Events zu aktivieren. Das folgende Beispiel zeigt, wie der Stream in Chunks konsumiert wird.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Jeder Chunk enthält teilweise Daten. Der letzte Chunk enthält die gesamten Token-Nutzungsstatistiken. Diese Methode ist ideal für Echtzeit-Benutzeroberflächen.

Limits, Fehler und Kontext

Überwachen Sie Ihre Anfrage-Rate und behandeln Sie Fehler ordnungsgemäß, um eine stabile Anwendung zu gewährleisten. Unsere API erzwingt ein Limit von 300 Anfragen pro Minute pro Schlüssel. Sie erhalten einen 401 Fehler, wenn Ihr Schlüssel ungültig ist, ein 402 Fehler, wenn Ihr bezahltes Guthaben aufgebraucht ist, und ein 429 Fehler, wenn Sie das Rate Limit überschreiten. Jede Anfrage unterstützt einen Kontextfenster von 100.000 Tokens. Stellen Sie sicher, dass Ihre Eingabeaufforderung plus Vervollständigung innerhalb dieses Limits bleibt, um eine Beschneidung zu vermeiden.