API-dokumentation

Autentisering och bas-URL

Börja med att uppdatera din klientkonfiguration med din unika API-nyckel och vår specifika bas-URL. Du behöver inte ändra din kodlogik, bara anslutningssträngen. Slutpunkten är https://api.gatewayllm.cc/v1 och kräver Authorization: Bearer <key> header. Denna konfiguration fungerar med alla standard OpenAI-kompatibla SDK:er du redan har installerade.

Första förfrågan

Skicka en standardbegäran om chattkomplettering för att verifiera din anslutning och få ett omedelbart svar. Använd modell-ID:t uncensored till att komma/access vår specifika stora språkmodell. Följande exempel visar en enkel textinteraktion med hjälp av cURL-kommandoradsverktyget.

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

Ditt svar kommer att anlända som JSON som innehåller den genererade texten. Om du får ett giltigt svar fungerar din integration korrekt.

Python SDK-integration

Använd det officiella OpenAI Python-biblioteket för att interagera med vår slutpunkt genom att överskrida bas-URL:en. Detta gör att du kan behålla din befintliga Python-kodstruktur samtidigt som du byter underliggande leverantör. Följande kodsnutt visar hur du initierar klienten och skickar ett meddelande.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Biblioteket hanterar serierisering och deserialisering automatiskt. Du kan nu använda standardmetoder som chat.completions.create med vår backend.

Node.js SDK-installation

Initiera OpenAI Node.js-paketet med din nyckel och vår bas-URL för att börja generera innehåll. Denna metod säkerställer kompatibilitet med befintliga Node-applikationer utan att kräva större omstrukturering. Följande kod visar initieringsprocessen.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Anropa completion-metoden med din önskade modell-ID. Svarobjektet kommer att innehålla den genererade texten i content fält.

Streaming och SSE

Aktivera strömning för att ta emot tokens när de genereras, vilket minskar upplevd latens för långa utdata. Ställ stream: true i dina begäransparametrar för att aktivera Server-Sent Events. Följande exempel visar hur du konsumerar strömmen i delar.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Varje chunk innehåller delvis data. Den sista chunken innehåller total tokenanvändningsstatistik. Denna metod är idealisk för realtidsanvändargränssnitt.

Gränser, fel och kontext

Övervaka din begärantakt och hantera fel på ett skickligt sätt för att upprätthålla en stabil applikation. Vårt API upprätthåller en gräns på 300 begäranden per minut per nyckel. Du får en 401 fel om din nyckel är ogiltig, a 402 fel om ditt förbetalda kredit är slut, och ett 429 fel om du överskrider hastighetsgränsen. Varje begäran stöder ett kontextfönster på 100 000 token. Se till att din prompt plus svar håller sig inom denna gräns för att undvika avklippning.