Dokumentace API

Autentizace a základní URL

Začněte aktualizací konfigurace klienta svým jedinečným API klíčem a naší specifickou základní URL. Nemusíte měnit logiku kódu, pouze připojovací řetězec. Endpoint je https://api.gatewayllm.cc/v1 a vyžaduje Authorization: Bearer <key> hlavička. Toto nastavení funguje s jakýmkoli standardním SDK kompatibilním s OpenAI, které již máte nainstalováno.

První požadavek

Odešlete standardní požadavek na dokončení chatu pro ověření vašeho připojení a získání okamžité odpovědi. Použijte ID modelu uncensored k přístupu k našemu konkrétnímu velkému jazykovému modelu. Následující příklad ukazuje jednoduchou textovou interakci pomocí příkazového řádku cURL.

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

Vaše odpověď dorazí ve formátu JSON obsahujícím vygenerovaný text. Pokud obdržíte platnou odpověď, vaše integrace funguje správně.

Integrace Python SDK

Použijte oficiální knihovnu OpenAI pro Python pro komunikaci s naším endpointem přepsáním základní URL. To vám umožní zachovat stávající strukturu kódu v Pythonu při přepnutí základního poskytovatele. Následující ukázka ukazuje, jak inicializovat klienta a odeslat zprávu.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Knihovna automaticky zvládá serializaci a deserializaci. Nyní můžete používat standardní metody jako chat.completions.create s naším backendem.

Nastavení SDK Node.js

Inicializujte balíček OpenAI Node.js svým klíčem a naší základní URL pro zahájení generování obsahu. Tento přístup zajišťuje kompatibilitu s existujícími aplikacemi Node bez nutnosti větších refaktorování. Následující kód demonstruje proces inicializace.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Volajte metodu completion s požadovaným ID modelu. Objekt odpovědi bude obsahovat vygenerovaný text v content pole.

Streamování a SSE

Povolte streamování pro příjem tokenů, jak jsou generovány, což snižuje vnímanou latenci pro dlouhé výstupy. Nastavte stream: true v parametrech požadavku pro aktivaci Server-Sent Events. Následující příklad ukazuje, jak spotřebovávat stream po částech.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Každý chunk obsahuje částečná data. Poslední chunk obsahuje statistiky celkového využití tokenů. Tato metoda je ideální pro uživatelská rozhraní v reálném čase.

Limity, chyby a kontext

Sledujte rychlost požadavků a řešte chyby elegantně, abyste udrželi stabilní aplikaci. Naše API uplatňuje limit 300 požadavků za minutu na klíč. Obdržíte 401 chyba, pokud je váš klíč neplatný, a 402 chyba, pokud je vaše předplacená kreditní částka vyčerpána, a 429 chyba, pokud překročíte limit rychlosti. Každý požadavek podporuje kontextové okno o velikosti 100 000 tokenů. Ujistěte se, že součet vašeho promptu a dokončení nepřekročí tento limit, aby nedošlo ke zkrácení.