Dokumentacja API

Uwierzytelnianie i URL bazowy

Zacznij od zaktualizowania konfiguracji klienta swoim unikalnym kluczem API i naszym specyficznym bazowym adresem URL. Nie musisz zmieniać logiki swojego kodu, tylko ciąg połączenia. Punkt końcowy to https://api.gatewayllm.cc/v1 i wymaga Authorization: Bearer <key> Nagłówek. To rozwiązanie działa z dowolną standardową biblioteką OpenAI-compatible SDK, którą już masz zainstalowaną.

Pierwsze żądanie

Wyślij standardowe żądanie chat completion, aby zweryfikować swoje połączenie i uzyskać natychmiastową odpowiedź. Użyj identyfikatora modelu uncensored do dostępu do naszego konkretnego dużego modelu językowego. Poniższy przykład demonstruje prostą interakcję tekstową za pomocą narzędzia wiersza poleceń cURL.

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

Twoja odpowiedź przybędzie w formacie JSON zawierającym wygenerowany tekst. Jeśli otrzymasz poprawną odpowiedź, Twoja integracja działa prawidłowo.

Integracja SDK Python

Użyj oficjalnej biblioteki Python OpenAI do interakcji z naszym punktem końcowym, nadpisując URL bazowy. Pozwala to zachować istniejącą strukturę kodu Pythona podczas zmiany podstawowego dostawcy. Poniższy fragment kodu pokazuje, jak zainicjować klienta i wysłać wiadomość.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Biblioteka automatycznie obsługuje serializację i deserializację. Możesz teraz używać standardowych metod takich jak chat.completions.create z naszym backendem.

Konfiguracja SDK Node.js

Zainicjuj pakiet Node.js OpenAI ze swoim kluczem i naszym podstawowym adresem URL, aby rozpocząć generowanie treści. To podejście zapewnia kompatybilność z istniejącymi aplikacjami Node bez konieczności dużych zmian w kodzie. Poniższy kod demonstruje proces inicjalizacji.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Wywołaj metodę completion z żądanym identyfikatorem modelu. Obiekt odpowiedzi zawiera wygenerowany tekst w content pole.

Strumieniowanie i SSE

Włącz strumieniowanie, aby otrzymywać tokeny w miarę ich generowania, zmniejszając postrzeganą latencję dla długich wyjść. Ustaw stream: true w parametrach żądania, aby aktywować zdarzenia wysyłane serwerowo. Poniższy przykład pokazuje, jak konsumować strumień w fragmentach.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Każdy fragment zawiera częściowe dane. Ostatni fragment zawiera całkowite statystyki zużycia tokenów. Ta metoda jest idealna dla interfejsów użytkownika w czasie rzeczywistym.

Limity, Błędy i Kontekst

Monitoruj szybkość zapytań i obsługuj błędy w sposób elegancki, aby utrzymać stabilną aplikację. Nasze API narzuca limit 300 zapytań na minutę na klucz. Otrzymasz 401 błąd, jeśli Twój klucz jest nieprawidłowy, a 402 błąd, jeśli wyczerpałeś się kredyt zaliczkowy, a 429 błąd, jeśli przekroczysz limit szybkości. Każde żądanie obsługuje okno kontekstowe o pojemności 100 000 tokenów. Upewnij się, że suma promptu i uzupełnienia mieści się w tym limicie, aby uniknąć obcinania.