API-dokumentaatio

Todennus ja base URL

Aloita päivittämällä asiakaskonfiguraatiosi ainutlaatuisella API-avaimellasi ja tiettyllä base URLillamme. Sinun ei tarvitse muuttaa koodilogiikkaasi, vain yhteyssarjan. Päätepiste on https://api.gatewayllm.cc/v1 ja vaatii Authorization: Bearer <key> header. Tämä kokoonpano toimii minkä tahansa standardin OpenAI-yhteensopivan SDK:n kanssa, jonka sinulla on jo asennettuna.

Ensimmäinen pyyntö

Lähetä tavallinen chat-valmiuspyyntö varmistaaksesi yhteyden ja saadaksesi välittömän vastauksen. Käytä mallin tunnistetta uncensored päästäksesi käsiksi tiettyyn suureen kielimalliimme. Seuraava esimerkki näyttää yksinkertaisen tekstivaihtelun käyttäen cURL-komentorivityökalua.

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

Vastauksesi saapuu JSON-muodossa sisäältä luodun tekstin. Jos saat kelvollisen vastauksen, integraatiosi toimii oikein.

Python SDK -integraatio

Käytä virallista OpenAI:n Python-kirjastoa päätepisteeseemme ohittaen base URL. Tämä mahdollistaa olemassa olevan Python-koodirakenteen säilyttämisen samalla kun vaihdat taustalla olevaa tarjoajaa. Seuraava suora esimerkki näyttää, miten asiakasohjelma alustetaan ja viesti lähetetään.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Kirjasto hoitaa serialisoinnin ja deserialisoinnin automaattisesti. Voit nyt käyttää vakiotapoja kuten chat.completions.create backendimme kanssa.

Node.js SDK:n määritys

Alusta OpenAI Node.js -paketti avaimellasi ja perus-URL-osoitteella aloittaaksesi sisällön tuottamisen. Tämä lähestymistapa varmistaa yhteensopivuuden olemassa olevien Node-sovellusten kanssa ilman suurta uudelleenkoodausta. Seuraava koodi demonstroi alustusprosessia.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Kutsu completion-metodia haluamallasi mallitunnuksella. Vastausobjekti sisältää luodun tekstin muodossa content kenttä.

Streamaus ja SSE

Ota suoratoisto käyttöön vastaanottaaksesi tokenit niiden synnyttyä, mikä vähentää koettua viivettä pitkissä tuloksissa. Aseta stream: true pyyntöparametreissa aktivoidaksesi Server-Sent Events -toiminnon. Seuraava esimerkki näyttää, kuinka virrata voidaan kuluttaa lohkoittain.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Jokainen lohko sisältää osittaista dataa. Viimeinen lohko sisältää kokonaistokenkäyttötilastot. Tämä menetelmä on ihanteellinen reaaliaikaisille käyttöliittymille.

Rajoitukset, virheet ja konteksti

Seuraa pyyntönopeuttasi ja käsittele virheet hienovaraisesti ylläpitääksesi vakaata sovellusta. API-rajapintamme asettaa rajan 300 pyyntöön minuutissa per avain. Saat 401 virhe, jos avaimesi on virallinen, a 402 virhe, jos esimaksukreditiittisi on loppu, ja a 429 virhe, jos ylityt nopeusrajan. Jokainen pyyntö tukee 100 000 tokenin kontekstiikkunaa. Varmista, että pyyntösi ja vastauksen yhteismäärä pysyy tämän rajan sisällä välttääksesi katkaisun.