Documentație API
Înlocuiți URL-ul de bază OpenAI cu al nostru și începeți să generați text imediat. Acest ghid quickstart vă arată cum să vă autentificați, să trimiteți solicitări și să gestionați streaming-ul cu API-ul nostru non-cenzurat.
Autentificare și URL de bază
Începe prin a actualiza configurația clientului tău cu cheia ta API unică și URL-ul de bază specific nostru. Nu trebuie să îți modifici logica codului, ci doar șirul de conexiune. Endpoint-ul este https://api.gatewayllm.cc/v1 și necesită Authorization: Bearer <key> header. Această configurare funcționează cu orice SDK compatibil OpenAI standard pe care îl ai deja instalat.
Prima cerere
Trimiteți o cerere standard de completare a chat-ului pentru a vă verifica conexiunea și a primi un răspuns imediat. Utilizați ID-ul modelului uncensored pentru a accesa modelul nostru specific de limbaj mare. Exemplul următor demonstrează o interacțiune simplă cu textul folosind instrumentul de linie de comandă cURL.
curl https://api.gatewayllm.cc/v1/chat/completions \
-H "Authorization: Bearer $API_KEY" \
-H "Content-Type: application/json" \
-d '{
"model": "uncensored",
"messages": [{"role": "user", "content": "Check server health status"}]
}'Răspunsul dumneavoastră va ajunge sub formă de JSON care conține textul generat. Dacă primiți un răspuns valid, integrarea dumneavoastră funcționează corect.
Integrare SDK Python
Folosește biblioteca oficială Python OpenAI pentru a interacționa cu endpoint-ul nostru prin suprascrierea URL-ului de bază. Acest lucru îți permite să păstrezi structura existentă a codului Python în timp ce schimbi furnizorul de bază. Fragmentul de cod de mai jos arată cum să inițializezi clientul și să trimiți un mesaj.
from openai import OpenAI
client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")
resp = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)Biblioteca gestionează automat serializarea și deserializarea. Poți utiliza acum metode standard precum chat.completions.create cu backend-ul nostru.
Configurare SDK Node.js
Inițializați pachetul OpenAI Node.js cu cheia ta și URL-ul nostru de bază pentru a începe generarea de conținut. Această abordare asigură compatibilitatea cu aplicațiile Node existente fără a necesita refactoring major. Codul următor demonstrează procesul de inițializare.
import OpenAI from "openai";
const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });
const resp = await client.chat.completions.create({
model: "uncensored",
messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);Apelați metoda completion cu id-ul modelului dorit. Obiectul de răspuns va conține textul generat în content câmp.
Streaming și SSE
Activați streaming-ul pentru a primi tokenii pe măsură ce sunt generați, reducând latența percepută pentru output-urile lungi. Setează stream: true în parametrii solicitării pentru a activa Evenimentele trimise de server. Exemplul următor arată cum se consumă fluxul în bucăți.
stream = client.chat.completions.create(
model="uncensored",
messages=[{"role": "user", "content": "Tell the story in second person."}],
stream=True,
)
for chunk in stream:
if chunk.choices and chunk.choices[0].delta.content:
print(chunk.choices[0].delta.content, end="", flush=True)Fiecare fragment conține date parțiale. Fragmentul final include statistici complete de utilizare a token-urilor. Această metodă este ideală pentru interfețe utilizator în timp real.
Limitări, Erori și Context
Monitorați-vă rata de solicitări și gestionați erorile cu grijă pentru a menține o aplicație stabilă. API-ul nostru impune o limită de 300 de solicitări pe minut per cheie. Veți primi un 401 eroare dacă cheia dvs. este invalidă, a 402 eroare dacă creditul preplătit este epuizat, și o 429 eroare dacă depășiți limita de rată. Fiecare cerere suportă o fereastră de context de 100,000 de tokeni. Asigurați-vă că promptul plus completarea rămân în această limită pentru a evita trunchierea.
Întrebări frecvente
Este un API compatibil cu OpenAI?
Da, endpoint-ul nostru urmează formatul chat-completions OpenAI. Poți folosi SDK-urile oficiale OpenAI prin simpla modificare a URL-ului de bază către al nostru. Acest lucru permite o înlocuire directă pentru majoritatea integrărilor existente.
Care este dimensiunea ferestrei de context a gateway LLM?
Suportăm o fereastră de context de 100,000 de tokeni pentru prompt și completion combinate. Acest lucru permite procesarea documentelor mari sau a istoricelor lungi de conversații într-o singură solicitare.
Cum gestionez limitările de rată?
Permitem 300 de cereri pe minut per cheie API. Dacă depășești această limită, vei primi un cod de stare 429. Implementează un backoff exponențial în clientul tău pentru a gestiona eficient reîncercările.
Deblochează-ți cheia într-un singur pas
Înregistrează-te, obține cheia, actualizează URL-ul de bază. Așa e.