Документація API

Аутентифікація та базовий URL

Почніть з оновлення конфігурації клієнта вашим унікальним API-ключем та нашим специфічним базовим URL. Вам не потрібно змінювати логіку коду, лише рядок підключення. Ендпоінт є https://api.gatewayllm.cc/v1 та вимагає Authorization: Bearer <key> header. Ця конфігурація працює з будь-яким стандартним SDK, сумісним з OpenAI, який у вас вже встановлено.

Перший запит

Надішліть стандартний запит на завершення чату для перевірки з’єднання та отримання миттєвої відповіді. Використовуйте ідентифікатор моделі uncensored для доступу до нашої конкретної великої мовної моделі. Наведений нижче приклад демонструє простий текстовий взаємодію за допомогою інструменту командного рядка cURL.

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

Ваша відповідь надійде у форматі JSON, що містить згенерований текст. Якщо ви отримали валідну відповідь, ваша інтеграція працює правильно.

Інтеграція SDK Python

Використовуйте офіційну Python-бібліотеку OpenAI для взаємодії з нашим ендпоінтом, перевизначивши базовий URL. Це дозволяє зберегти структуру існуючого Python-коду під час зміни базового постачальника. Наведений нижче фрагмент коду показує, як ініціалізувати клієнта та надіслати повідомлення.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Бібліотека автоматично обробляє серіалізацію та десеріалізацію. Тепер ви можете використовувати стандартні методи, як-от chat.completions.create з нашим бекендом.

Налаштування SDK Node.js

Ініціалізуйте пакет OpenAI Node.js з вашим ключем та нашим базовим URL, щоб розпочати генерацію контенту. Цей підхід забезпечує сумісність із існуючими Node-додатками без необхідності значного рефакторингу. Наведений нижче код демонструє процес ініціалізації.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Викличте метод completion з бажаним ID моделі. Об'єкт відповіді міститиме згенерований текст у content поле.

Потокова передача та SSE

Увімкніть потокове передавання, щоб отримувати токени по мірі їх генерації, зменшуючи сприйняту затримку для довгих виводів. Встановіть stream: true у параметрах запиту для активації подій Server-Sent Events. Наступний приклад показує, як споживати потік фрагментами.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Кожен чанк містить часткові дані. Останній чанк містить статистику загального використання токенів. Цей метод ідеально підходить для інтерфейсів користувача в реальному часі.

Ліміти, помилки та контекст

Моніторьте частоту запитів та обробляйте помилки коректно, щоб підтримувати стабільність додатка. Наш API встановлює ліміт у 300 запитів на хвилину на ключ. Ви отримаєте 401 помилка, якщо ваш ключ недійсний, а 402 помилка, якщо ваші передоплачені кошти вичерпано, і 429 помилка, якщо ви перевищите ліміт швидкості. Кожен запит підтримує контекстне вікно розміром 100 000 токенів. Переконайтеся, що сума вашого запиту та відповіді не перевищує цей ліміт, щоб уникнути обрізання.