Документация API

Аутентификация и базовый URL

Начните с обновления конфигурации клиента с вашим уникальным API-ключом и нашим конкретным базовым URL. Вам не нужно изменять логику кода, только строку подключения. Эндпоинт находится по адресу https://api.gatewayllm.cc/v1 и требует Authorization: Bearer <key> header. Эта настройка работает с любым стандартным SDK, совместимым с OpenAI, который у вас уже установлен.

Первый запрос

Отправьте стандартный запрос chat completion для проверки вашего подключения и получения немедленного ответа. Используйте идентификатор модели uncensored для доступа к нашей конкретной большой языковой модели. Следующий пример демонстрирует простое текстовое взаимодействие с использованием инструмента командной строки cURL.

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

Ваш ответ придет в формате JSON, содержащем сгенерированный текст. Если вы получили корректный ответ, ваша интеграция работает правильно.

Интеграция Python SDK

Используйте официальную библиотеку OpenAI для Python для взаимодействия с нашим эндпоинтом, переопределив базовый URL. Это позволяет сохранить существующую структуру Python-кода при смене базового провайдера. Следующий фрагмент кода показывает, как инициализировать клиент и отправить сообщение.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Библиотека автоматически выполняет сериализацию и десериализацию. Теперь вы можете использовать стандартные методы, такие как chat.completions.create с нашим бэкендом.

Настройка SDK Node.js

Инициализируйте пакет OpenAI Node.js с вашим ключом и нашим базовым URL, чтобы начать генерацию контента. Этот подход обеспечивает совместимость с существующими приложениями Node без необходимости значительной рефакторизации. Следующий код демонстрирует процесс инициализации.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Вызовите метод completion с вашим предпочтительным идентификатором модели. Объект ответа будет содержать сгенерированный текст в content поле.

Потоковая передача и SSE

Включите потоковую передачу для получения токенов по мере их генерации, снижая воспринимаемую задержку для длинных выводов. Установите stream: true в параметрах запроса для активации событий серверных событий. Следующий пример показывает, как потреблять поток фрагментами.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Каждый чанк содержит частичные данные. Последний чанк включает статистику общего использования токенов. Этот метод идеально подходит для интерфейсов реального времени.

Лимиты, Ошибки и Контекст

Следите за частотой запросов и обрабатывайте ошибки корректно, чтобы поддерживать стабильность приложения. Наш API устанавливает лимит в 300 запросов в минуту на ключ. Вы получите 401 ошибка, если ваш ключ недействителен, a 402 ошибка, если исчерпан предоплаченный кредит, и a 429 ошибка, если вы превысите лимит частоты запросов. Каждый запрос поддерживает контекстное окно объемом 100,000 токенов. Убедитесь, что сумма токенов в вашем запросе и ответе не превышает этот лимит, чтобы избежать усечения.