Tài liệu API

Xác thực và Base URL

Bắt đầu bằng cách cập nhật cấu hình máy khách của bạn với khóa API độc nhất của bạn và URL cơ sở cụ thể của chúng tôi. Bạn không cần thay đổi logic mã của mình, chỉ cần chuỗi kết nối. Điểm cuối là https://api.gatewayllm.cc/v1 và yêu cầu Authorization: Bearer <key> header. Cấu hình này hoạt động với bất kỳ SDK tương thích OpenAI tiêu chuẩn nào bạn đã cài đặt.

Yêu cầu đầu tiên

Gửi yêu cầu hoàn thành trò chuyện tiêu chuẩn để xác minh kết nối và nhận phản hồi ngay lập tức. Sử dụng định danh mô hình uncensored để truy cập mô hình ngôn ngữ lớn cụ thể của chúng tôi. Ví dụ sau đây minh họa một tương tác văn bản đơn giản bằng cách sử dụng công cụ dòng lệnh cURL.

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

Phản hồi của bạn sẽ đến dưới dạng JSON chứa văn bản được tạo. Nếu bạn nhận được phản hồi hợp lệ, tích hợp của bạn đang hoạt động đúng cách.

Tích hợp SDK Python

Sử dụng thư viện Python chính thức của OpenAI để tương tác với điểm cuối của chúng tôi bằng cách ghi đè URL cơ sở. Điều này cho phép bạn giữ nguyên cấu trúc mã Python hiện có trong khi chuyển đổi nhà cung cấp cơ sở. Đoạn mã sau đây cho thấy cách khởi tạo máy khách và gửi tin nhắn.

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

Thư viện tự động xử lý tuần tự hóa và giải tuần tự hóa. Bạn hiện có thể sử dụng các phương thức tiêu chuẩn như chat.completions.create với máy chủ của chúng tôi.

Thiết lập SDK Node.js

Khởi tạo gói Node.js OpenAI với khóa của bạn và URL cơ sở của chúng tôi để bắt đầu tạo nội dung. Cách tiếp cận này đảm bảo tương thích với các ứng dụng Node hiện có mà không yêu cầu tái cấu trúc lớn. Mã sau đây minh họa quá trình khởi tạo.

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

Gọi phương thức completion với ID model mong muốn của bạn. Đối tượng phản hồi sẽ chứa văn bản được tạo trong content trường.

Streaming và SSE

Bật chế độ streaming để nhận token ngay khi chúng được tạo ra, giảm độ trễ cảm nhận cho các đầu ra dài. Đặt stream: true trong các tham số yêu cầu để kích hoạt Server-Sent Events. Ví dụ dưới đây cho thấy cách tiêu thụ luồng theo từng chunk.

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Mỗi khối chứa dữ liệu một phần. Khối cuối cùng bao gồm thống kê sử dụng mã thông báo tổng thể. Phương pháp này rất lý tưởng cho các giao diện người dùng thời gian thực.

Giới hạn, Lỗi và Ngữ cảnh

Theo dõi tốc độ yêu cầu và xử lý lỗi một cách duyên dáng để duy trì ứng dụng ổn định. API của chúng tôi áp dụng giới hạn 300 yêu cầu mỗi phút mỗi khóa. Bạn sẽ nhận được một 401 lỗi nếu khóa của bạn không hợp lệ, một 402 lỗi nếu số dư trả trước của bạn đã cạn kiệt, và một 429 lỗi nếu bạn vượt quá giới hạn tốc độ. Mỗi yêu cầu hỗ trợ cửa sổ ngữ cảnh 100.000 token. Đảm bảo prompt của bạn cộng với kết quả hoàn thành nằm trong giới hạn này để tránh bị cắt ngắn.