เอกสาร API

การตรวจสอบสิทธิ์และ Base URL

เริ่มต้นด้วยการอัปเดตการตั้งค่าไคลเอนต์ของคุณด้วยคีย์ API เฉพาะของคุณและ base URL เฉพาะของเรา คุณไม่จำเป็นต้องเปลี่ยนตรรกะของโค้ดของคุณ เพียงแค่เปลี่ยนสตริงการเชื่อมต่อ เท่านั้น จุดจบคือ https://api.gatewayllm.cc/v1 และต้องการ Authorization: Bearer <key> header. การตั้งค่านี้ใช้งานได้กับ SDK ที่เข้ากันได้กับ OpenAI มาตรฐานที่คุณติดตั้งอยู่แล้ว

คำขอครั้งแรก

ส่งคำขอ chat completion มาตรฐานเพื่อตรวจสอบการเชื่อมต่อของคุณและรับคำตอบทันที ใช้รหัสโมเดล uncensored เพื่อเข้าถึงโมเดลภาษาขนาดใหญ่เฉพาะของเรา ตัวอย่างต่อไปนี้แสดงการโต้ตอบข้อความง่ายๆ โดยใช้เครื่องมือบรรทัดคำสั่ง cURL

Copycurl https://api.gatewayllm.cc/v1/chat/completions \
  -H "Authorization: Bearer $API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Check server health status"}]
  }'

คำตอบของคุณจะมาถึงในรูปแบบ JSON ที่มีข้อความที่สร้างขึ้น หากคุณได้รับคำตอบที่ถูกต้อง การผสานรวมของคุณกำลังทำงานอย่างถูกต้อง

การผสานรวม SDK Python

ใช้ไลบรารี Python ทางการของ OpenAI เพื่อเชื่อมต่อกับ endpoint ของเราโดยการทับ base URL วิธีนี้ช่วยให้คุณคงโครงสร้างโค้ด Python เดิมไว้ได้ขณะเปลี่ยนผู้ให้บริการพื้นฐาน ตัวอย่างโค้ดด้านล่างแสดงวิธีการเริ่มต้น client และส่งข้อความ

Copyfrom openai import OpenAI

client = OpenAI(base_url="https://api.gatewayllm.cc/v1", api_key="YOUR_KEY")

resp = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Summarise this thread without softening it."}],
)
print(resp.choices[0].message.content)

ไลบรารีจัดการการแปลงข้อมูลและการแยกข้อมูลอัตโนมัติ ตอนนี้คุณสามารถใช้เมธอดมาตรฐานเช่น chat.completions.create พร้อมแบ็กเอนด์ของเรา

การตั้งค่า SDK Node.js

เริ่มต้นใช้งานแพ็กเกจ OpenAI Node.js ด้วยคีย์ของคุณและ base URL ของเราเพื่อเริ่มสร้างเนื้อหา วิธีการนี้รับประกันความเข้ากันได้กับแอปพลิเคชัน Node.js ที่มีอยู่โดยไม่ต้องมีการปรับโครงสร้างหลัก โค้ดต่อไปนี้แสดงขั้นตอนการเริ่มต้นใช้งาน

Copyimport OpenAI from "openai";

const client = new OpenAI({ baseURL: "https://api.gatewayllm.cc/v1", apiKey: process.env.API_KEY });

const resp = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Draft a villain monologue for my game." }],
});
console.log(resp.choices[0].message.content);

เรียกใช้เมธอด completion พร้อม ID โมเดลที่คุณต้องการ object การตอบกลับจะประกอบด้วยข้อความที่สร้างใน content ช่อง

การสตรีมและ SSE

เปิดใช้งานการสตรีมเพื่อรับโทเค็นขณะกำลังสร้าง ซึ่งช่วยลดความล่าช้าที่รับรู้สำหรับผลลัพธ์ที่ยาวนาน ตั้งค่า stream: true ในพารามิเตอร์ของคำขอเพื่อเปิดใช้งาน Server-Sent Events ตัวอย่างต่อไปนี้แสดงวิธีการบริโภคสตรีมเป็นท่อน

Copystream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Tell the story in second person."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

แต่ละชิ้นส่วนประกอบด้วยข้อมูลบางส่วน ชิ้นส่วนสุดท้ายรวมถึงสถิติการใช้งานโทเค็นทั้งหมด วิธีการนี้เหมาะสำหรับอินเทอร์เฟซผู้ใช้แบบเรียลไทม์

ข้อจำกัด, ข้อผิดพลาด และบริบท

ตรวจสอบอัตราความเร็วคำขอและจัดการข้อผิดพลาดอย่างสุภาพเพื่อรักษาความเสถียรของแอปพลิเคชัน API ของเรากำหนดขีดจำกัดไว้ที่ 300 ครั้งต่อนาทีต่อคีย์ คุณจะรับ 401 error หากคีย์ของคุณไม่ถูกต้อง a 402 error หากเครดิตพรีเพดของคุณหมดแล้ว และ a 429 error หากเกินขีดจำกัดอัตราการใช้งาน แต่ละคำขอรองรับหน้าต่างบริบทขนาด 100,000 tokens โปรดตรวจสอบให้แน่ใจว่าข้อความต้นทางรวมกับผลลัพธ์ไม่เกินขีดจำกัดนี้เพื่อหลีกเลี่ยงการตัดทอน