VI ▾
Lấy khóa API

Endpoint tương thích OpenAI cho khách hàng OpenRouter

Một điểm cuối tương thích OpenAI chỉ là một URL gốc sử dụng định dạng chat của OpenAI, nên việc chuyển sang điểm cuối khác chỉ cần vài dòng mã. Dưới đây là các giá trị chính xác, cấu trúc yêu cầu và các lỗi bạn có thể gặp phải.

Cập nhật

Một cáp đơn nối một thiết bị đầu cuối vào khối mô hình phát sáng, đại diện cho việc thay thế endpoint API

Điểm chính

  • URL cơ sở là https://api.openrouteralternativeapi.com/v1 và ID mô hình là uncensored.
  • Xác thực là tiêu đề Bearer tiêu chuẩn; chỉ có POST /v1/chat/completions và GET /v1/models tồn tại.
  • Truyền phát, công cụ và chế độ JSON hoạt động, nhưng các trường chỉ dành cho router không được hỗ trợ.
  • Khi nhận HTTP 429, hãy đọc mã lỗi để phân biệt giới hạn tốc độ với giới hạn yêu cầu đồng thời.

Các giá trị bạn cần

Bất kỳ công cụ nào cho phép bạn chỉnh sửa endpoint kiểu OpenAI đều cần ba giá trị. Sao chép chúng từ bảng và không có gì thay đổi trong cấu hình điển hình.

Cài đặtGiá trị
URL gốchttps://api.openrouteralternativeapi.com/v1
Khóa APIĐược tạo trên trang khóa API
ID mô hìnhuncensored
Tiêu đề xác thựcAuthorization: Bearer YOUR_API_KEY
Route chatPOST /v1/chat/completions
Route danh sách mô hìnhGET /v1/models

URL gốc đã kết thúc bằng /v1. Hầu hết các SDK tự thêm /chat/completions, vì vậy đừng thêm nó hai lần. Một số công cụ yêu cầu toàn bộ endpoint chat; trong trường hợp đó, hãy sử dụng URL gốc theo sau là /chat/completions.

Endpoint là gì và không phải là gì

Bên dưới URL là một mô hình trọng số mở, do một nhà cung cấp độc lập vận hành và được tinh chỉnh để trả lời mà không từ chối nội dung cho mục đích người trưởng thành hợp pháp. Đây không phải là một router, vì vậy một yêu cầu không bao giờ được chuyển tiếp đến một nhà cung cấp khác. Nó cũng không phải là API chính thức của bất kỳ nhà sản xuất mô hình nào. Điều này quan trọng đối với cấu hình: không có danh sách các slug mô hình để chọn, không có trường ưu tiên nhà cung cấp và không có chuỗi dự phòng. Bạn gửi uncensored và bạn nhận được một mô hình đó.

Dịch vụ chỉ dành cho văn bản. Tạo hình ảnh, âm thanh, video, nhúng và tinh chỉnh không được cung cấp, vì vậy một client gọi /v1/embeddings hoặc một endpoint hình ảnh sẽ thất bại trên URL gốc này. Hãy giữ các lệnh gọi đó trỏ đến bất kỳ dịch vụ nào bạn đã sử dụng cho chúng, và đặt URL gốc theo tính năng thay vì toàn cục nếu ứng dụng của bạn kết hợp nhiều tính năng.

Một điểm tương thích nữa liên quan đến danh sách mô hình. Một client gọi GET /v1/models khi khởi động để điền vào menu thả xuống hoặc xác minh cài đặt sẽ nhận lại một mô hình. Điều đó là bình thường. Nếu mã của bạn kiểm tra xem tên mô hình đã cấu hình có xuất hiện trong danh sách không, hãy đặt tên thành uncensored và kiểm tra sẽ vượt qua. Nếu ứng dụng của bạn mã hóa cứng tên mô hình của nhà cung cấp ở đâu đó sâu trong tệp cấu hình, hãy tìm kiếm kho lưu trữ trước khi chạy lần đầu, vì một chuỗi còn sót lại là lý do phổ biến nhất khiến một ứng dụng được di chuyển vẫn thất bại sau khi URL đã được thay đổi.

Yêu cầu đầu tiên, ba cách

Bắt đầu với một yêu cầu từ terminal. Nó chứng minh khóa, URL và ID mô hình trước khi bất kỳ khung nào được sử dụng.

curl https://api.openrouteralternativeapi.com/v1/models   -H "Authorization: Bearer $API_KEY"

curl https://api.openrouteralternativeapi.com/v1/chat/completions   -H "Authorization: Bearer $API_KEY"   -H "Content-Type: application/json"   -d '{
    "model": "uncensored",
    "messages": [{"role": "user", "content": "Reply with the word ready."}],
    "max_tokens": 10
  }'

Gọi tương tự với SDK Python. Lưu ý rằng không có gì khác với mã OpenAI tiêu chuẩn ngoài base_url và api_key.

from openai import OpenAI

client = OpenAI(
    base_url="https://api.openrouteralternativeapi.com/v1",
    api_key="YOUR_API_KEY",
)

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Reply with the word ready."}],
    max_tokens=10,
)
print(r.choices[0].message.content)
print(r.usage)

Và với Node, đọc khóa từ biến môi trường:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.openrouteralternativeapi.com/v1",
  apiKey: process.env.API_KEY,
});

const r = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Reply with the word ready." }],
  max_tokens: 10,
});
console.log(r.choices[0].message.content);

Nhiều công cụ đọc biến môi trường thay vì đối số hàm tạo. Các SDK chính thức thường tôn trọng OPENAI_BASE_URL và OPENAI_API_KEY, cho phép bạn chuyển hướng một tập lệnh không thay đổi. Hãy kiểm tra tài liệu của phiên bản SDK của bạn để xác nhận các tên.

Truyền phát, công cụ và chế độ JSON

Các tính năng mà hầu hết các client phụ thuộc vào đều có sẵn. Đặt stream: true để nhận các sự kiện do máy chủ gửi; việc sử dụng được báo cáo ở cuối luồng. Gọi công cụ chấp nhận tools và tool_choice, truyền phát các delta tool_calls và mong đợi kết quả trả lại dưới dạng các thông báo với role: "tool". Chế độ JSON được bật bằng response_format: {"type":"json_object"}. Các trường lấy mẫu temperature, top_p, stop, seed và các hình phạt về tần suất và sự hiện diện được chuyển tiếp.

Ví dụ về truyền phát trong Python:

stream = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Write three short taglines for a coffee cart."}],
    stream=True,
)
for chunk in stream:
    if chunk.choices and chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="", flush=True)

Và chế độ JSON, điều đáng kết hợp với một hướng dẫn trong prompt nêu rõ các khóa bạn mong đợi:

r = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "Return JSON with keys title and tags (array of strings)."},
        {"role": "user", "content": "Summarise: a guide to brewing cold coffee at home."},
    ],
    response_format={"type": "json_object"},
)
print(r.choices[0].message.content)

Luôn phân tích kết quả trong khối try. Chế độ JSON làm tăng khả năng đầu ra hợp lệ, nhưng mã của bạn vẫn nên xử lý phản hồi bị lỗi, ví dụ bằng cách thử lại một lần.

Trò chuyện đa lượt và gọi công cụ

Endpoint không có trạng thái, giống như route chat của OpenAI. Nó không nhớ các lệnh gọi trước đó, vì vậy mỗi yêu cầu phải mang theo cuộc trò chuyện mà bạn muốn mô hình thấy. Hãy giữ một danh sách các thông báo, thêm phản hồi của trợ lý sau mỗi lượt và gửi lại toàn bộ danh sách. Hãy theo dõi tổng số: cửa sổ 100.000 token bao gồm prompt và phần hoàn thành, và lịch sử dài cũng là thứ thúc đẩy chi phí đầu vào.

history = [{"role": "system", "content": "You answer in two sentences."}]

def chat(text):
    history.append({"role": "user", "content": text})
    r = client.chat.completions.create(model="uncensored", messages=history)
    reply = r.choices[0].message.content
    history.append({"role": "assistant", "content": reply})
    return reply

Đối với gọi công cụ, hãy mô tả các hàm của bạn trong tools, chạy bất cứ điều gì mô hình yêu cầu và gửi đầu ra lại dưới dạng thông báo role: "tool" mang theo tool_call_id phù hợp. Một định nghĩa tối thiểu trông như thế này:

tools = [{
    "type": "function",
    "function": {
        "name": "get_order_status",
        "description": "Look up an order by its number",
        "parameters": {
            "type": "object",
            "properties": {"order_id": {"type": "string"}},
            "required": ["order_id"],
        },
    },
}]

r = client.chat.completions.create(
    model="uncensored",
    messages=[{"role": "user", "content": "Where is order 1042?"}],
    tools=tools,
    tool_choice="auto",
)
call = r.choices[0].message.tool_calls[0]
print(call.function.name, call.function.arguments)

Xác thực các đối số trước khi chạy bất cứ thứ gì. Mô hình đề xuất một lệnh gọi; mã của bạn quyết định xem nó có an toàn để thực thi hay không, đặc biệt khi hàm chạm vào tiền, tệp hoặc dữ liệu của người khác.

Các trường cần xóa khỏi yêu cầu kiểu OpenRouter

Các client được viết cho một router thường thêm các phần bổ sung vào thân yêu cầu hoặc tiêu đề. Các ví dụ điển hình là thứ tự nhà cung cấp, mảng dự phòng mô hình, ưu tiên định tuyến và tiêu đề phân bổ. API này không sử dụng chúng. Các trường không xác định có thể bị bỏ qua hoặc gây ra lỗi, tùy thuộc vào trường, vì vậy hãy loại bỏ chúng thay vì dựa vào bất kỳ kết quả nào.

  • Thay thế bất kỳ slug mô hình nào có tiền tố nhà cung cấp bằng uncensored.
  • Bỏ danh sách dự phòng. Nếu mô hình đơn lẻ không khả dụng, hãy xử lý nó bằng logic thử lại của riêng bạn.
  • Không gửi các phần nội dung hình ảnh hoặc âm thanh. Mô hình đọc văn bản.
  • Giữ tổng thân yêu cầu dưới 8 MB.

trang tài liệu hiển thị các tham số được hỗ trợ và đó là nơi để kiểm tra khi một trường hoạt động khác với những gì client của bạn mong đợi.

Giới hạn và phản hồi 429

Một khóa đầy đủ cho phép 8 yêu cầu đồng thời và 300 yêu cầu mỗi phút; một khóa dùng thử cho phép 2 và 60. Mỗi phản hồi mang theo X-Request-Id, X-Balance-USD, X-RateLimit-Limit-Requests và X-RateLimit-Limit-Concurrency. Hãy ghi lại ID yêu cầu với mọi thất bại, vì đó là điều đầu tiên bộ phận hỗ trợ sẽ hỏi.

Có ba loại HTTP 429. Mã lỗi rate_limited nghĩa là bạn đã vượt quá số yêu cầu mỗi phút: hãy giảm tốc độ. Mã concurrency nghĩa là quá nhiều yêu cầu đang được xử lý cùng lúc: hãy xếp hàng chờ. Một lỗi 429 kèm tiêu đề Retry-After: 5 nghĩa là quá tải tạm thời: hãy chờ năm giây và thử lại. Lưu ý rằng một yêu cầu streaming sẽ giữ vị trí đồng thời của nó cho đến khi stream kết thúc, vì vậy một client bị treo không đọc hết dữ liệu sẽ chiếm dụng dung lượng.

import time
from openai import OpenAI, RateLimitError

client = OpenAI(
    base_url="https://api.openrouteralternativeapi.com/v1",
    api_key="YOUR_API_KEY",
    max_retries=0,
)

def ask(prompt, tries=4):
    for i in range(tries):
        try:
            r = client.chat.completions.create(
                model="uncensored",
                messages=[{"role": "user", "content": prompt}],
            )
            return r.choices[0].message.content
        except RateLimitError as e:
            wait = 5 if i == 0 else 5 * (i + 1)
            time.sleep(wait)
    raise RuntimeError("still rate limited")

Ngoài ra, hãy đặt một semaphore có giá trị 8 hoặc ít hơn xung quanh các lệnh gọi nếu bạn chạy các worker song song. Điều đó rẻ hơn việc học giới hạn từ các lỗi. Thêm một chút nhiễu ngẫu nhiên vào thời gian chờ để nhiều worker bị lỗi cùng lúc không thử lại cùng một giây. Nếu bạn thấy các phản hồi 429 lặp lại ở lưu lượng thấp, hãy tìm các luồng được mở nhưng không bao giờ đóng, hoặc một vòng lặp thử lại kích hoạt mà không chờ đợi, vì bất kỳ điều nào trong số đó cũng có thể lấp đầy các vị trí có sẵn một cách độc lập.

Kiểm tra chi phí trước khi đưa vào sản xuất

Giá là $0.15 cho mỗi 1M input token và $0.50 cho mỗi 1M output token từ tín dụng trả trước. Hãy xem xét một yêu cầu với 2,000 input token và 500 output token. Chi phí input là 2,000 / 1,000,000 x $0.15 = $0.0003. Chi phí output là 500 / 1,000,000 x $0.50 = $0.00025. Yêu cầu này tốn $0.00055, vì vậy 1,000 yêu cầu như vậy tốn $0.55. Các yêu cầu bị lỗi hoặc từ chối không bị tính phí. Xem trang giá để biết số tiền nạp và ưu đãi; tín dụng dùng thử $0.50 đủ để thực hiện khoảng 900 yêu cầu kích thước đó (0.50 / 0.00055).

Hỏi đáp

URL cơ sở cho endpoint tương thích OpenAI là gì?

Sử dụng https://api.openrouteralternativeapi.com/v1 làm URL cơ sở và gửi khóa của bạn dưới dạng token Bearer. ID mô hình là uncensored.

Các endpoint nào có sẵn?

POST /v1/chat/completions để tạo nội dung và GET /v1/models để lấy danh sách mô hình. Không có endpoint embeddings, hình ảnh, âm thanh hoặc fine-tuning.

Bạn có cần thay đổi mã nguồn ngoài URL và khóa không?

Thường chỉ cần thay đổi chuỗi mô hình. Hãy loại bỏ các trường đặc thù của trình định tuyến như tùy chọn nhà cung cấp hoặc danh sách dự phòng khỏi thân yêu cầu.

Tại sao tôi nhận được HTTP 429?

Hãy kiểm tra mã lỗi. rate_limited nghĩa là quá nhiều yêu cầu mỗi phút, concurrency nghĩa là quá nhiều yêu cầu đồng thời, và tiêu đề Retry-After: 5 nghĩa là quá tải tạm thời.

Khóa của bạn chỉ cách một bước

Tạo tài khoản, sao chép khóa, thay đổi URL cơ sở. Đó là toàn bộ thiết lập.