繁中 ▾
取得 API 金鑰

OpenRouter 替代方案,採用開放權重模型

如果你正在尋找 openrouter alternative open source,關鍵問題是你真正需要開放的是什麼:權重、伺服器還是路由?本頁整理各種選項,並說明單一 open-weight model API 適合的場景。

更新於

從集線器輻射出的許多電纜,與連接到單一發光模型立方體的單一直線連接形成對比

重點摘要

  • OpenRouter 將您的請求路由至多個供應商的模型;此 API 提供單一開放權重模型,因此相同的提示詞總是對應相同的模型。
  • 開放權重不等於開源軟體。請檢查您依賴的任何模型的授權條款。
  • 自行託管提供最大的控制權,但需要 GPU 和維護成本;託管端點的費用為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50。
  • 切換 OpenAI 客戶端只需兩項變更:基礎 URL 和金鑰。

人們所指的開源 OpenRouter 替代方案

這個詞彙涵蓋三種不同的需求,混淆它們會導致錯誤的選擇。有些人想要開放權重,以便模型檔案發布後,理論上可以在自己的硬體上運行。有些人想要開源伺服器,即接受請求並轉發請求的閘道程式碼。其他人則想要開放路由:在單一名稱背後沒有隱藏的模型切換。

OpenRouter 是一個託管服務,為來自多個供應商的模型提供單一 API。這是它的用途,對許多專案而言,它是合適的工具。代價在於,回答你的模型取決於你指定的模型、由哪個供應商提供,以及該供應商目前對它採取的動作。如果你的目標是穩定且可檢查的設定,較小的作用範圍更容易進行推論。

此網站提供託管的 OpenAI 相容 API,背後是單一 open-weight model,由獨立供應商運行,並針對合法成人用途進行調整,使其在回答時不會拒絕內容。這是一個託管服務。你透過 HTTPS 呼叫它,本頁不提供伺服器下載。你獲得的是固定的模型、簡短的功能列表和單一價格,而非自行託管的堆疊。

用白話解釋開放權重與開源軟體

具有開放權重的模型讓任何人都可以下載訓練好的參數。這並不自動意味著開源授權條款。某些權重以許可條款發布,其他則附加使用條件,少數則限制商業用途。授權條款是特定模型的屬性,因此在產品之上建構之前請先閱讀它。

相同的考量也適用於模型前的服務。託管 API 可以提供開放權重,但其程式碼可以保持私有。這不是缺陷,但這意味著「開放」描述的是模型,而非主機。當比較選項時,請寫下您希望哪一層開放以及原因。常見原因包括:

  • 可重現性。 你希望明天的模型與今天相同,這樣測試和提示詞才有意義。
  • 退出選項。 如果你成長到超出託管服務的能力範圍,你會希望有一個可以在其他地方執行的模型。
  • 可審計性。 您想知道生成文本的來源,而不僅是端點的名稱。

託管端點背後的 open-weight model 能很好地滿足第一和第三點,並為第二點提供可行的途徑。但如果要求是沒有任何第三方看到提示詞,它無法取代自行託管。

單一模型與多供應商路由器

當你想用一個金鑰嘗試多個模型時,路由器很方便。但當你需要某種行為保持一致時,它就不那麼方便了。使用路由器時,模型名稱可能會隨時間映射到不同的供應商,而每個供應商在上下文長度、速度、過濾或記錄方面可能有所不同。這些差異是真實存在的,並由路由器本身的文檔公開記錄,因此請查看其頁面以獲取最新詳細資訊。

單一模型位於單一端點背後,情況會更簡單。下表列出此 API 固定不變的內容。

問題此 API
哪個模型會回答?一個開放權重模型,被標示為 uncensored
它是跨供應商的路由器嗎?否
它是官方供應商 API 嗎?否,它由獨立供應商運行
上下文視窗100,000 token,含提示詞與補全
模式僅文字
端點POST /v1/chat/completions 和 GET /v1/models

坦率地說,缺點在於廣度。你無法透過編輯一個字串來切換到不同的模型系列,因為只有一個。如果你的產品需要視覺模型、嵌入模型或用於簡單任務的較便宜小模型,路由器或多個直接帳戶是更好的選擇,你仍可以將此 API 用於需要 uncensored 文字模型的用途。

您可以自行運行的部分及其成本

如果開源是硬性要求,自行託管是誠實的答案。開放權重模型可以使用 vLLM、llama.cpp 或 Ollama 等社群工具提供服務,而 LiteLLM 等代理程式可以在其前面呈現 OpenAI 風格的端點。所有這些都是公開可用的專案,因此請查看其文件以獲取當前功能和授權。

成本在於託管 API 隱藏的部分:

  • 足夠大的 GPU 記憶體以容納模型和長上下文。
  • 服務配置、批處理和監控。
  • 流量尖峰時的更新、重啟和容量規劃。
  • 您對濫用、記錄和存取金鑰的處理。

對於具有穩定、低流量的愛好者專案或內部工具,租用 GPU 或本機機器可能很合適。對於突發性或小型工作負載,按 token 付費通常更簡單。作為一個計算範例,一項包含 1M 輸入 token 和 1M 輸出 token 的工作,在此 API 上的費用為 1 x $0.15 + 1 x $0.50 = $0.65。在決定之前,將其與你自己對 GPU 租賃和時間成本的估算進行比較。

遷移現有的 OpenRouter 客戶端

由於 API 遵循 OpenAI 聊天格式,為 OpenAI 風格客戶端編寫的程式碼通常只需要兩個修改:Base URL 和金鑰。模型字串變更為 uncensored。以下是使用官方 openai 套件版本的 Python 程式碼。

from openai import OpenAI

client = OpenAI(
    base_url="https://api.openrouteralternativeapi.com/v1",
    api_key="YOUR_API_KEY",
)

resp = client.chat.completions.create(
    model="uncensored",
    messages=[
        {"role": "system", "content": "You are a blunt technical editor."},
        {"role": "user", "content": "Tighten this paragraph: ..."},
    ],
    temperature=0.7,
)
print(resp.choices[0].message.content)

Node 中的相同呼叫,以及從終端機進行快速檢查的原始 HTTP 形式:

import OpenAI from "openai";

const client = new OpenAI({
  baseURL: "https://api.openrouteralternativeapi.com/v1",
  apiKey: process.env.API_KEY,
});

const res = await client.chat.completions.create({
  model: "uncensored",
  messages: [{ role: "user", content: "Say hello in one sentence." }],
});
console.log(res.choices[0].message.content);
curl https://api.openrouteralternativeapi.com/v1/chat/completions   -H "Authorization: Bearer $API_KEY"   -H "Content-Type: application/json"   -d '{"model":"uncensored","messages":[{"role":"user","content":"Say hello."}]}'

串流輸出、函式呼叫和 JSON 模式的運作方式與 OpenAI SDK 相同。路由器特定的額外功能,例如供應商偏好欄位或模型回退列表,在此沒有意義,應從請求主體中移除。說明文件頁面列出了支援的參數。

切換前應知的限制、價格與儲值

在遷移生產流量之前請閱讀限制。完整金鑰允許 8 個並行請求和每分鐘 300 個請求。試用金鑰允許 2 個並行請求和每分鐘 60 個請求。串流請求會保留其並行槽位,直到串流結束,這在您同時發出許多長生成請求時很重要。超過限制會返回 HTTP 429,錯誤程式碼為 rate_limited 或 concurrency,暫時過載也會返回 429 並帶有 Retry-After: 5 標頭。請以短延遲重試,並在您的端點限制並行呼叫的數量。

定價為每 1M 輸入 token $0.15,每 1M 輸出 token $0.50,從預付額度支付,無訂閱。失敗或被拒絕的請求不會收費,且額度永不過期。回應標頭 X-Balance-USD 顯示剩餘金額,因此您可以從程式碼追蹤支出。儲值金額為 $20 至 $500 範圍內的任意整數金額,$50 起有 5% 贈金,$100 起有 10% 贈金,$200 起有 15% 贈金。您可以透過加密貨幣(TRC20 上的 USDT、Base 上的 USDC)付款。更多詳細資訊請見 定價頁面。

新用戶可以在註冊後點擊金鑰頁面領取 $0.50 的免費試用額度。它持續 7 天,不需要信用卡,且每人限領一次。在添加資金之前,請使用它透過端點運行您的真實提示詞。內容規則很簡單:目標是合法成人用途,並且對於涉及未成年人的任何性內容有硬性限制。

如何做出選擇

根據實際需求進行選擇。如果您必須在所有機器上運行一切,請自行託管開放權重模型並接受相關工作。如果您需要多個供應商、多種輸入輸出類型或自動回退,路由器仍然是更好的選擇,本站上的 OpenRouter 替代方案比較 更詳細地介紹了權衡。如果您想要一個固定的開放權重文本模型、標準的 OpenAI 相容介面和單一每 token 價格,此 API 是該部分流量的直接替代品。

一個實際的計劃是同時保留兩者。將一般任務留在原處,並將傾向於在其他地方被拒絕的請求發送到此端點。在 API 金鑰頁面 建立金鑰,領取試用額度,並在二十個您自己的提示詞上比較輸出。該測試每次請求的成本不到一分錢,比任何功能表格告訴您的更多。

問答

此 API 是開源軟體嗎?

這是一個位於開放權重模型之前的託管服務。模型權重由作者發布,但託管伺服器並非從本站下載的內容,且開放權重不等於自動採用開源授權。

跟 OpenRouter 一樣嗎?

不是。OpenRouter 是跨多家供應商的轉接服務。此 API 僅提供單一模型,由獨立供應商運行,並非轉接服務,也不是官方供應商 API。

我應該傳送哪個模型名稱?

將模型 ID 設為 uncensored。呼叫 GET /v1/models 以從您自己的客戶端確認。

我可以使用現有的 OpenAI SDK 程式碼嗎?

可以。將 Base URL 改為 https://api.openrouteralternativeapi.com/v1,將您的金鑰設為 Bearer token,並將模型設為 uncensored。移除僅限轉接服務的請求欄位。

只差一張表單,即可取得金鑰

建立帳號、複製金鑰、更改基礎 URL。這就是整個設定過程。