LLM Gateway Open Source：神話と真実

神話：複雑なルーターが必要

LLMゲートウェイを効果的に利用するために、重いルーティング層は不要です。多くのビルダーは、すぐに複数のエンドポイント間でロードバランシングを管理する必要があると考えています。そのアプローチはレイテンシと設定オーバーヘッドを追加します。ほとんどのアプリケーションでは単純なプロキシが最も適しています。SDKを1つのベースURLにポイントするだけで、ゲートウェイが残りすべてを処理します。

OpenRouter や LiteLLM がトラフィックをどのように管理するかを考えてみましょう。それらはルールに基づいてリクエストを異なるベンダーにルーティングします。この複雑さはマルチモデル環境では有用です。しかし、信頼できる単一のモデルだけでよい場合、直接接続の方が高速です。私たちは単一のエンドポイントを提供します。あなたはアップストリームプロバイダーのフリートを管理することなく、一貫したパフォーマンスを得られます。

直接接続から始めます。冗長性が必要になった場合にのみルーティングにスケールします。当APIはSSE経由でのストリーミングをサポートしています。最小限のコード変更でトークン単位の更新を実装できます。このアプローチにより、アーキテクチャをクリーンに保つことができます。複雑なルーティングテーブルの維持に伴う認知負荷を回避できます。

神話：無修正＝品質が低い

Uncensoredモデルは、その検閲された対応モデルと同様に高品質なテキストを生成します。違いは拒否ロジックにあり、知性にあるのではありません。検閲されたモデルは論争的なトピックについて議論することを拒否するかもしれませんが、Uncensoredモデルはそれを直接答えます。これはクリエイティブライティング、ロールプレイ、研究において重要です。

当社のモデルはオープンウェイトで、自由さを重視してチューニングされています。一般的な安全フィルターは適用されません。生出力が得られます。コンテキストウィンドウは100,000トークンです。これにより、詳細な分析や長文生成が可能です。出力制限は1リクエストあたり16,000トークンです。max_tokensパラメータを調整して長さを制御できます。

品質は基盤となるアーキテクチャに依存します。当社は独自のサーバーを運用しています。モデルは GPT、Claude、Gemini ではありません。これは制限のない使用のために調整された独自のモデルです。$0.50 のトライアルでテストできます。違いを自分で確認してください。トライアルは 7 日間続きます。これにより、コミットする前に品質を確認できます。

神話：月額サブスクリプションを支払わなければならない

月額料金はAIアクセスに必須ではありません。使用した分だけお支払いいただけます。当社の料金体系はシンプルです。入力トークンは100万トークンあたり$0.15、出力トークンは100万トークンあたり$0.50です。エラーは無料、拒否応答も無料です。無駄なリクエストに対しては課金されません。

従来のベンダーはしばしば月額サブスクリプションを請求します。これらの費用はすぐに積み重なります。使用しないアクセスに対して支払う可能性があります。前払いクレジットを使用すると、支出を制御できます。クレジットは期限切れになりません。いつでもトップアップできます。月間の締め切りはありません。残高は必要な時までそこにあります。

お支払いは暗号通貨のみです。TRC20上のUSDTまたはBase上のUSDCを使用できます。最小チャージ額は$20、最大は$500です。大口入金にはボーナスクレジットが得られます。$50で5%追加、$100で10%追加、$200で15%追加。このモデルは多量ユーザーに有利です。クレジットは永久に保持できます。年間のコミットメントはありません。予期せなる更新もありません。

神話：ゲートウェイではプライバシーが不可能

データフローを制御することでプライバシーが維持されます。ゲートウェイがプロンプトを永久にログ記録する必要はありません。当モデルはデータを学習に使用しません。プロンプトはプライベートなままです。入力はあなたのものです。出力もあなたのものです。

多くのプロバイダーは、モデルの改善にユーザーデータを使用します。これは無料プランにおける一般的なトレードオフです。有料ゲートウェイを使用すれば、より厳格なプライバシーを要求できます。当社は会話データを学習に使用しません。これはエンタープライズ利用にとって重要です。個人開発者にとっても重要です。アイデアは自分のものとして維持したいものです。

アカウント作成にはメールアドレスのみが必要です。認証に電話番号は必要ありません。APIキーがすぐに取得できます。キーは1回だけ表示されます。安全に保管してください。SDKで使用してください。接続は標準的です。リクエストを暗号化できます。ゲートウェイはそれらを処理し、結果を返します。データは残存しません。使用履歴を完全に制御できます。

神話：NSFW専用

Uncensoredモデルは成人向けコンテンツのためだけではありません。フィルターをトリガーする可能性のあるあらゆるトピックのためのものです。政治的コメント、医療アドバイス、法的分析、クリエイティブフィクションはしばしば制限の対象となります。Uncensoredモデルはこれらの障壁を取り除きます。完全な回答が得られます。

チャットボットをテストしている開発者を想定してください。エッジケースを探求したい場合があります。制限付きモデルは奇妙な質問に回答しないことがあります。無制限モデルはそれに回答します。これはデバッグに役立ちます。創作にも役立ちます。モデルと戦うことなく多様なコンテンツを生成できます。

当社のモデルは法的な大人の利用を許可します。子供を伴う性的コンテンツは許可されません。これがハードな制限です。それ以外はすべて対象となります。ビジネス、教育、エンターテインメントに使用できます。柔軟性が鍵です。何がブロックされるかを推測する必要はありません。プロンプトを送信するだけです。モデルが応答します。この信頼性はあらゆるアプリケーションにとって価値があります。

神話：インフラストラクチャの管理が必要

サーバーやGPUの管理は不要です。APIはホスティングされています。あなたはアプリケーションに集中し、インフラストラクチャは私たちが処理します。これがマネージドゲートウェイの利点です。セルフホスティングの速度とクラウドサービスの使いやすさを兼ね備えています。

セルフホスティングにはDevOpsのスキルが必要です。スケーリングの管理、アップデートの対応、レイテンシーの監視が必要です。マネージドAPIはこれらの負担を解消します。負荷管理とスケーリングを当社が担当します。あなたはリクエストを送信するだけです。

当社のAPIは、キーごとに1分あたり300リクエストをサポートしています。同時に8つのリクエストを実行できます。リクエストボディの制限は8 MBです。これはほとんどのアプリケーションに十分です。より多くの容量が必要な場合は、キーの使用量をスケールアップできます。インフラは堅牢です。ダウンタイムを心配する必要はありません。私たちは重労働を処理します。あなたは信頼できるエンドポイントを取得します。これにより、プロダクトの構築に集中できます。サーバーの管理は不要です。

神話：価格体系が不透明

料金は透明で予測可能です。トークン単位で支払います。隠れた料金はありません。料率は入力トークン100万あたり$0.15、出力トークン100万あたり$0.50です。これは明確です。あなたが支払う金額が正確に分かります。

多くのベンダーは複雑な価格帯を持っています。機能に対して課金します。帯域幅に対して課金します。当社はトークンのみに対して課金します。エラーは無料です。拒否は無料です。あなたは失敗したリクエストに対して支払いません。これは公平です。あなたは価値に対して支払います。その価値は生成されたテキストです。

プリペイドクレジットとは、予算を制御できることを意味します。必要なときにチャージします。持っている分だけ使います。月末に予期せぬ請求はありません。クレジットは期限切れになりません。大きなプロジェクトのために資金を貯めることができます。ゆっくりと消費することもできます。柔軟性はあなた次第です。このモデルはシンプルです。理解しやすいです。計画も立てやすいです。

神話：オープンソースが唯一の道

オープンソースが信頼への唯一の道ではありません。価格が公正であれば、クローズドモデルを信頼できます。プライバシーが良好であれば、ホストサービスを信頼できます。オープンソースは透明性をもたらします。しかし、それは複雑さももたらします。モデルを実行する必要があります。リソースを管理する必要があります。

当社のモデルはオープンウェイトです。つまり、ウェイトが公開されています。アーキテクチャを検査できます。必要に応じてローカルで実行することも可能です。ただし、当社のAPIもご利用いただけます。これにより、両方の利点を兼ね備えることができます。オープンソースの自由度と、ホスト型サービスの使いやすさを同時に得られます。

信頼は透明性によって築かれます。私たちは価格を表示します。制限を表示します。機能を表示します。何が起こっているのかを推測する必要はありません。APIは標準的です。エンドポイントは文書化されています。動作は予測可能です。これはほとんどの開発者にとって十分な信頼性です。コードをフォークする必要はありません。ただ使用するだけです。