ローカルAIアシスタントのトラフィックを自己ホスト型ゲートウェイを通過させる
ローカルAIアシスタントのトラフィックを、リアルタイムのコール圧縮とコンテキスト最適化を適用する集中型の自己ホスト型ゲートウェイを通過させて、推論コストを削減します。Othentic Labs LtdのAnyray Connectは、エンジニアリングチームとDevOps向けに署名されたWindows実行可能ファイルとして出荷されます。これは、OpenAI互換のAPIを公開し、チームとプロジェクトによる支出の帰属を提供し、開発者のワークフローが継続するようにフェイルオープンタイムアウトを含んでいます。このツールは、大規模にLLMを運用し、オンプレミスのガバナンスを必要とするチームに適しています。
Anyray Connectは開発者のLLMトラフィックに対して実際に何をしますか？
Anyray Connectは、社内ゲートウェイを介してローカルAIツールからのリクエストをルーティングします。エンドポイントを書き換えて、アシスタントやSDKがコードの変更なしにオプティマイザーを使用できるようにします。クライアント側の実行可能ファイルは、自動的に互換性のあるツールをゲートウェイにポイントするように構成し、ゲートウェイは圧縮とコンテキストのトリミングのために決定論的なルールベースの変換を適用します。このセットアップは、プロンプトの内容が企業のインフラ内に留まる必要がある環境を対象としており、既存の統合が引き続き機能するようにOpenAI互換のAPIを公開します。
ワークフローに影響を与えたり、エンジニアリングの変更が必要ですか？
このツールは既存のLLMエンドポイントのドロップイン置き換えとして機能します。そのため、チームはアシスタントのコードやSDKの呼び出しを変更する必要がありません。さらに、クライアントは800〜1200ミリ秒のタイムアウトを持つフェイルオープンメカニズムを使用しており、オプティマイザーが遅い場合でもリクエストを変更せずに転送し、開発者の生産性を維持します。構成はクライアントとゲートウェイのレイヤーで行われ、インストーラーは単一の署名されたWindows実行可能ファイルまたはWindowsパッケージマネージャーを介して配布されます。
企業環境内での運用は安全ですか？
安全性は自己ホスト型アーキテクチャに組み込まれています。ゲートウェイとオプティマイザーは、あなたのインフラ内（例えば、DockerやKubernetes）で実行され、プロンプト/レスポンスの内容は社内に留まります。さらに、オプティマイザーは出力を安定させるために決定論的な変換を使用し、メーターは支出の帰属のためにコンテンツなしのメタデータのみを送信します。これらの設計選択は、外部への露出を制限し、チームごとおよびプロジェクトごとの使用報告を提供します。
自己ホスト型インフラをすでに運用しているエンジニアリングチームのためのターゲットツール
Anyray Connectは、LLMトラフィックの詳細なガバナンスが必要で、すでにコンテナ化されたサービスやオンプレミスサービスを運用しているエンジニアリングおよびDevOpsチームに適しています。標準APIを公開することによって既存の統合を保持し、機密性の高いプロンプトをネットワーク内に保ちます。主なトレードオフは運用要件です：チームは最適化および帰属機能の恩恵を受けるためにゲートウェイインフラをホストし、維持しなければなりません。
