General Compute
専用チップ上で動く高速AI推論APIモデルを配置して高速に推論を実行
主な特徴
使える場面
- 研究環境で新しいAIモデルを素早く検証する
- 企業が大量の顧客からの問い合わせを処理する
- カスタムモデルを配置して性能をテストする
使い方
- 1 APIキーを取得し、無料クレジットを受け取る
- 2 コードのベースURLを提供側APIに向けて認証する
- 3 モデルを選び、APIを呼び出して推論を実行する
こんな方におすすめ
メリット
- トークン処理量が多く、最初のトークンまでの待ち時間が短い
- OpenAI互換APIなので移行作業が少ない
- 開始用クレジットがあるため、本格利用前に試せる
制限事項
- 無料クレジットと価格条件は変わり得るうえ、個別価格は営業窓口が必要
- APIサービスなので、開発側での接続作業が発生する
- 推論向けに作られており、学習まで含む全体プラットフォームではない
General Compute とは
General Computeは、モデルの実行だけを目的として設計されたAI推論サービスです。レンダリングや学習を担う汎用サービスではなく、長年の汎用設計を持つGPUを使わず、推論専用に作られたASICチップの上で動きます。提供者によれば、毎秒最大1000トークン、最初のトークンまで1ミリ秒未満、高いスループットを実現します。そのため負荷がかかる状況でも応答が速く返ります。APIはOpenAI互換で、既存のコードやツールはベースURLとキーを変更する程度で接続できる場合が多いです。自社モデルを配置することも、提供側のモデルを使うこともできます。無料クレジットとして新規利用者に200ドルが用意され、詳細価格は営業担当への問い合わせ制です。
できること
- 専用ASICハードウェアで毎秒最大1000トークンの推論を実行する
- 最初のトークンまで1ミリ秒未満の応答で、アプリの反応を速く保つ
- OpenAI互換APIを通し、コードの変更を抑えて接続する
- 自社モデルまたは提供側モデルを専用インフラで動かす
こんな人に向いています
- モデルの試験と提供を速く進めたいAI開発者
- リアルタイムの顧客対応を大量に扱う企業
- モデルを短時間で検証する必要がある研究チーム
注意点
200ドルの無料クレジットはありますが、その後の正確な価格は公開されておらず、営業担当との相談が必要です。条件は変わる可能性があります。これはAPIサービスなので、ベースURLの変更、キー管理、コード調整など、実際の接続作業が発生します。推論専用に作られているため、学習から公開までを一か所で扱うプラットフォームではありません。本番投入を決める前に、配置できるモデルと、自分の作業で実際に出るスループットを確認してください。
よくある質問
どのハードウェアを使いますか?
汎用GPUではなく、推論向けに設計された専用ASICチップ上で動きます。
APIは導入しやすいですか?
OpenAI互換なので、既存のコードやツールを少し変更するだけで接続できます。
無料クレジットはありますか?
はい。新規利用者は200ドルのクレジットを受け取れます。
無料で使える理由
公式ページの記載内容: 免费额度免费zh-継承済み
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。