Groq
オープンソース向け超低遅延推論クラウドLlama、Mixtral、Gemma、Whisperを高速に推論
主な特徴
使える場面
- GroqCloud APIでオープンソースモデルを超低レイテンシで実行
- APIキーとベースURLの変更だけでOpenAI互換アプリを移行
- Llama、Mixtral、Gemma、Whisperなどを自社製品で提供
- カスタマーサービスボット、シミュレーション、分析などの処理を高速化
使い方
- 1 groq.comにアクセスしてアカウントを登録する
- 2 GroqのAPIキーを作成して設定する
- 3 OpenAIのAPIキーをGroqのキーに置き換え、ベースURLをGroqのエンドポイントに設定する
- 4 実行したいモデルを選び、最初のリクエストを送る
- 5 GroqのSDKとAPIをアプリケーションに組み込む
- 6 性能を監視し、推論結果が安定するよう調整する
こんな方におすすめ
メリット
- 超低レイテンシ推論が設計の中核にある
- OpenAI互換エンドポイントで移行作業を減らせる
- 複数のオープンソースモデルを一つの基盤で扱える
制限事項
- 無料APIクレジットは試用分で、継続利用には支払いが必要。上限は公式サイトが設定する
- モデルの種類と挙動は元の提供者と異なるため、移行後は再テストが必要
- クラウドサービスなので稼働状況とモデル一覧はGroqの基盤と上流公開に依存する
Groq とは
Groqは、AIモデルの超低レイテンシ推論に焦点を当てた高性能AIチップとクラウドサービスを提供する企業です。クラウド製品であるGroqCloudは2024年2月に提供を開始し、会社によれば46万7000人を超える開発者が利用しています。Llama、Mixtral、Gemma、Whisperなど複数のオープンソースモデルを扱い、OpenAI互換エンドポイントにも対応しています。そのため開発者は、連携コードを書き直すのではなく、APIキーとベースURLを切り替えて使い始められます。開始時に使える無料APIクレジットがあり、正確なクレジット量とレート制限は公式サイトで設定されています。会社はBlackRockが主導する6億4000万ドルの資金調達を行い、28億ドルの評価額とされています。技術的な方向性はMetaのチーフAIサイエンティストであるYann LeCun氏と公的に結びつけられています。
できること
- GroqCloud APIでオープンソースモデルを超低レイテンシで実行する
- OpenAI互換アプリのAPIキーとベースURLを差し替えて移行する
- Llama、Mixtral、Gemma、Whisperなどを自社製品や研究に導入する
- 音声認識、カスタマーサービス、シミュレーションを伴う分析などの処理に高性能計算を使う
こんな人に向いています
- オープンソースモデルから即座に応答を得るアプリを作る開発者
- コード変更を小さく抑えて推論提供者を変えたいチーム
- 大規模な推論やデータ処理を動かす研究機関と企業
注意点
無料APIクレジットは開始時に使える試用分であり、永久に無料で使える枠ではありません。使い切った後の継続利用には支払いが必要で、クレジット量やレート制限は公式サイトの設定に従い、変更される可能性があります。エンドポイントはOpenAI互換ですが、利用できるモデルとその挙動は元の提供者とは異なります。移行後は回答形式、レイテンシ、エラー処理を含めてアプリを十分に再テストしてください。他のクラウドサービスと同様に、稼働状況とモデルのラインナップはGroqの基盤と上流のオープンソースモデル公開に依存します。
よくある質問
Groqとは何ですか。
AIモデルの超低レイテンシ推論に焦点を当て、高性能AIチップとクラウドサービスを提供する企業です。
どのモデルに対応していますか。
Llama、Mixtral、Gemma、Whisperなど、さまざまなオープンソースAIモデルに対応しています。
無料で使える選択肢はありますか。
無料APIクレジットが用意されています。正確なクレジット量とレート制限は公式サイトで設定されています。
別の提供者からの移行は大変ですか。
OpenAI互換エンドポイントに対応するため、多くの場合はAPIキーとベースURLの変更で済みますが、移行後はアプリを再テストしてください。
無料で使える理由
公式ページの記載内容: 無料APIクレジット
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。