GPTFree
Groq

Groq

オープンソース向け超低遅延推論クラウド

Llama、Mixtral、Gemma、Whisperを高速に推論

開発とツールAIモデル AI チップクラウドサービス低遅延高性能コンピューティング開発者プラットフォーム
公式サイトを開く →

主な特徴

独立系ベンチマークで確認された超低レイテンシ推論
OpenAI互換エンドポイントでコード変更を抑えられる
Llama、Mixtral、Gemma、Whisperなどをサポート
開始時に使える無料APIクレジットは公式サイトが上限を設定
6億4000万ドルの資金調達と28億ドルの評価額

使える場面

  • GroqCloud APIでオープンソースモデルを超低レイテンシで実行
  • APIキーとベースURLの変更だけでOpenAI互換アプリを移行
  • Llama、Mixtral、Gemma、Whisperなどを自社製品で提供
  • カスタマーサービスボット、シミュレーション、分析などの処理を高速化

使い方

  1. 1 groq.comにアクセスしてアカウントを登録する
  2. 2 GroqのAPIキーを作成して設定する
  3. 3 OpenAIのAPIキーをGroqのキーに置き換え、ベースURLをGroqのエンドポイントに設定する
  4. 4 実行したいモデルを選び、最初のリクエストを送る
  5. 5 GroqのSDKとAPIをアプリケーションに組み込む
  6. 6 性能を監視し、推論結果が安定するよう調整する

こんな方におすすめ

オープンソースモデルに高速な応答を求めるアプリを開発する人コード変更を抑えて他社の推論基盤から移行したいチーム大規模な推論処理を動かす研究機関や企業

メリット

  • 超低レイテンシ推論が設計の中核にある
  • OpenAI互換エンドポイントで移行作業を減らせる
  • 複数のオープンソースモデルを一つの基盤で扱える

制限事項

  • 無料APIクレジットは試用分で、継続利用には支払いが必要。上限は公式サイトが設定する
  • モデルの種類と挙動は元の提供者と異なるため、移行後は再テストが必要
  • クラウドサービスなので稼働状況とモデル一覧はGroqの基盤と上流公開に依存する

Groq とは

Groqは、AIモデルの超低レイテンシ推論に焦点を当てた高性能AIチップとクラウドサービスを提供する企業です。クラウド製品であるGroqCloudは2024年2月に提供を開始し、会社によれば46万7000人を超える開発者が利用しています。Llama、Mixtral、Gemma、Whisperなど複数のオープンソースモデルを扱い、OpenAI互換エンドポイントにも対応しています。そのため開発者は、連携コードを書き直すのではなく、APIキーとベースURLを切り替えて使い始められます。開始時に使える無料APIクレジットがあり、正確なクレジット量とレート制限は公式サイトで設定されています。会社はBlackRockが主導する6億4000万ドルの資金調達を行い、28億ドルの評価額とされています。技術的な方向性はMetaのチーフAIサイエンティストであるYann LeCun氏と公的に結びつけられています。

できること

- GroqCloud APIでオープンソースモデルを超低レイテンシで実行する

- OpenAI互換アプリのAPIキーとベースURLを差し替えて移行する

- Llama、Mixtral、Gemma、Whisperなどを自社製品や研究に導入する

- 音声認識、カスタマーサービス、シミュレーションを伴う分析などの処理に高性能計算を使う

こんな人に向いています

- オープンソースモデルから即座に応答を得るアプリを作る開発者

- コード変更を小さく抑えて推論提供者を変えたいチーム

- 大規模な推論やデータ処理を動かす研究機関と企業

注意点

無料APIクレジットは開始時に使える試用分であり、永久に無料で使える枠ではありません。使い切った後の継続利用には支払いが必要で、クレジット量やレート制限は公式サイトの設定に従い、変更される可能性があります。エンドポイントはOpenAI互換ですが、利用できるモデルとその挙動は元の提供者とは異なります。移行後は回答形式、レイテンシ、エラー処理を含めてアプリを十分に再テストしてください。他のクラウドサービスと同様に、稼働状況とモデルのラインナップはGroqの基盤と上流のオープンソースモデル公開に依存します。

よくある質問

Groqとは何ですか。

AIモデルの超低レイテンシ推論に焦点を当て、高性能AIチップとクラウドサービスを提供する企業です。

どのモデルに対応していますか。

Llama、Mixtral、Gemma、Whisperなど、さまざまなオープンソースAIモデルに対応しています。

無料で使える選択肢はありますか。

無料APIクレジットが用意されています。正確なクレジット量とレート制限は公式サイトで設定されています。

別の提供者からの移行は大変ですか。

OpenAI互換エンドポイントに対応するため、多くの場合はAPIキーとベースURLの変更で済みますが、移行後はアプリを再テストしてください。

無料で使える理由

公式ページの記載内容: 無料APIクレジット

無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。

製品プレビュー

Groq 製品プレビュー

一覧ページから保存したスクリーンショットです。プレビュー専用です。

Groq

オープンソースモデルに即時の知能を提供する高速 AI 推論です。

公式サイトを開く →

関連する無料ツール