Ray
AI処理を拡張するオープンフレームワークPythonのAI処理をノートPCからクラスタへ
主な特徴
使える場面
- 企業がより大きなデータセットでモデルを学習する
- チームがモデルを大規模にオンライン配信する
- 組織がバッチ推論を異種計算環境へ移す
使い方
- 1 Rayのサイトを訪れ、ドキュメントを確認する
- 2 Anyscaleで登録し、無料トライアルのクレジットを取得する
- 3 チュートリアルを進めて中心となる概念を学ぶ
- 4 必要なライブラリ、たとえばRay Core、Data、Trainを選ぶ
- 5 クラスタをローカルまたはAnyscale上に展開する
- 6 用意されたツールでデバッグと最適化を行う
- 7 コミュニティのSlackに参加して情報交換する
こんな方におすすめ
メリット
- 学習、配信、バッチ推論を一つのフレームワークで扱える
- Pythonネイティブなので既存コードを書き直さず広げられる
- 一台のノートPCから大きなクラスタまで拡張できる
- オープンソースで活動的なコミュニティがある
制限事項
- 分散システムの概念には相応の学習コストがある
- クラスタの計算費用はフレームワーク本体とは別にかかる
- 無料トライアルのクレジットには上限があり、その後は有料利用になる
- 掲載されている改善例は自分の案件に自動では当てはまらない
Ray とは
Rayは、Anyscaleが開発するオープンソースフレームワークで、AIワークロード全体の計算を管理、実行、最適化します。Pythonネイティブなので、既存のPythonコードを書き直すのではなく、分散・並列処理へ広げられます。画像、動画、音声を含む構造化データと非構造化データを扱い、ライブラリは分散学習、モデル配信、バッチ推論、Ray RLlibによる強化学習、生成AIの総合的なパイプラインをカバーします。異種GPUとCPUをきめ細かく使い、ノートPCから数千GPUのクラスタまで拡張できます。オープンソースで、Anyscaleにはクレジット付きの無料トライアルがあります。
できること
- 普通のPythonコードをクラスタ全体で並列化し、分散して動かす
- 生成AIの基盤モデルや従来型の機械学習モデルを大規模に学習する
- モデルや業務ロジックを独立したスケール設定で配信する
- CPUとGPUを混在させたオフラインのバッチ推論を一本の流れで実行する
- Ray RLlibで強化学習のワークロードを動かす
- 大規模言語モデルをオンライン用途やバッチ用途で配信し、微調整する
こんな人に向いています
- 本番向けのAIパイプラインを作る開発者
- 計算量が多く利用率の改善が課題な企業チーム
- 大規模データと複雑なモデルを扱う研究者
- ワークロードの調整と拡張方法を標準化したいプラットフォームチーム
注意点
分散システムの概念は本当に難しく、Rayを使ってもすぐになくなるわけではありません。タスクのスケジュール、アクターのライフサイクル、クラスタ設定などは学習時間が必要です。フレームワークはオープンソースですが、クラスタの計算資源は別費用で、Anyscaleの無料トライアルのクレジットには上限があり、その後は有料利用に進みます。掲載されている性能やコストの改善例は特定のワークロードから来るもので、自分の処理にそのまま当てはまるとは限りません。自分のデータで計測してから判断してください。クラスタ運用には信頼性とコスト管理の仕事も残り、設定を誤ると無駄な費用が発生します。
よくある質問
Rayとは何ですか。
Anyscaleが開発するオープンソースフレームワークで、AIワークロードの計算を管理、実行、最適化します。
無料で使えますか。
Rayはオープンソースです。Anyscaleプラットフォームにはクレジット付きの無料トライアルがあります。
どんなワークロードを扱えますか。
分散学習、モデル配信、バッチ推論、強化学習、生成AI、大規模言語モデルの推論と微調整を扱えます。
始めるのにクラスタは必要ですか。
いいえ。掲載情報では、ノートPCから数千GPUまで拡張できるとされています。
誰に向いていますか。
AIと機械学習の開発者、企業チーム、研究者に向いています。
無料で使える理由
公式ページの記載内容: 無料トライアル
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。