主な特徴
使える場面
- ゲーム開発者が動的な環境映像を生成する
- 映画制作者がシーンの変化をプレビューする
- アニメーターが素早くシーンのレイアウトを作る
使い方
- 1 Pandoraのサイトを開き、利用上の注意を読む
- 2 作りたいシーンへの自然言語の行動を入力する
- 3 生成された動画を見て、指示を調整する
- 4 学んだ行動を別のシーンで試す
- 5 行動を入力し続けて動画を延長する
こんな方におすすめ
メリット
- 無料で試せる
- プロンプト時だけでなく生成中も操作できる
- 大きく異なる領域でも動作する
- 学習データより長い動画を出力する
制限事項
- 研究段階で、サイト自身が一貫性、複雑な場面、常識、物理、指示遵守の失敗を挙げている
- 試行とプロンプトの調整が何度も必要
- 無料提供の範囲は変更される可能性がある
- 実制作に使うには編集が必要
Pandora とは
Pandoraは、汎用の世界モデルに向けた一歩として紹介されているツールです。動画を生成することで世界の状態を模し、開始時のプロンプトだけではなく、映像が作られている最中でも自然言語の行動を入れて流れを変えられる点が、一般的なテキストから動画を生成するモデルとの違いです。屋内と屋外、自然と都市、人間とロボット、二次元と三次元といった大きく異なる設定でも生成でき、行動を変えた場合の別の未来を予測したり、ある領域で学んだ行動をまだ見ていない領域へ移したりできます。自己回帰的な仕組みにより、学習に使った映像より長い動画を出力し、フレーム補間で動きを滑らかにします。無料で試せる反面、研究段階の位置づけです。
できること
- 生成中の動画を自然言語の行動でリアルタイムに操作する。
- 屋内外、都市、ロボットなど多くの環境で映像を生成する。
- 行動の違いから生じる複数の未来を比べる。
- 学んだ行動を別の領域で再利用し、動画を延長する。
こんな人に向いています
- ゲーム用の環境映像を試作したい開発者。
- シーンがどう変化するかを先に見たい映画制作者。
- 世界モデルの動きを手で触って確認したい研究者やアニメーター。
注意点
サイトは制限を隠していません。動画の一貫性が保てない、複雑な場面が苦手、常識や物理法則をうまく扱えない、指示どおりに動かないといった失敗が明記されています。そのため、最初の一度で完成した結果が出るとは考えず、何度も試して指示を調整する前提で使ってください。生成物をそのまま制作に流用するのではなく、編集の手間を見込むのが現実的です。研究用デモの無料提供は変更されることがあり、操作も決まった手順を追うというより試行錯誤向けです。行為の結果の予測はあくまでモデル上の出力であり、事実として扱わないでください。
よくある質問
Pandoraは無料ですか?
サイトでは無料で利用できると説明されています。
テキストから動画を作るものとどう違いますか?
生成の開始時だけでなく、途中のどの時点でも自然言語の行動を入力できます。
信頼できますか?
サイトは動画のばらつき、物理の弱さ、指示の不完全な遵守などを制限として挙げており、実験的な扱いが前提です。
無料で使える理由
公式ページの記載内容: 無料で
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。