GPTFree
DaVinci MagiHuman

DaVinci MagiHuman

1枚の写真から話す動画を作るAI

写真と台本から口が合う動画を生成

動画生成AIモデル AIリップシンク動画生成オープンソースモデル
公式サイトを開く →

主な特徴

Apache 2.0のライセンスで重みとコードが公開
1枚の正面ポートレートから動画を作成
音声と映像を一度の処理で生成
H100で256pの2秒動画を約2秒で描画

使える場面

  • バーチャルプレゼンター動画をコンテンツ制作で使う
  • 地域や言語向けの製品紹介動画を作る
  • 写真と台本から授業用動画を作る
  • 研究で音声映像生成を試す

使い方

  1. 1 鮮明な正面のポートレートと、台本または音声ファイルを用意する
  2. 2 256p、720p、1080pなど出力解像度を選ぶ
  3. 3 入力を送信し、生成が終わるまで待つ
  4. 4 完成した動画をダウンロードする
  5. 5 必要ならHugging Faceから重みを取得して自前で動かす

こんな方におすすめ

プレゼンター動画を作るコンテンツ制作者音声映像生成を研究する人多言語の製品紹介動画を作るマーケター

メリット

  • 寛容なライセンスで重みが公開されている
  • 必要な写真が1枚だけで始めやすい
  • 別の音声合成ステップが不要
  • 適切なハードウェアでは推論が速い

制限事項

  • ホスト版デモの利用条件はモデルライセンスと異なる場合がある
  • リアルなトーキングヘッドはなりすましに悪用されるおそれがある。本人の同意なく他人の顔や声を使うと、プラットフォームの規定や法律に違反する可能性があり、その結果は利用者が負う
  • 記載された速度はH100クラスのGPUを前提としている

DaVinci MagiHuman とは

DaVinci MagiHumanは、1枚のポートレート写真と台本または音声を使って、発話に合わせて口が動く動画を生成するオープンソースモデルです。音声と映像を別々に用意して後から合わせるのではなく、一度の生成で両方を扱う点が特徴です。150億パラメーターのモデルで、重みとコードはApache 2.0のもとで公開されています。無料で使えるホスト版デモも用意されているため、まずはデモで動作を確認できます。

できること

- 1枚の参考ポートレートから、話す人物の動画を作る。

- 台本または音声を入力に、口の動きを合わせた映像を生成する。

- 音声と映像を同じ処理で作り、別の音声合成工程を省く。

- 256pから1080pまで、出力解像度を選んで生成する。

こんな人に向いています

- プレゼンター動画やバーチャルアナウンサー動画を作る制作者

- 音声と映像の生成を研究する研究者

- 製品紹介動画を複数言語で作りたいマーケター

- オープンソースモデルを自前環境で試したい開発者

注意点

ホスト版デモとモデル本体のライセンスは別の話なので、デモを使う前にその利用条件を確認してください。リアルな話す人物の動画は、本人の同意がないまま使うと重大な問題になります。他人の顔や声を無断で使うなりすまし目的の利用は、学校やプラットフォームの規定に違反する可能性があり、結果は利用者が負います。記載された推論速度はH100クラスのGPUが前提です。自前運用ではハードウェアの準備が必要で、まず小さな動画で手順を確認するとよいでしょう。

よくある質問

DaVinci MagiHumanは無料で使えますか?

モデルの重みとコードはApache 2.0で公開され、無料のオンラインデモもあります。ただしホスト版デモには独自の条件がある場合があり、自前運用ではライセンスを守る必要があります。

動画生成には何が必要ですか?

鮮明な正面のポートレート写真と、台本または音声ファイルが必要です。

生成速度はどのくらいですか?

提供元によれば、1枚のNVIDIA H100で設定にもよりますが、256pの2秒動画を約2秒で生成できるとされています。

誰が開発しましたか?

Sand aiと上海交通大学のGAIR Labにより公開された、150億パラメーターのモデルです。

無料で使える理由

公式ページの記載内容: 免费zh-継承済み

無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。

製品プレビュー

DaVinci MagiHuman 製品プレビュー

一覧ページから保存したスクリーンショットです。プレビュー専用です。

DaVinci MagiHuman

1 枚の写真から口パクのしゃべる動画を生成するオープンソースの AI モデルです。オンラインで無料体験できます。

公式サイトを開く →

関連する無料ツール