主な特徴
使える場面
- 書いた歌詞からポップ、メタル、ジャズの曲を生成する
- 多言語や言語をまたぐ曲を試す
- 歌詞から曲への生成とボーカルモデリングを研究する
使い方
- 1 YuEのリポジトリからモデルのチェックポイントをダウンロードします。
- 2 歌詞を用意し、言語とスタイルを選びます。
- 3 付属ツールで歌詞を複数の部分に分割します。
- 4 部分ごとに音楽を生成し、後でつなぎ合わせます。
- 5 必要ならアップサンプラを実行し、最終的な音源を書き出します。
こんな方におすすめ
メリット
- 無料でオープンソースとして利用・研究できる
- ボーカルと伴奏を含む曲全体を生成する
- 多くの言語とスタイルに対応する
- チェックポイントとアップサンプラで柔軟に使える
制限事項
- 技術的な設定が必要で、学習コストが高い
- 十分に動くには性能のあるハードウェアが必要
- オープンソースの条件やモデル更新は変わる可能性がある
- 出力の質にばらつきがあり、手作業での編集が必要なことが多い
YuE とは
YuEはオープンソースの音楽生成モデルです。与えられた歌詞に基づいて、ボーカルと伴奏を含む最大5分の楽曲を生成できます。対応言語には英語、中国語、日本語、韓国語などがあり、対応スタイルにはポップ、ロック、ジャズ、ラップなどがあります。現在は無料でオープンソースとして公開されており、チェックポイントとアップサンプラが用意されているため、用途に応じて拡張したり調整したりできます。このプロジェクトは、歌詞から曲への生成を探る研究者や創作者を対象としています。簡単なウェブアプリではなく技術モデルであるため、使いこなすには学習が必要で、快適に動かすには自分のハードウェアと設定が重要になります。
できること
- 書いた歌詞から、ボーカルと伴奏のある曲全体を作る。
- 英語、中国語、日本語、韓国語などをまたいで生成する。
- ポップ、ロック、ジャズ、ラップなどのスタイルを試す。
- チェックポイントやアップサンプラを使って出力を広げたり整えたりする。
こんな人に向いています
- 音楽生成モデルを研究する人。
- 歌詞から曲への生成を試したいミュージシャン。
- オープンソースの音声モデルを実験する開発者。
- 技術的な設定を自分で行える創作者。
注意点
YuEは技術モデルなので、学習コストと、十分に動くハードウェアが必要になることを想定してください。出力の質にはばらつきがあり、生成された曲を完成させるには手作業の編集や部分の接続が必要になることがあります。オープンソースであるため、規約、チェックポイント、更新内容は変わる可能性があります。最新の情報はプロジェクトのリポジトリで確認してください。ワンクリックで使える製品ではなく、研究と創作のための柔軟な手法として扱い、歌詞の準備と部分ごとの処理に時間を見積もってください。まずは一つの曲を最初から最後まで作ってみて、手順と結果の質に慣れてから範囲を広げるのがよいでしょう。
よくある質問
YuEは無料ですか?
はい。現在、モデルは無料でオープンソースとして公開されています。
何を生成できますか?
歌詞から、ボーカルと伴奏を含む最大5分の曲を生成できます。
対応する言語とスタイルは何ですか?
英語、中国語、日本語、韓国語などの言語と、ポップ、ロック、ジャズ、ラップなどのスタイルに対応します。
使うのは簡単ですか?
技術モデルなので、学習コストと適切なハードウェアが必要です。
無料で使える理由
公式ページの記載内容: 免费zh-継承済み
無料の上限、トライアル期間、機能は公式サイトが決定し、いつでも変更される場合があります。
製品プレビュー
一覧ページから保存したスクリーンショットです。プレビュー専用です。