ちょうど1ヶ月ぐらい経ったので今はどうやって曲を作ってるかの話を備忘録がてらまとめです。
これまで作った曲はYoutubeにアップロードしているので適当にどうぞ。
テーマ探し
テーマはだいたいキーワードを思いついてそれを膨らませるか、ChatGPTさんに適当に話を振ることが多いです。
ひどいケースだと酔っ払いが回ってるのを見て詞を作ったこともあります。
逆にテーマ、タイトル、メタファーを決めてガチガチに作ってるような詞もあります。
というので、この辺は本当に気分次第というか、しっくりくるものが思いつくかどうかです。
詞の作成
詞の作成は自作の作詞家GPTsにテーマや思いついたタイトル、メタファーなどを突っ込んでとりあえず適当な歌詞を作ってもらいます。
ただ、やりとりを見て分かる通り、あまり満足のいく結果は得られません。
仕方ないので自分で詞を書き換えてます。ここは自分で思いついた言葉を使うときもあるし、辞書を引いたり、ChatGPTに別の表現を聞いたりもします。
そんなこんなで、6割から9割ぐらいは書き換えることが多いです。
手間はかかるけど楽しい作業ですね。
Suno AIで曲を作成
最近のプロンプトはもうほぼ決まっていて
Hi-Fi music in Japanese, <ジャンル>. <楽器>.
みたいな指定が多いです。Hi-Fiといれても別にHi-Fiにはならないのですが、まぁ気分です。
あとはまぁ適当に詞を入れながらひたすら生成をします。最新の曲だと13ページ、1,000クレジットちょい注ぎ込んでいます。
クレジット注ぎ込むときはだいたいゆったりした曲が多いです。そういう曲はどうしても曲が途中で切れてしまい、直前の曲の一部を繰り返したいけどそれができなくなるというので何とか気に入ってかつ切れない曲を探すのに費やしてしまいます。
最新の曲はちょっとチャレンジしていて、Aメロ・Bメロ・サビを繰り返したい・・・！でも、1分20秒制限（曲の続きは1分制限）でうまく収まらないで切れてしまうというのでかなり費やしました。
逆に早いのだと300クレジットぐらいで作れたりもします。
ついでに詞自体の調整も生成しながら生成していて、読めない漢字をひらがなに直したり、おさまりの悪い言葉を削ったり、制限の兼ね合いで足したり・引いたり、継続させる兼ね合いで歌われなかった箇所をもう一度とかもしています。
曲の補正
生成した曲もいろいろやっています。ただ、この辺は正しいやり方かはわかっていないです。誰かこの道があっているのか教えてほしい。
1. 音の修復
今のところ絶対やるようにしているのは、まず声が潰れているように感じることがあるのでRX 10のDe-Clipをかけています。曲次第ではNormalizeを前にかけることもあります。
次に15k以上がだいたいなくなっているのでUNCHIRPで補正してます。RX 10 Advancedにも同様の機能がありますが、あんな高いものは持っていないです。
音がこもってると感じたときに同社のUNFILTERを使うこともありますが、これでうまくいったと感じることはないです。だいたいかけすぎてダメになるので調整力が足りない。
2. 楽器分離
これはやらないことも多いのですが、SynthesizerVでボーカルを置き換えたいときや、ボーカルの一部を落としたりするさいに分離をやってます。
いろいろ触った結果、LALAL.AIとdemix proのどちらかを使う形で落ち着いています。
demix proはボーカルだけにしやすいですが代わりに分離した曲の方に一部声が残り、ボーカルの声がやせることがあります。逆にLALAL.AIはボーカルの声は維持しやすいですが声に曲が残ることがあります。（僕の印象です）
というので、ここを使い分けています。
はじめのころは分離できるだけ分離して、それをミキシングして、マスタリングして・・・としていましたが、それだとかなりカスカスな音になってしまい元のmp3がよかった・・・ということも多かったです。今はもうボーカルの声とそれ以外だけを分離するぐらいにしてます。
3. (Optional) Synthesizer Vで新しいボーカルの作成
最近の新しいチャレンジでSynthesizer Vでボーカルの声だけ置き換えるというのもやりはじめました。
Suno AIが生成したボーカルの声が汚いと感じるケースがよくあり、それならボーカルをまるっと置き換えればいいじゃんというので始めてます。
あとは生成AIで問題になる一貫性へのチャレンジですね。上手くやれば1人がいろんな曲を歌ってるようにできるとファンを作りやすいかなみたいな感覚です。
とはいえ、音声合成難しいよな・・・と思っているところに神アップデートがきてくれました。
ボーカルMIDI変換
また1.11.0b1アップデートでは、革新的なボーカルMIDI変換機能が追加されました。インポートしたオーディオを、右クリックすることで使用できます。
この機能ではソロボーカル音声から音符を抽出し、譜面の入力プロセスを大幅に効率化します。
この機能がきてたらたぶんやっていなかったです。
実際に触ってみた感じだと歌詞の認識は結構甘いと思いました。地道に歌詞を修正して、ピッチがおかしいところを修正して・・・と作業は必要ですが、神機能なしではそもそも譜面を作れないので助かるのは間違いないです。
Suno AI版とSynthesizer V版で聴き比べたい方はこちらをどうぞ。
4. ミキシング&マスタリング
この領域はもう何もわからないので、Nectar、Neutron、Ozone頼りです。とりあえずここの使い方だけは覚えました。
ついでに各トラック、特にボーカルにはさらにUNCHIPE、UNFILTER、UNVEILをかけることも多いです。あと全トラックにとりあえず突っ込めという話なのでINTENSITYつっこむときもあります。違いはわかりません。
僕のマシンは増強済みのIntel Macですが、個別のトラックを突っ込んだあとはだいたいOzoneが動かなくなるのでFreezeして回避してます。新しいMac miniほしい。
本当はMelodyne5使って発音の修正とか、MIDI修正なんかもやれるようになりです。ただ、もういろいろやりすぎて勉強する時間が取れない・・・。
動画用の画像生成
曲ができたら動画で使う画像を生成します。はじめはReplicateを使っていましたが、最近はAkumaを使うようにしています。
Replicateもお手軽で悪いわけではないです。Akumaの方が公開されているモデルやLoRA、Embdding、VAEなど弄れる幅が広く詰めやすいという感じです。
ただ、Akumaも最新の画像生成AIの技術が使えるわけではないので、本当に詰めたくなったらRunDiffusionを使うかなと考えてます。
こちらだとAutomatic111のWebUIやComfyUIなどが使えるので、より詰めやすいかなと思います。
愛用しているモデルはLaridae_v1とPastel-Mixです。
Pastel-Mixは顔に影がかかりやすいので、Front face lightingのLoRAと合わせて使っています。
余談ですが、首まわりに襟やマフラーなどがつきやすいのでプロンプトでneck, clavicleと指定してます。決して首周りが好きなわけではないです。むしろ肋骨派。
画像の修正
この生成した画像を
こうして
こうして
こうすると
こうなる。やったね！
色合いや、影のかかり方の強さによってはPhotoshpで調整することもあります。今回のはこのぐらいの雰囲気が良かったのでやってません。
7. 動画の作成
動画ではオーディオビジュアライザーを使いたいのでFilmoraを使っています。
動画編集用にPremiere Proも契約してますが、そこまで凝った動画にするわけではないので手軽にでできるFilmora推しです。
本当はStable Video DiffusionやRunway、D-ID、PIkaなどで動画生成をできれば良かったのですが、元画像のPastel-Mix系のイラストがダメなのか、僕の腕が悪いのかあまり良い形にはできませんでした。
また、TextAliveで歌詞付きの動画にするのも1度はチャレンジしましたが、あまりしっくりこなかったのと、手間の大きさで断念しています。
というので、動画自体は作成した曲に画像、オーディオビジュアライザーにいくつかのエフェクトを入れたら完成です。
Filmoraには字幕生成の機能があるのでできればちゃんと字幕設定もしたいですが、手間が大きすぎて・・・この辺はAIパワーで勝手にやってくれるようになってほしいです。
SunoAI版と編集版の比較
個人的にはいろいろと聞きやすく、見やすくなったかなと思います。
ちなみにこの曲は尻つぼみになってしまいました。一応そうじゃないのも置いておきます。
クレジット300ぐらいを費やして歌ってくれたのがこれだけで、とても迷いましたがそこまで好みでもなかったので諦めました。
余談ですが男性ボーカルで結構良いのも出ていたので供養で置いておきます。女性ボーカルの曲で固める方針なので仕方ないのです。ただ、この気持ち悪い歌詞は男性ボーカルの方がよかったなと反省です。
Youtube
たしか、10数曲作った時点でアップロード用にYoutube作りました。主に僕がYoutube Musicで聴く用ではあるのですが、同じような曲が好きな人に向けておすそわけ的な意味で公開設定にしてあります。
そういうつもりでしたが公開しておいたおかげでどんな曲が好まれるのかというのを見れるのはいいなと今では思っています。
というのも、さすがに20曲ちょい作ってると作りたいテーマが枯渇してきているというのもあり、あえて聞いてもらえるやつを分析して似たような要素を作るのも勉強になっていいなと。
まぁ、軸として僕の好きな曲を生成するというのがあるので、そこは絶対に外さないですけど。
おわりに
というので最近のSuno AIで楽しんでるところの話でした。
もっと好きで好きでたまらない曲を作れるようになりたいなー。