AI/IoT

【音源分離】ボーカル、楽器パート抽出ができるライブラリSpleeterを試す

まえおき

  1. ボーカルの声や楽器だけを抽出して編集とかして遊んでみたい
  2. しかし特定の音を抽出できるアプリやサービスは現時点ではない
  3. pythonで簡単に使えるSpleeterというライブラリならある

今回のプログラムはGoogle Colaboratoryを使用して紹介します。もしGoogle Colaboratoryを使ったことがない方やGoogleアカウントを持っていない方はこちらのサイトを参考にしてから進んでください。

プログラムをGoogle Colabで開く

まずはここからプログラムを開いてください。

この先を読み進めなくても、ノート内に詳細を書いておいたのでそちらを読んでもらえばよくわかるかと思います。

開くと以下のようなノートが開かれます。詳細はノート内に詳しく書いたのでそちらを参考にしてください。

 

Spleeterを実行してみよう

私がそれぞれの抽出モードで実行してみた結果をお見せしますので、よかったら見てください。

使用した音源は以下の3つです。

使用する音源

Chilli Beans. アンドロン

一つ目はChilli Beans.のアンドロンという曲です。抽出モードは’2’(ボーカル & 楽器)で試してみます。

選んだ理由は私が最近がハマっている曲だからです。

Red Hot Chili Peppers – Dani California

二つ目はRed Hot Chili PeppersのDani Californiaという曲です。抽出モードは’4’(ボーカル & ドラム & ベース & その他)で試してみます。

選んだ理由は各パートかっこいいからです。

Oasis – Don’t Look Back In Anger

三つ目はOasisのDon’t Look Back In Angerという曲です。抽出モードは’5’(ボーカル & ピアノ & ドラム & ベース & その他)で試してみます。

選んだ理由はピアノパートもありドラム、ベース、ギターもあるからです。

理由はどれも単純です。

 

YouTubeにある音源をダウンロードしたい場合は以下の記事を参考にしてください。

youtube-dlの代わりにyt-dlpをインストールする最近youtube-dlのダウンロードスピードが遅いと感じました。調べてみると他の人も同じような症状で、どうやらyoutube-dl側が意図的にダウンロードスピードを遅くさせているらしい。なので代わりとなるyt-dlpをインストールし環境変数を設定し使えるまでを紹介します。...

実行してみた結果

実際にそれぞれの曲を違う抽出モードで実行してみた結果を聞いてみてください。

Chilli Beans. アンドロン(抽出モード’2’)

ボーカルパート


楽器パート

楽器パートは100点と言っていいほど良く抽出できています。

ボーカルも「とてもきれいに」とまではいかないもののちゃんと抽出できています。

Red Hot Chili Peppers – Dani California(抽出モード’4’)

ボーカルパート

ベースパート

ドラムパート

その他(ギター)パート

ドラムはきれいに抽出できています。

ボーカルとベースもそこそこきれいに抽出できていました。

ギターはクリーンサウンドのところは微妙ですがオーバードライブがかかっているところではそこそこきれいに抽出できていました。

Oasis – Don’t Look Back In Anger(抽出モード’5’)

ボーカルパート

ピアノパート

ベースパート

ドラムパート

その他パート

モード5ではボーカルがきれいに抽出できていました。

ピアノパートは最初だけで、あとは消えてしまいました。

ベースとドラムは重低音に偏ってる感じでした。(イコライザーやノイズゲートかませばうまくいけそう)

その他のパートはまあまあでした。ピアノパートがこっちで抽出されていましたが。。。Oasisのピアノはどちらかと言ったらオルガン系の音と認識されてしまったのかな?

 

まとめ&使ってみた感想

Spleeterの感想まとめ

  • 抽出モード’2’ではボーカルも楽器もどちらもきれいに抽出できる印象
  • 抽出モード’4’と’5’はどうやら音楽のジャンルや使用している楽器の音色によって得意不得意がありそう
  • 予想だが、おそらくJ-POPやエレクトロメタルコアなどの電子音・ボコーダーを使った音源は苦手そう

今回は音源から指定したパートの音を抽出するライブラリSpleeterについて紹介しました。使ってみた感想は上に書いてある通りです。

感想としては抽出モード’2’を使えばだれでも簡単にカラオケ音源を作ることができそうです。

今後は様々なジャンルの音楽を抽出して、その結果を聞いてみたいと思います。もちろんその結果も次の記事に書きますね。

 

それでは。ばーいばい。

ABOUT ME
Toru
24歳。会社資料の文章力を鍛えるためにブログ開設。機械学習・ディープラーニング勉強中。プログラミング、デバイス、PC、ガジェット類について紹介していきます。

COMMENT

メールアドレスが公開されることはありません。