音源分離の分離後出力ファイルについて

[東京大阪]

突然失礼します。音源分離システムを構築し音源分離しました。作成したシステムでは、SaveWavePCMというノードで、分離後の音声データが保存されるはずなのですが、どこにも保存されていませんでした。その際、エラー等は、出ていません。SaveWavePCMのノード設定は、以下のように設定しました。

Attachments:

1. 

   SaveWavePCM.png
   

[東京大阪]

以下のシステムでは音源分離行いました。

Attachments:

1. 

   .png
   

2. 

   .png
   

3. 

   .png
   

4. 

   .png
   

[東京大阪]

最後のです

Attachments:

1. 

   .png
   

[東京大阪]

伝達関数と録音音声（雑音０度、人の声１８０度）をシステムに適用しています。
音源定位は、正しくできていました。

[nterakado]

お問い合わせありがとうございます。

SaveWavePCM に設定したBASENAME は、実行したネットワークファイル（.nファイル）からの相対パスとなります。
したがって、ネットワークファイルを実行した箇所をご確認ください。
HARK Designerから実行していた場合、File　タブを選択して表示される File Manager ウィンドウで Path: にある箇所になります。デフォルトでは /usr/lib/hark-designer/userdata/networks ですが、ご自身の操作で変更されている場合がありますので、念のためご確認お願いします。

また、画面のキャプチャからでは十分な情報が得られませんので、
よろしければネットワークファイルそのものを添付頂けるとこちらでも調査が可能です。

以上、よろしくお願いいたします。
HARKサポートチーム

[東京大阪]

ご返信ありがとうございます。
音源分離ネットワークは、添付のもの（一つ目）を使いました。
保存先は、デフォルトで変わっていないと思います。
確認してみたのですがやはり生成できていませんでした。

Attachments:

1. 

   File.png
   

2. 

   .png
   

1. practice2_sep_rec.n

[東京大阪]

以下のURLで伝達関数、音声データがダウンロードできます。保存期間が短く申し訳ありません。
https://53.gigafile.nu/1215-cec809b45de6e89dd217a233f65ef64b6

[東京大阪]

音源分離後の分離音は、生成されましたが、音がなかったです。
音源分離で使用した音源は、しっかり再生でき音も聞こえます。
ノードの設定が悪いと考えているのですが、使用したノードどれが深く関わっているか分かりません。
ご教示お願い致します。

[nterakado]

ご使用のネットワークファイルですが、
保存される分離音声の音量が著しく小さくなっています。

生成されたwavファイルの音量を増幅することで聞こえるかと思います。
方法はいろいろとありますが、Audacityを使用した例を添付します。

また、保存される音量自体を大きくするためには、Synthesize ノードのOUTPUT_GAIN を大きく設定してください。

以上、よろしくお願いいたします。

Attachments:

1. Audacity_amplify.webm

[東京大阪]

返信ありがとうございます。ご指摘の通り、ノードの設定を変えると、音が聞こえるようになりました。
しかし、音源分離の精度が悪くなってしまいました。録音環境以外（ノードの設定）で改善することはできませんか。分離音は、定位ごとの音声ファイルが二つできていますが、二つ音源が聞こえており、あまり分離できていません。

[nterakado]

利用状況と目的がわかりませんので、何点か確認させてください。

１．マイクからの入力（オンライン）と、音源ファイルの入力（オフライン）のどちらを使用されていますか？
２．使用しているマイクもしくは音源ファイルはどのようなものでしょうか？
３．収録環境は屋内でしょうか？屋外でしょうか？
４．実行しているHARKのバージョンはいくつでしょうか？

また、可能であれば、詳細な目的と実行環境一式をご提供いただければ
もう少しご助言できるかもしれません。
（例えば、HARKが提供している音源ファイルを使用して音源分離について動作確認をしているのか、
ご自身のマイクアレイを利用したシステムのデバッグをされているのかでも対処方法が異なります。）

以上、よろしくお願いいたします。
HARKサポートチーム

[東京大阪]

１．マイクからの入力を使用している。
２．使用したマイクは、TAMAGO-03を使用しました。使用した音源ファイルは、以下のURLにあります。
　　　URL:https://firestorage.jp/download/3ee6ed5b5de547a82b6b872414702b93d80bf15c
３．収録環境は、屋内です。
４．実行しているharkのバージョンは、ubuntu20.04です。
使用目的は、音源を分離し、分離後と分離前の音の聞き取りやすさの評価がしてみたく使用しています。

[nterakado]

使用した音源ファイルを確認したところ、
ノイズの影響が大きいため音源定位が失敗している可能性があります。

音源が移動しないのであれば、ConstantLocalization ノードを使用して分離を試していただけますでしょうか。
ネットワークの sub_localization の部分で音源定位を実行する代わりに、
分かっている音源方向を入力することで、特定方向の音源のみを分離するようなアプローチです。
sub_localization を置き換えるような形で使用できるかと思います。

また、分離行列をある程度適応学習していますので、うるさい⇒静かで雑音が変わっていっているようなデータですが
静か⇒うるさいという感じで変わる方が評価の結果は多少よくなると思われます。

上記で分離ができるようであれば、
BGNEstimator を使用してノイズ抑制を行うことも効果があるかと思います。

以上、よろしくお願いいたします。
HARKサポートチーム

[東京大阪]

返信ありがとうございます。前回より、録音環境を見直すと、音源定位は、正しくできていそうです。
現在、Oct Band Noice を使用して音源分離を行っており、０度で8khz、１８０度で4khzで流し音源分離を行っています。しかしながら、音源定位は、正しくでき、音源分離のネットワークもエラー等出ずに実行できるのですが、生成された音源分離ファイルのsep_0以外が、こもったような分離音になってしまいます。使用したネットワークと入力ファイル（音声）と分離音と伝達関数が下記のURLにあります。
https://firestorage.jp/download/dfe2de78e1c5e0b29e9e98a4d861a605b6ad3821
ご迷惑おかけして申し訳ありません。

[東京大阪]

解決しました。ご迷惑をお掛けして申し訳ありません。

[Author]

Posts