HARK FORUM › 音源分離の分離後出力ファイルについて
- This topic has 14 replies, 2 voices, and was last updated 2 years, 11 months ago by 東京大阪.
-
AuthorPosts
-
December 7, 2021 at 2:48 pm #2488
突然失礼します。音源分離システムを構築し音源分離しました。作成したシステムでは、SaveWavePCMというノードで、分離後の音声データが保存されるはずなのですが、どこにも保存されていませんでした。その際、エラー等は、出ていません。SaveWavePCMのノード設定は、以下のように設定しました。
Attachments:
December 7, 2021 at 2:50 pm #2490以下のシステムでは音源分離行いました。
Attachments:
December 7, 2021 at 2:51 pm #2495最後のです
Attachments:
December 7, 2021 at 2:59 pm #2497伝達関数と録音音声(雑音0度、人の声180度)をシステムに適用しています。
音源定位は、正しくできていました。December 7, 2021 at 7:26 pm #2498お問い合わせありがとうございます。
SaveWavePCM
に設定したBASENAME は、実行したネットワークファイル(.nファイル)からの相対パスとなります。
したがって、ネットワークファイルを実行した箇所をご確認ください。
HARK Designerから実行していた場合、File
タブを選択して表示されるFile Manager
ウィンドウで Path: にある箇所になります。デフォルトでは/usr/lib/hark-designer/userdata/networks
ですが、ご自身の操作で変更されている場合がありますので、念のためご確認お願いします。また、画面のキャプチャからでは十分な情報が得られませんので、
よろしければネットワークファイルそのものを添付頂けるとこちらでも調査が可能です。以上、よろしくお願いいたします。
HARKサポートチームDecember 8, 2021 at 1:07 pm #2499ご返信ありがとうございます。
音源分離ネットワークは、添付のもの(一つ目)を使いました。
保存先は、デフォルトで変わっていないと思います。
確認してみたのですがやはり生成できていませんでした。December 8, 2021 at 1:22 pm #2503以下のURLで伝達関数、音声データがダウンロードできます。保存期間が短く申し訳ありません。
https://53.gigafile.nu/1215-cec809b45de6e89dd217a233f65ef64b6December 9, 2021 at 12:04 pm #2504音源分離後の分離音は、生成されましたが、音がなかったです。
音源分離で使用した音源は、しっかり再生でき音も聞こえます。
ノードの設定が悪いと考えているのですが、使用したノードどれが深く関わっているか分かりません。
ご教示お願い致します。December 9, 2021 at 2:47 pm #2505ご使用のネットワークファイルですが、
保存される分離音声の音量が著しく小さくなっています。生成されたwavファイルの音量を増幅することで聞こえるかと思います。
方法はいろいろとありますが、Audacityを使用した例を添付します。また、保存される音量自体を大きくするためには、
Synthesize
ノードのOUTPUT_GAIN を大きく設定してください。以上、よろしくお願いいたします。
Attachments:
December 15, 2021 at 3:53 pm #2507返信ありがとうございます。ご指摘の通り、ノードの設定を変えると、音が聞こえるようになりました。
しかし、音源分離の精度が悪くなってしまいました。録音環境以外(ノードの設定)で改善することはできませんか。分離音は、定位ごとの音声ファイルが二つできていますが、二つ音源が聞こえており、あまり分離できていません。December 16, 2021 at 6:22 pm #2508利用状況と目的がわかりませんので、何点か確認させてください。
1.マイクからの入力(オンライン)と、音源ファイルの入力(オフライン)のどちらを使用されていますか?
2.使用しているマイクもしくは音源ファイルはどのようなものでしょうか?
3.収録環境は屋内でしょうか?屋外でしょうか?
4.実行しているHARKのバージョンはいくつでしょうか?また、可能であれば、詳細な目的と実行環境一式をご提供いただければ
もう少しご助言できるかもしれません。
(例えば、HARKが提供している音源ファイルを使用して音源分離について動作確認をしているのか、
ご自身のマイクアレイを利用したシステムのデバッグをされているのかでも対処方法が異なります。)以上、よろしくお願いいたします。
HARKサポートチームDecember 21, 2021 at 1:08 pm #25111.マイクからの入力を使用している。
2.使用したマイクは、TAMAGO-03を使用しました。使用した音源ファイルは、以下のURLにあります。
URL:https://firestorage.jp/download/3ee6ed5b5de547a82b6b872414702b93d80bf15c
3.収録環境は、屋内です。
4.実行しているharkのバージョンは、ubuntu20.04です。
使用目的は、音源を分離し、分離後と分離前の音の聞き取りやすさの評価がしてみたく使用しています。December 21, 2021 at 3:45 pm #2512使用した音源ファイルを確認したところ、
ノイズの影響が大きいため音源定位が失敗している可能性があります。音源が移動しないのであれば、
ConstantLocalization
ノードを使用して分離を試していただけますでしょうか。
ネットワークの sub_localization の部分で音源定位を実行する代わりに、
分かっている音源方向を入力することで、特定方向の音源のみを分離するようなアプローチです。
sub_localization を置き換えるような形で使用できるかと思います。また、分離行列をある程度適応学習していますので、うるさい⇒静かで雑音が変わっていっているようなデータですが
静か⇒うるさいという感じで変わる方が評価の結果は多少よくなると思われます。上記で分離ができるようであれば、
BGNEstimator
を使用してノイズ抑制を行うことも効果があるかと思います。以上、よろしくお願いいたします。
HARKサポートチームDecember 22, 2021 at 5:29 pm #2513返信ありがとうございます。前回より、録音環境を見直すと、音源定位は、正しくできていそうです。
現在、Oct Band Noice を使用して音源分離を行っており、0度で8khz、180度で4khzで流し音源分離を行っています。しかしながら、音源定位は、正しくでき、音源分離のネットワークもエラー等出ずに実行できるのですが、生成された音源分離ファイルのsep_0以外が、こもったような分離音になってしまいます。使用したネットワークと入力ファイル(音声)と分離音と伝達関数が下記のURLにあります。
https://firestorage.jp/download/dfe2de78e1c5e0b29e9e98a4d861a605b6ad3821
ご迷惑おかけして申し訳ありません。December 23, 2021 at 9:08 am #2514解決しました。ご迷惑をお掛けして申し訳ありません。
-
AuthorPosts
- You must be logged in to reply to this topic.