- This topic has 13 replies, 3 voices, and was last updated 9 months, 1 week ago by
.
-
申し訳ありませんが、私はまだ少し混乱しています。参考にできるサンプルプログラムはありますか？また、PyCodeExecutorを使用してファイル名を渡す方法が、画像に示されているようにする必要があるのかどうかも知りたいです。というのも、画像の方法で渡すとエラーが発生するためです。以下にPythonプログラムの画像も添付します。
(画像のアップロードにエラーがあったため、もう一度新しくアップロードしました。)回答が遅くなり申し訳ございません。サンプルを作成致しました。
添付ファイルの Python ノードを LOOP0 の中にある AudioStreamFromMic や AudioStreamFromWave の代わりに使用して頂くとご希望の動作になると考えております。
MAIN には LOOP0 のみ存在し、また LOOP0 については出力端子のみとなるネットワークになります。InputStream ノードなどは必要なくなります。まず、 PyCodeExecutor3 ノードに出力端子 AUDIO と NOT_EOF を追加してください。AUDIO 端子の出力を AudioStreamFromXXXX ノードの出力と同様に接続して頂き、NOT_EOF 端子の出力に CONDITION を設定します (Set as Condition) 。 AudioStreamRepeaterFromWave.png のようになります。
また、必須ではないのですが NOT_EOF 端子に対して Set as Output で出力端子としても設定して下さい。これは HARK-Designer の不具合なので動作には影響がないのですが、入出力が設定されていない任意の端子(接続が必須でない端子)が存在する場合、次回ネットワークを開いた際に端子が非表示になるという問題を避けられます。
次にパラメータの設定を添付の AudioStreamRepeaterFromWave_parameters.png のように設定します。AudioStreamRepeaterFromWave.py (zipで圧縮して添付しています) の実装の概要ですが、
load_file メソッドは単独のファイルを読み込んで AudioStream のためのバッファ self.frames を作成します。 self.frames.shape は (frames, channels, length) で calculate メソッドの実行時(各フレームの処理時)に (channels, length) サイズの numpy.array() を出力するために使用します。 2次元配列は C++ 側で HARK::Matrix として変換されるため AudioStreamFromMic や AudioStreamFromWave の出力と同様の形式で出力されます。
load_files メソッドは複数ファイルを連結して読み込む例として実装させて頂きました。AudioStream のバッファをどのように結合するかの参考になれば幸いです。チャネル数やフレーム長(length)が変わる場合にはバッファを再構築する仕様で実装しております。添付の Python ノードをご使用になる際の注意点として、 sliding_window_view を使用しておりますので numpy の 1.20.0 以降が必要となります。
以上、宜しくお願い致します。
HARK Support Team.上記の方法を使用した結果、成功したようですが、出力がされていないようです。ネットワークファイルにDispalyLocalizationを追加すると、連続実行が直ちに中断されることがあります。以下の画像では、2番目のPythonノードが認識された座標を出力するはずですが、実行後に何も表示されません。そのため、最初のPythonノードが各フレームの情報を出力できていない可能性があると考えています。
Attachments:
頂いたノード (定位結果を CSV ファイルに出力する Python ノード) の実装を用いて Ubuntu がインストールされた VM 上で動作の確認をさせて頂きました。
結果が得られないという状況が再現できず、定位結果が正常に CSV ファイルに保存されていましたので下記についてご確認ください。１． “all” などの出力端子が MAIN (LOOP を置いている subnet) でも出力端子が設定されていること。
これが行われないとノードが実行対象から除外されている可能性があります。２． DisplayLocalization ノードの代わりに SaveSourceLocation ノードなどでファイル出力を行う。
XML 形式で読みづらい出力ファイルとなってしまいますが、ファイルは確実に出力されますので定位が出ているか否かの確認が出来ます。Python ノードに起因する部分を無視できますので、ここで定位結果が得られない場合は定位が出来ていない可能性が御座います。３．CSV ファイルの出力先のアクセス権をご確認ください。
書き込み禁止の場所で実行しますとファイルが生成されない事が御座います。４．下記のサンプルで結果が得られることをご確認ください。
下記の URL に我々が提供しているサンプルが御座います。
https://hark.jp/download/samples/
下記のサンプルファイルをダウンロードして頂き、
https://hark.jp/networks/HARK_recog_3.0.0_practice2.zip
本投稿に添付している patch.7z の内容を上記サンプルのディレクトリ内に展開します。
export OPENBLAS_NUM_THREADS=1 && ./sep_rec_offline_loop_wo_disp_write_csv.n
のように実行して頂くと、処理が行われ 999.py の結果が output.png にあるような内容で出力されます。
最初の環境変数設定はコア数の多いPCで処理速度が落ちないようにするために設定していますが、無くても実行は可能です。５．以上の対処で解決が出来ない場合は、実行環境の HARK を最新版に更新することをご検討ください。HARK 講習会などで使用している既に HARK がインストール済みの VM イメージを一般公開しております。下記の URL の「第22回HARK講習会用のファイル一式の URL」から VM イメージを取得する事が可能です。
https://www.hark.jp/document/tutorial/2023/practice0.html———-
DisplayLocalization を接続すると Python が応答なしとなる件について：
原因は Python の GIL に起因するもので複数の Python ノードを使用している場合に UI を描画するノードを使用すると処理が重い場合に応答なしのダイアログが表示されるという状況が発生していることが分かりました。ダイアログを「キャンセル」で閉じると処理が継続されますが、頻繁に停止してしまうことから描画系のノードは使用を控えてファイル出力などでご対応頂けないでしょうか。
PyHARK では各ノードをマルチスレッド・マルチプロセスで処理を行っておりますので PyHARK に移行して頂くことでも回避が可能です。もし PyHARK にご興味が御座いましたら、下記 HARK 講習会の資料でも紹介しております。 practice3 が PyHARK の紹介となっております。
https://www.hark.jp/document/tutorial/2023/practice0.html
https://www.hark.jp/document/tutorial/2023/practice1.html
https://www.hark.jp/document/tutorial/2023/practice2.html
https://www.hark.jp/document/tutorial/2023/practice3.html以上、宜しくお願い致します。
HARK Support Team.-
This reply was modified 9 months, 1 week ago by
.
-
This reply was modified 9 months, 1 week ago by
-
This reply was modified 9 months, 1 week ago by
Attachments:
> 音声ファイルが30チャンネルのWAVファイルであることが原因で、
はい。30チャネルの入力の場合には HARK をソースコードからビルドし直す必要がございます。
現在公開しているパッケージ版の HARK では、扱えるチャネル数や音源数などに上限がありそのままでは処理できません。上限を変更するためには、ソースコードを一部書き換えて再ビルドする必要がございます。
ビルドする前に、
hark-coreパッケージのlibseparation/MICARY_def.hファイルに記述されているマクロ定義__MICARY_def_MAX_NCHおよび__MICARY_def_MAX_NSRCの値を変更してください。上限ですので今回は 16 から 32 などに変更する必要がございます。
libseparation という名称ですが、分離以外のノードでも参照されているため変更が必要となります。
例えば、お使いのネットワークの場合 Beamforming ノードでも使用されています。具体的なビルド方法につきましては、 Installation from Source Compilation の Step5 : hark-core installation instruction をご参照ください。
PyHARK ではリファクタリングされており、この制限が無く再ビルトが不要です。
以上、宜しくお願い致します。
HARK Support Team.
- You must be logged in to reply to this topic.