[moriya]

質問２について、使用用途について説明させてください。

●いただいたご回答
> SourceSelectorByDirectionは静止した話者方向のみを残すフィルタリングを目的としているため、フィルタリングする角度情報を動的に与えることは出来ません。HARK-Python等でSource情報を入力してフィルタ方向を決定するノードを実装する必要があります。
> 前回の図ではConstantLocalizationを使用されていますが、時間で動的に変化する音源を追跡するという事で宜しいでしょうか？その場合には、LocalizeMUSIC等の定位ノードで音源検出を行う必要があります。
> 動的に変化する音源であるが、音源方向が既知であるという場合についても考えましたがマイクアレイからの入力との事でしたので、お使いになる用途について確認させて頂ければと思います。

●使用用途
質問が下手で、お手数おかけして申し訳ございません。
ConstantLocalizationは、harkが分かっていない状態でしたので、このノードでできそうかなぁと思って書いていました。

やりたいことは、「動的に変化する音源で、音源方向が既知である(外部でプログラムが方向を知っているのでHARKに渡したい)が、音源方向が固定ではなく動的(時間で任意に変化)な場合のフィルタリングです」。音源の定位（方向の認識）は外部プログラム(自前のアルゴリズム)を使う想定です。

自作のプログラムで時間ごとに変わる位置を把握し、それをharkに渡すことでharkのbeamformingでフィルタリングしたいと考えています。

そのためには、どのような実現方法がありますでしょうか？よろしくお願いいたします。

[moriya]

承知しました。
ご回答ありがとうございます。

[moriya]

ご回答いただきありがとうございます。

以下、質問１と４に関して記入します。
質問２と３に関して、質問が下手で無駄なやりとりが発生しお手数おかけして申し訳ございません。
ご回答いただいた内容を確認し、不明点があれば後ほどご質問させてください。

●質問１に関して
> 確認致しましたところ、ドキュメントの更新作業に遅れが発生しており十分な情報がまだ公開されていない状況となっております。もし宜しければ、別のThreadを立ててPostして頂けませんでしょうか。

別スレッドでpostしました。よろしくお願いいたします。
https://wp.hark.jp/forums/topic/%e5%87%a6%e7%90%86%e5%88%86%e9%85%8d%e6%a9%9f%e8%83%bd%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%a8%98%e8%bc%89%e3%81%95%e3%82%8c%e3%81%a6%e3%81%84%e3%82%8b%e3%83%9a%e3%83%bc%e3%82%b8/

●質問４に関して
ご回答ありがとうございます。

●その他
>投稿タイトルと異なる内容のご質問となる場合（例えば 質問１ や 質問４ のような場合）は、別のThreadに分けて投稿して頂いた方が他の方からも回答が付きやすくなります。ご検討ください。

承知しました。

[moriya]

画面キャプチャです
wordpressのエラーで添付できませんでした。

• This reply was modified 4 years, 3 months ago by moriya.

[moriya]

ご回答いただきありがとうございます。

回答いただいた内容の不明点、および追加の質問になってしまう内容もありますが、４点ほど質問させてください。
よろしくお願いいたします。

●質問１
> ・HARK 3.1 から処理分配機能が追加されましたので、ノードを実行するホストを変更する事で処理を振り分ける（現在、HARK 3.1はUbuntu版のみリリースしております）

処理分配機能について、ドキュメント(3.1.0)のどのページを見ればよいか、教えていただけませんでしょうか？
（目次からそれらしいのがわからず、それらしいキーワードでぐぐっても探せなかったため）

●質問２
>SaveWavePCMノードのSOURCES(音源情報)入力端子の前段に、方位角のフィルタのためにSourceByDirectionノード(0～10度と90～120度の範囲に設定した2つを準備します)、および複数音源情報の結合にはCombineSourceノードを用いてください。

SourceSelectorByDirectionのパラーメータ値（フィルタリングする角度情報）を外部から動的に与えるにはどうすればよいでしょうか？例えば、時刻t1では0-10度、時刻t2では20-30度、時刻t3では70-90度のように、動的に任意の角度を渡したいのですが、その場合、どのようなノードを使えばよいでしょうか？
(やりたいことは質問３の具体例部分です)

●質問３
SaveWavePCMを複数音源の音声を結合する方法がわからないので教えていただきたい。

頂いた回答とドキュメントから以下のように理解しました
・CombineSourceは、2入力なので、もし複数入力に対応するには多段にすればよい
・もし複数音源（Tamago-03が複数)の場合、AudioStreamFromMicをMultiAudioStreamFromMicに変更して、
それぞれを次段のノードのINPUTとし、SourceSelectorByDirectionでフィルタリングまではできる

が、音声出力部分がまだわからないため質問させてください。

SaveWavePCMの、INPUTは１つのようなので、複数の音源の音声データを結合して出力する場合は、どのようにすればよいでしょうか？具体的には、以下のことを実現するにはどのようにすればよいでしょうか？
———————————
時刻t1〜t2については音源1(Tamago-03)の0度〜10度を抽出した音声データ、
時刻t2〜t3については音源2の30度〜40度を抽出した音声データ、
時刻t3〜t4については音源2の0度〜20度を抽出した音声データ、
時刻t4〜t5については音源3の70度〜80度を抽出した音声データ、
を、時刻t1〜t5の1本の音声データとして出力

また、上記と同時に、

時刻t1〜t2については音源3の10度〜20度を抽出した音声データ、
時刻t2〜t3については音源1の80度〜90度を抽出した音声データ、
時刻t3〜t4については音声データなし、
時刻t4〜t5については音源1の70度〜80度を抽出した音声データ、
を、時刻t1〜t5の1本の音声データとして出力したい

というように、複数条件でフィルタリングした音声を出力したい

※１つ目の例のt1と、2つ目の例のt1は同じ時刻。
————————————

●質問４
質問３の具体例のような処理を行う場合に必要となるPCのスペックを検討しています。
上記の処理は主にビームフォーミング処理と音声結合処理から構成されますが、どの程度のスペックのPCで各々の計算時間がどの程度になるのか、知見がございましらご教示頂けないでしょうか？

[moriya]

(WPのエラーで投稿いじってたらおかしくなりました。すみません。)

添付の図のように、ソケット通信でアレイマイクの音声を送信して、受信側で任意の方向ごとに音声を分離して出力したいと考えています。実現可能か？また実現方法について下記３点についてご質問させてください。
※HARKは使ったことがありません。Hark.jpのFAQとForumはわからないなりに同様の質問がないかは確認したつもりですが見落としあればすみません。

(1) HarkDataStreamSenderのデータを受信するための既存ノードの有無
HarkDataStreamSenderのデータを受信するためのノードはありますでしょうか？自作するしかないのでしょうか？
以下２つでは自作しているように思ったのですが、自作するしかないのでしょうか？
https://wp.hark.jp/forums/topic/how-to-receive-data-from-harkdatastreamsender/
https://wp.hark.jp/forums/topic/stream%e3%81%ae%e9%81%85%e5%bb%b6%e6%99%82%e9%96%93%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6/

(2) hark windowsの独自ノード作成の可能性
自作の場合、FAQに「HARK Windowsでの独自ノードの追加はサポートされていません。」とありました。
現状のharkのバージョンでもそうでしょうか？ また、GUIを使わなければ、自分でhark-pythonや、C++を使ってデータを受信する部分を実装して、BeamFormingノードのコードを流用して音声ファイル出力することは可能でしょうか？（そもそもOS的に難しいのか？、C++でHarkオブジェクトを操作すれば可能でしょうか？）

(3) 音声ファイル出力について
図中のWindows側で、指定した方向の音声だけを受信したい場合で、例えば、0〜10度、90-120度の音声をそれぞれのファイルに出力するということは可能でしょう？（ドキュメントを読むと同一PC上だとできそうな気がするのですが、ソケット通信後でもできますでしょうか？）

画像がwordpressのエラーで添付できませんでした。 png, jpegでもダメでした。ファイルは512KB以下です。

以下、図をテキストで表現しました。

マイク(Tamago-03)
↓
——–[Utuntu]——————
↓
マイクから音声取得(AudioStreamFromMic)
↓
データ送信(HarkDataStreamSender)
———————————–
↓
↓
Socket通信
↓
↓
——–[Windows10Pro]————-
↓
データ受信
↓
データの取得方向指定(ConstantLocalization)
↓
ビームフォーミング(BeamForming)
↓
音声出力
———————————–
※ utuntuとwindowsは同一LAN

• This reply was modified 4 years, 3 months ago by moriya.
• This reply was modified 4 years, 3 months ago by moriya.
• This reply was modified 4 years, 3 months ago by moriya.
• This reply was modified 4 years, 3 months ago by moriya.
• This reply was modified 4 years, 3 months ago by moriya.

[Author]

Posts