moriya

Forum Replies Created

Viewing 15 posts - 1 through 15 (of 16 total)
  • Author
    Posts
  • Avatarmoriya
    Participant

    自己解決しました(hark-pythonが外部APIからjson取得して、必要な値を次のノードに渡せました)。
    お手数おかけしてすみませんでした。

    in reply to: MultiAudioStreamFromMic(DEVICETYPE=NETWORK)が動かない #1839
    Avatarmoriya
    Participant

    追記)ポート変更して試してみましたが、解決せずです。
    OUTPUTに「AUDIO0」のみ、DEVICEに「192.168.0.12:520922:520923」のようにポート変えても動きますが、AUDIOを2つにして、片方のポートを変えても同じでした。今まで1番目に100は送られてきてたけど、それすらない状態です。

    in reply to: MultiAudioStreamFromMic(DEVICETYPE=NETWORK)が動かない #1837
    Avatarmoriya
    Participant

    追記します。パラパラとすみません。

    ポートがかぶっているので、接続先IPごとに、制御とotherのポート変更しないといけない気がします。。。どうやって変更可能でしょうか?

    すみません。ポートの変更方法は、FQAにありました。
    https://wp.hark.jp/faq/#In_receiving_acoustiv_signal_over_TCPIP_using_AudioStreamFromMic_we_have_to_set_DEVICE_TYPE_to_NETWORK_and_the_DEVICE_to_IP_address_How_do_you_specify_the_port_number_Is_there_a_format_to_be_used

    • This reply was modified 1 day, 17 hours ago by Avatarmoriya.
    in reply to: MultiAudioStreamFromMic(DEVICETYPE=NETWORK)が動かない #1836
    Avatarmoriya
    Participant

    追記
    DEVICEに指定するIPの順序を逆にすると、1番目に指定したIPの方に100が送られてきますが同様にエラーで落ちます。

    Avatarmoriya
    Participant

    以下でも書きましたが、harkをwindows版ではなく、linux版にすると900が正しく送られてきます(自前pythonコードは変更なし)。
    https://wp.hark.jp/forums/topic/terminate-called-without-an-active-exception/

    Avatarmoriya
    Participant

    上と同じ状況で、windowでpython動かして、harkにsocket通信した場合、「既存の接続はリモートホストに強制的に切断されたした」となるため、自作pythonでなくharkがコネクションを切っていると思います。

    Avatarmoriya
    Participant

    ご回答ありがとうございます。

    > HARKでは、音源分離を周波数領域で行うよう実装していますので、変換せずに分離することはできません。
    > また、MapSelectorBySourceノードへの入力は分離処理後の音源を想定していますので、ご提示の構成ではフィルタリングできないかと思います。
    承知しました。

    > HARKに関しては、少し先になりますが無料の講習会がございます。
    > 音響処理の理論を解説しながら、HARKの機能・技術を紹介する場となっておりますのでHARKをご理解いただくための一助となれば幸いです。
    ありがとうございます。都合があえば是非参加させていただきたいと思います。

    Avatarmoriya
    Participant

    ご回答ありがとうございます。

    1点わからないのですが、、今回、時間と角度でフィルタリングしますが、周波数領域でフィルタリングする必要ないと思っていました。SourceByDirectionの代わりとなる独自ノードで動的に角度を渡すようにして、音声を落としたりくっつけた方が計算コスト低そうに思ったのですが、ご回答いただいたように、FFTしてGHDSS後に逆FFTしないと難しいと考えた方がよいということでしょうか? HARK的には一度、周波数領域に変換しないと私が実現したいことおができない or 処理効率が悪い という理解でよいでしょうか?

    または、HARKのデータ構造上、時間軸上での処理では、時間と角度でフィルタリングできないという理解でことでしょうか?

    • This reply was modified 3 days, 8 hours ago by Avatarmoriya.
    • This reply was modified 3 days, 8 hours ago by Avatarmoriya.
    • This reply was modified 3 days, 8 hours ago by Avatarmoriya.
    Avatarmoriya
    Participant

    上記では、beamformingでフィルタリングしたいと書きましたが、
    beamformingにこだわりはないので、外部から渡した指定方向の音声だけwaveで保存したいだけなので、例えば、以下のような感じで実現できるないかなぁと考えています。

    AudioStreamFromMic
     ↓
    MatrixToMap
     ↓
    MapSelectorBySource  ← 独自ノード(動的にSOURCE情報を渡す)
     ↓
    他のMapSelectorの結果との結合  ← MapSelectorBySource  ← 独自ノード(同様の機能)
     ↓
    SaveWavePCM
    Avatarmoriya
    Participant

    以下を読んで、パラメータを動的に変えるのではなく、localizeMUSICの代わりになるノードをhark-pythonで自作して前段に指定すれば良さそうと思ったので、一度試して不明だったら改めて質問させていただきます。

    https://wp.hark.jp/forums/topic/hark-python%E3%81%AB%E3%81%A4%E3%81%84%E3%81%A6/

    Avatarmoriya
    Participant

    質問2について、使用用途について説明させてください。

    ●いただいたご回答
    > SourceSelectorByDirectionは静止した話者方向のみを残すフィルタリングを目的としているため、フィルタリングする角度情報を動的に与えることは出来ません。HARK-Python等でSource情報を入力してフィルタ方向を決定するノードを実装する必要があります。
    > 前回の図ではConstantLocalizationを使用されていますが、時間で動的に変化する音源を追跡するという事で宜しいでしょうか?その場合には、LocalizeMUSIC等の定位ノードで音源検出を行う必要があります。
    > 動的に変化する音源であるが、音源方向が既知であるという場合についても考えましたがマイクアレイからの入力との事でしたので、お使いになる用途について確認させて頂ければと思います。

    ●使用用途
    質問が下手で、お手数おかけして申し訳ございません。
    ConstantLocalizationは、harkが分かっていない状態でしたので、このノードでできそうかなぁと思って書いていました。

    やりたいことは、「動的に変化する音源で、音源方向が既知である(外部でプログラムが方向を知っているのでHARKに渡したい)が、音源方向が固定ではなく動的(時間で任意に変化)な場合のフィルタリングです」。音源の定位(方向の認識)は外部プログラム(自前のアルゴリズム)を使う想定です。

    自作のプログラムで時間ごとに変わる位置を把握し、それをharkに渡すことでharkのbeamformingでフィルタリングしたいと考えています。

    そのためには、どのような実現方法がありますでしょうか?よろしくお願いいたします。

    in reply to: MultiAudioStreamFromMicノードが見つからない #1699
    Avatarmoriya
    Participant

    承知しました。
    ご回答ありがとうございます。

    Avatarmoriya
    Participant

    ご回答いただきありがとうございます。

    以下、質問1と4に関して記入します。
    質問2と3に関して、質問が下手で無駄なやりとりが発生しお手数おかけして申し訳ございません。
    ご回答いただいた内容を確認し、不明点があれば後ほどご質問させてください。

    ●質問1に関して
    > 確認致しましたところ、ドキュメントの更新作業に遅れが発生しており十分な情報がまだ公開されていない状況となっております。もし宜しければ、別のThreadを立ててPostして頂けませんでしょうか。

    別スレッドでpostしました。よろしくお願いいたします。
    https://wp.hark.jp/forums/topic/%e5%87%a6%e7%90%86%e5%88%86%e9%85%8d%e6%a9%9f%e8%83%bd%e3%81%ab%e3%81%a4%e3%81%84%e3%81%a6%e8%a8%98%e8%bc%89%e3%81%95%e3%82%8c%e3%81%a6%e3%81%84%e3%82%8b%e3%83%9a%e3%83%bc%e3%82%b8/

    ●質問4に関して
    ご回答ありがとうございます。

    ●その他
    >投稿タイトルと異なる内容のご質問となる場合(例えば 質問1 や 質問4 のような場合)は、別のThreadに分けて投稿して頂いた方が他の方からも回答が付きやすくなります。ご検討ください。

    承知しました。

    in reply to: MultiAudioStreamFromMicノードが見つからない #1691
    Avatarmoriya
    Participant

    画面キャプチャです
    wordpressのエラーで添付できませんでした。

    • This reply was modified 1 week, 2 days ago by Avatarmoriya.
    Avatarmoriya
    Participant

    ご回答いただきありがとうございます。

    回答いただいた内容の不明点、および追加の質問になってしまう内容もありますが、4点ほど質問させてください。
    よろしくお願いいたします。

    ●質問1
    > ・HARK 3.1 から処理分配機能が追加されましたので、ノードを実行するホストを変更する事で処理を振り分ける(現在、HARK 3.1はUbuntu版のみリリースしております)

    処理分配機能について、ドキュメント(3.1.0)のどのページを見ればよいか、教えていただけませんでしょうか?
    (目次からそれらしいのがわからず、それらしいキーワードでぐぐっても探せなかったため)

    ●質問2
    >SaveWavePCMノードのSOURCES(音源情報)入力端子の前段に、方位角のフィルタのためにSourceByDirectionノード(0~10度と90~120度の範囲に設定した2つを準備します)、および複数音源情報の結合にはCombineSourceノードを用いてください。

    SourceSelectorByDirectionのパラーメータ値(フィルタリングする角度情報)を外部から動的に与えるにはどうすればよいでしょうか?例えば、時刻t1では0-10度、時刻t2では20-30度、時刻t3では70-90度のように、動的に任意の角度を渡したいのですが、その場合、どのようなノードを使えばよいでしょうか?
    (やりたいことは質問3の具体例部分です)

    ●質問3
    SaveWavePCMを複数音源の音声を結合する方法がわからないので教えていただきたい。

    頂いた回答とドキュメントから以下のように理解しました
    ・CombineSourceは、2入力なので、もし複数入力に対応するには多段にすればよい
    ・もし複数音源(Tamago-03が複数)の場合、AudioStreamFromMicをMultiAudioStreamFromMicに変更して、
    それぞれを次段のノードのINPUTとし、SourceSelectorByDirectionでフィルタリングまではできる

    が、音声出力部分がまだわからないため質問させてください。

    SaveWavePCMの、INPUTは1つのようなので、複数の音源の音声データを結合して出力する場合は、どのようにすればよいでしょうか?具体的には、以下のことを実現するにはどのようにすればよいでしょうか?
    ———————————
    時刻t1〜t2については音源1(Tamago-03)の0度〜10度を抽出した音声データ、
    時刻t2〜t3については音源2の30度〜40度を抽出した音声データ、
    時刻t3〜t4については音源2の0度〜20度を抽出した音声データ、
    時刻t4〜t5については音源3の70度〜80度を抽出した音声データ、
    を、時刻t1〜t5の1本の音声データとして出力

    また、上記と同時に、

    時刻t1〜t2については音源3の10度〜20度を抽出した音声データ、
    時刻t2〜t3については音源1の80度〜90度を抽出した音声データ、
    時刻t3〜t4については音声データなし、
    時刻t4〜t5については音源1の70度〜80度を抽出した音声データ、
    を、時刻t1〜t5の1本の音声データとして出力したい

    というように、複数条件でフィルタリングした音声を出力したい

    ※1つ目の例のt1と、2つ目の例のt1は同じ時刻。
    ————————————

    ●質問4
    質問3の具体例のような処理を行う場合に必要となるPCのスペックを検討しています。
    上記の処理は主にビームフォーミング処理と音声結合処理から構成されますが、どの程度のスペックのPCで各々の計算時間がどの程度になるのか、知見がございましらご教示頂けないでしょうか?

Viewing 15 posts - 1 through 15 (of 16 total)