2台のマイクで音源定位がしたい

[牛太郎]

１台のマイクを用いたネットワーク（音源定位、録音）なら実行できるのですが、それを２台のマイク（TAMAGO_03）で行おうとネットワークを編集して実行しようとしてもうまくいきませんでした。

例を挙げると、”HARK クックブック Version 3.4.0.(Revision:9509) 2.2.2 マイクロホンからのリアルタイム音源定位” のFigure 2.7のネットワークを作成し、１台のマイクなら成功しました。
しかし、2台のマイクで実行するためにLOOP1シート（LOOP0シートと同じ構成で、プロパティ欄の認識するマイクのデバイス名とディスプレイ名を変えている）を追加してExcuteボタンを押すと、実行はできるのですが2つ目のディスプレイがうまく表示されません。
具体的にいうと、2つ目のディスプレイは、
１．最初はウィンドウとディスプレイ名だけが表示される
２．時間がたつと縦軸と横軸のメモリ（定位方向と時間）が表示されるが、時間が経過しても横軸が動かない
といった様に遷移します。この間、1つ目のディスプレイは最初から完璧に実行できていて、リアルタイムな音源定位結果もディスプレイに表示されています。実行時はエラーは表示されませんでしたが、stopボタンを押して実行をやめた後にエラーが表示されました。また、2台のマイクは正しく認識されています。
添付した画像は、2台のマイクを用いてリアルタイム音源定位を試みたネットワークと実行した際のディスプレイ表示、実行をやめた後に表示されたエラー１，２の3枚です。
「第22回HARK講習会」で配布された資料とデータから、Windows11内に”HARK_Tutorial_2023″というubuntuの仮想環境を作成してHARK designerを動かしているので、仮想マシンでの複数USBデバイスへのアクセスが問題になっているのかなと思っているのですが、解決策がわかりません。
何かわかる方がいましたらよろしくお願いします。

Attachments:

1. 

   network_display.png
   

2. 

   error1.png
   

3. 

   error2.png
   

[nterakado]

お問い合わせありがとうございます。

ご質問の件ですが、
前提としてHARKは複数のマイクを別ノードとして使用する設計になっておりません。
これは、シングルスレッドのため複数のデバイスでの同期ができないためです。

対策としては、複数のマイクをOS側で一つのデバイスとして制御しHARK側では一つのノードで処理することなどがあります。

また、目的によっては異なる実現方法があるかもしれませんので、
差し支えなければなんのために複数のマイクを使うのかご回答いただけますでしょうか。

以上、よろしくお願いいたします。
HARKサポートチーム

[Masayuki Takigahira]

お問い合わせありがとうございます。

マイクアレイデバイスを複数台使用されたいとのことですが、マイクアレイデバイス同士が同期して録音出来る必要があります。同期は、各マイクアレイデバイスのクロックが僅かにずれるためサンプルのずれをどこかで調整する必要があるためです。

目的によっては他にも最適な解決手段がご提案できるケースが御座いますが、汎用的な解決手段として下記があります。

1つの解決手段として ALSA などの仮想ミキサー機能を使用して複数台のマイクアレイデバイスを1台の仮想マイクアレイデバイスとする方法が御座います。
下記はご質問者様と似たようなケースで、2台の2チャネル録音デバイスを1台の4チャネル仮想録音デバイスに見せる方法の回答が掲載されています。
https://stackoverflow.com/questions/8043912/is-it-possible-to-capture-both-mic-and-line-in-at-the-same-time-using-alsa
上記URLの例では、 hw:0,1 や plughw:0,1 などの物理デバイス名の代わりに multi_capture というデバイス名を指定することになります。
ALSA のユーザ設定は、 .asoundrc というファイルに記述することになりますので、使い方など検索される際のキーワードとして .asoundrc や ALSA などをご利用ください。英語で分かりづらい場合でも検索をかけて頂ければ下記のような和訳サイトなどが見つけられます。
https://wikiwiki.jp/tetsuya/asoundrc

1台のデバイスとして見える状態になりましたら、 AudioStreamFromMic の出力を ChannelSelector で8チャネルづつに分割して処理して頂く事で、1ループ (LOOP0のシートのみ) で2台のマイクアレイの処理を行う事が可能です。

その他の解決手段について：
各マイクアレイの処理が独立したものであるならば、2つのHARKプロセスで別々に処理する事をお勧めいたします。
例：2つのマイクアレイで定位された方向で三角測量のような事を行いたい場合
１．2つのHARKプロセスを起動し、各プロセスから最新の定位結果を送信する
２．定位結果を受信し、測量結果を求める
とすることもできます。ご検討ください。

以上、宜しくお願い致します。
HARK Support Team,

• This reply was modified 1 month, 1 week ago by Masayuki Takigahira.
• This reply was modified 1 month, 1 week ago by Masayuki Takigahira.

[牛太郎]

ご回答ありがとうございます。

複数のマイクロホンアレイの定位結果を用いて音源の2次元座標を特定したい、というのが複数マイクを用いる目的になります。

複数の”AudioStreamFromMic”ノードを用いた理由は、”MultiAudioStreamFromMic”ノードを用いたネットワークの実行ができなかったからなのですが、こちらは別の質問として投稿しようと考えております。

この事例の場合、どの実現方法が適しているかをご教示お願いいたします。

[牛太郎]

ご回答ありがとうございます。

複数のマイクアレイの定位結果を用いて音源の2次元座標を特定したい、というのが複数マイクを用いる目的になりますので、各マイクアレイの処理は独立しています。

そこで質問なのですが、１つの仮想マシン（Ubuntu）内で２つのHARKプロセスを起動することはできますか？
HARK designer を新しいウィンドウで開くことができず、また、Firefoxブラウザの HARK designer のタブを複製して２つのネットワーク（”AudioStreamFromMic”ノード内のデバイス名のみを変えた別のファイル）を実行しようとしてもできませんでした。

１つのPCに１台のマイクを用いる方法が実現しやすい方法でしたら、そちらの方法でも厭いません。
ご回答よろしくお願いいたします。

[nterakado]

複数のHARKプロセスを起動することは可能ですが、HARK Designerからはできません。
CLIでharkmwコマンドを使用してください。

$ harkmw <ネットワークファイル> <ARG1> <ARG2> ..

ただし、複数のHARKプロセス間での同期をとる必要がありますので、
複数のマイクを一つのデバイスとして処理するほうが実現しやすいかと考えます。

参考までにネットワーク構成図を添付します。

• This reply was modified 1 month, 1 week ago by nterakado.

Attachments:

1. 

   mic_ch_sep.png
   

[Author]

Posts