[mfukuda]

HARK-Pythonは hark-python3 というパッケージ名でリリースしております。

詳細は以下のドキュメントをご覧ください。
https://www.hark.jp/document/packages/hark-python3/harkpython3.html

以上、よろしくお願いします。

[mfukuda]

hark-ros-msgs, hark-ros v3.0.1をリリースいたしました。

インストール方法は
https://www.hark.jp/hark-ros-msgs-installation-instructions/
をご覧ください。

以上、よろしくお願いします。

[mfukuda]

ご迷惑をおかけしております。

使用しているHARKのバージョンはいくつでしょうか？
V3.0.0では、まだHARK-ROSは利用できませんが、近日中にリリース予定ですのでしばらくお待ちください。

エラーの件について回答します。
前者(node.js installation)のエラーは、記述に誤字があったためと思われます。
setpuではなくsetupが正しいのですが、既にnode.jsが入っている場合、この手順は不要です。

後者のエラーは、既にV3.0.0がインストールされているところに、V2.4.0のHARK-ROSをインストールしようとしたためのエラーメッセージと思われます。

近日中にHARK-ROS V3.0.1のリリースとWebページの更新を行いますので、恐縮ですが、しばらくお待ちください。

[mfukuda]

講習会ご参加ありがとうございました。

PSEyeの伝達関数は HARKホームページ(https://www.hark.jp)の左メニュー
Documents＞Supported Hardware
のページ(https://www.hark.jp/document/supported/)の中程にあります。

念のため、伝達関数ダウンロードのリンクを貼っておきます。
* Microphone Array Transfer Function File
* By TSP Recordings
https://www.hark.jp/download/pseye_rectf.zip
* By Geometrically Calculation
https://www.hark.jp/download/pseye_geotf.zip

以上、よろしくお願いします。

[mfukuda]

> 「wave file path」の項目にはもともと録音してあるファイルの名前を入力するのでしょうか。

いいえ。TSP信号を録音したwavファイル名を指定します。
しかし、伝達関数を「幾何計算(シミュレーション)による生成」する場合は、wavファイルは必要ありません。

「幾何計算(シミュレーション)による生成」を行う場合は「TF Calculation Type」に「Use Geometric Calculation」を指定してください。

今回の質問の内容は、前回の回答でリンクしたドキュメントに書いてありますので、まずはドキュメントを読んで理解していただくようお願いします。

[mfukuda]

「Invalid number of channels」というエラーが出ています。
ReSpeakerが4chの音声信号を出力していないものと思われます。
ReSpeakerの取扱説明書、仕様書等から仕様や設定方法を確認してください。

こちらで、Web上のReSpeakerのWikiを見たところ、
http://wiki.seeedstudio.com/ReSpeaker_Mic_Array_v2.0/#getting-started
ファームウェアが2つあり、一つは1chデータ出力、もう一つは6chと書いてあります。
6chのファームウェアを適用し、Channel 1,2,3,4をHARKの入力に使えばHARKで音源定位、分離ができると思います。
しかし、0chの音声が「Processed audio for ASR」と書いてあり、Features等を読む限りでは、ReSpeakerのハードウェア自体で音源定位、音源分離(雑音除去)処理をしており、処理済みの音声が0chに出力されているようです。ですので、HARKを使う意味はあまりないと思います。

以上、よろしくお願いします。

[mfukuda]

AudioStreamFromMicのCHANNEL_COUNTはマイクアレイのチャンネル数と合わせる必要があります。
したがって、4が正しい設定です。
「動かないようになっている」とのことですが、どのようなエラーメッセージが出ますでしょうか？

以上、よろしくお願いします。

[mfukuda]

ReSpeaker Mic Array v2.0 は使用した実績がありませんので、マニュアルに具体的な記載はありません。
しかし、伝達関数の作成とそれを使った音源定位は、通常のマイクアレイであれば可能です。
ドキュメントは「How to Generate a Transfer Function Using HARKTOOL5」を参考にして下さい。
このドキュメントには個別のマイクアレイによらない一般的なマイクアレイの伝達関数の概要と作り方が書いてあります。

伝達関数の作り方には「録音したTSP信号から生成」する方法と「幾何計算(シミュレーション)による生成」がありますが、後者の方が簡単に作成できますので、そちらをお勧めします。
ドキュメントの「3. Geometric-calculation-based Transfer Function Generation」を参考にして下さい。(以下のURLです) https://www.hark.jp/document/tf/generating_transfer_functions/Generating_a_Transfer_Function_Using_HARKTOOL5.html#_Toc518480855

また、日本語のドキュメントもありますので参考にして下さい。
https://www.hark.jp/document/packages/harktool5-gui-ja/harktool5-gui.html

この方法のポイントですが、マイクアレイ座標ファイルに、マイク素子の配置座標と順序(チャンネル順)を正確に記載する必要があります。
ReSpeaker Mic Array v2.0 のホームページに図面があるようですので、それを元にマイクアレイ座標ファイルを設定するのがいいと思います。

以上、よろしくお願いします。

[mfukuda]

> 「Input channel size is not matched to the steering array. 」

このエラーメッセージは、LocalizeMUSICノードが出しているので、LocalizeMUSICのマニュアルをご覧ください。
https://www.hark.jp/document/2.5.0/hark-document-ja/subsec-LocalizeMUSIC.html

ParameterのTF_CHANNEL_SELECTIONの説明に「デフォルトでは8チャンネル」と「本パラメータの成分数(M)を入力信号のチャネル数と合わせる必要がある」と書いてあります。
ですので、TF_CHANNEL_SELECTIONの値をReSpeakerのチャンネル数と合わせてください。
ログを見る限りでは4chのようですので <Vector<int> 0 1 2 3 > と設定すればいいのではないかと思われます。

以上、よろしくお願いします。

[mfukuda]

Console画面に「Missing Parameter: THRESH」と表示されていますので、SourceTrackerノードのParameter THRESH が設定されていません。SourceTrackerについては以下を参照してください。
https://www.hark.jp/document/hark-document-ja/subsec-SourceTracker.html

簡単に説明しますと、THRESHの値は25～35辺りの範囲で、適切な値を設定します。
適切な値というのは、目的音(人がマイクアレイに向かって話した声)は定位するが、ノイズは定位しない値です。
これは実験環境によって異なりますので、THRESHの値を変えながらネットワークファイルを実行し、マイクアレイに話しかけ、DisplayLocalizationの出力を観察するという操作を繰り返して、THRESHの適切な値を探っていく必要があります。

また、上記リンクのノードリファレンスは、HARK Designerから表示できますのでご利用ください。
* HARK DesignerのPreferences＞Display>Language で「Japanese」を選択
* ノードを右クリックして表示されるコンテキストメニューから「Help」をクリック

• This reply was modified 6 years ago by mfukuda.

[mfukuda]

言葉足らずですいません。
ネットワークとはHARKのネットワークファイルのことです。

[mfukuda]

A_MATRIXに指定するのは伝達関数ファイル(ZIPファイル)です。
ネットワークと同じディレクトリに伝達関数ファイルを置いて、A_MATRIXにファイル名を入力してください。

[mfukuda]

こちらでは現象が再現しませんでしたし、過去に同様の問い合わせが無いので原因は分かりませんが
エラーメッセージを見る限り、npmの内部状態が異常になっているように思います。

あくまで参考意見になりますが、以下のWebページでは、
C:\Users\[ユーザー名]\AppData\Roaming\npm\ や npm-cache
を削除して再度npmコマンドを実行したら解決したとの記事がありますので、試してみてはいかがでしょうか？
http://onocom.net/code/windows-npm-error/
https://github.com/nodejs/help/issues/663

[mfukuda]

LocalizeMUSICノードのPARAMETER A_MATRIXに伝達関数ファイルを設定する必要があります。
伝達関数はマイクアレイによって異なりますので、「ReSpeaker Mic Array v2.0」用の伝達関数を作る必要があります。
作り方は以下をご覧ください。
https://www.hark.jp/document/transfer-function-generation-manuals/

以上、よろしくお願いします。

[mfukuda]

返信が遅くなり申し訳ありません

> 「HARK-Pythonをインストールする」とありますが、
> それはHARKをインストールする際にダウンロードした
> Python(x,y)-2.7.10.0.exe (Python(x,y) v2.7)
> のことでしょうか？

Python(x,y)はHARK for Windowsをインストールする前にインストールする必要があります。
HARK-PythonはHARKのパッケージの一つで、Windowsインストーラでは、自動的にインストールされます。
ドキュメントの「Installation」はUbuntuでのインストール方法についての説明ですので、Windowsでは無視してください。

> またPythonコードを書く操作を行いたいのですが、どこで操作すればよいのかがわかりません。
> HARKDesignerとは別の操作場所があるということなのでしょうか？

Pythonコードは、別途テキストエディタ等で記載して、拡張子.pyでHARKのネットワークファイルと同じ場所に保存します。
HARKのネットワークファイルにはPyCodeExecutorノードを配置し、PARAMETER MODULENAMEに保存した.pyファイルのファイル名(拡張子を除く)を指定して、HARKと連携させます。

多少ハードルは高いですが、Tutorial 2 を実際に試していただくと理解が進むと思います。

以上、よろしくお願いします

[Author]

Posts