- This topic has 10 replies, 3 voices, and was last updated 5 years, 4 months ago by
.
-
お問い合わせありがとうございます。
ご質問の目的ですが、CSJコーパスで学習された音響/言語モデルが必要という認識で宜しいでしょうか。
nnet3形式のchain modelで宜しければ、学習済みのモデルが下記ページよりダウンロード可能です。
https://www.hark.jp/download/samples/現行の最新版(HARK3.0)のサンプルファイルがCSJで学習されたモデルとなります。
次のファイルをダウンロードして頂けますでしょうか。
HARK_recog_3.0.0_practice2.zip従来のnnet1形式のモデルに比べ認識性能、処理速度なども向上しておりますので、
今後も互換性のためにnnet1形式のモデルを使用して動作させる事は可能ですが
理由が特になければnnet3形式のモデルへ移行される事を推奨しております。モデルの変更にあたり、デコード時に使用する特徴量は
特徴量13次元 + Delta特徴量13次元 + DeltaPower特徴量 の27次元から
特徴量40次元 に変更となっています。ご了承ください。—-
また、将来的にご自身で学習されたモデルへ入れ替えたいという事でしたら、
HARK Forum内の下記スレッドでKaldi公式の学習レシピ(nnet3用)から変更が
必要な点についての回答が行われていますので宜しければご確認ください。
音響モデルの作成についてまず、GMMの学習に13次元のMSLS特徴量、chain学習に40次元のMSLS特徴量が必要となります。
SpeechRecgnitionClientのFEATURESへの入力をSaveHTKFeatureに繋ぎ変える事でHTK形式の特徴量ファイルが出力されます。
デコード時(音声認識セットのサンプル)は40次元の特徴量のみをSpeechRecgnitionClientにて送信していますが、学習の為には別途13次元の特徴量が必要になりますのでご注意ください。
上記のスレッドを参考にHARKで出力したHTK特徴量をKaldiのark形式に変換して頂いた上で、Kaldiへ入力して学習してください。
我々が提供しているモデルではiVectorに100次元を使用しております。
他の設定は HARK_recog_3.0.0_practice2.zip の kaldi_conf ディレクトリをご参照ください。Notes:
Kaldi公式のレシピでPCMデータから直接作成してしまいますと、
MSLS特徴量には対応していませんのでMFCC特徴量が使われます。
MSLSExtractionの代わりにMFCCExtractionというノードを使用する事も可能ですが、
この場合も特徴量の次元数等の設定については学習時と合わせて頂く必要が御座います。以上、宜しくお願い致します。
お忙しい中迅速なご回答いただき誠ありがとうございます。
言葉足らずな質問で申し訳ございません。
目的といたしましては、HARK_recog_2.3.0.1_practice2で使用しているモデルを
私自身がKaldi＋CSJコーパス＋IRSTLMで作成したnnet1モデルへ入れ替えたいです。
# 既に私自身が作成したnnet1モデルがあるためそれを用いてHARK_recog_2.3.0.1_practice2を動作させたいです。nnet3モデルを推奨されているとのことですが、
私の環境上直近で用意できるのがnnet1モデルのみであるため、
どうにかnnet1で動作させたいという思いがございます。
# 目下、私自身が作成したnnet1モデルで動作実績を作りたいです。そのためkaldi nnet1 model samplesとある、
HARK_recog_2.3.0.1_practice2を使用しモデルを入れ替えたところ、
以下のエラーとなりご質問させていただいた次第です。[ERROR] Non-matching dims on the input of <AddShift> component. The input-dim is 1400, the data had 189 dims.ご教示いただいた内容からnnet3の場合Kaldiのモデル作成からやり直す必要が
あるように見受けられますがnnet1の場合も同様なのでしょうか。KaldiおよびHarkに触れてからまだ日が浅い部分もあり、
まずは動作させるというところ目指しております。
大変恐れながらnnet1で動作させる方法をご教示いただけると大変助かります。以上です。
何卒よろしくお願いいたします。お世話になっております。
お忙しいところ詳細なご回答ありがとうございます。ご教示いただいた内容を参考に以下の手順(※1)で動作させることができました。
ありがとうございます。大変助かりました。また、動作させる中で大変恐れながら１点質問がございます。
私の最終的に実現したいことといたしましては、マルチマイクではない通常マイクで録音した音声ファイル(例えば、発話者一人が静音環境下が録音した「おはようございます」など一言で終わるwavファイル)を、”2SPK-ja.wav”と差し替えて認識させてみたいと考えております。
ご教示いただいた内容で動作させることができましたので、早速任意の音声ファイルと差し替えたところ正常に動作する(クラッシュしない)ものの認識結果が出力されないでおります。(kaldi_out.txtに何も出力されない)
# sox –i 2SPK-ja.wavで情報は確認しbit数等を合わせた音声ファイルを使用しております。認識させる上で何か設定が必要でしたらご教示いただけないでしょうか。
また、”2SPK-ja.wav”を認識させた場合は想定(HARK_recog_3.0.0_practice2を修正しないで認識させた結果)とは大分異なる結果となっております。
●認識結果(自作nnet1による”2SPK-ja.wav”の認識結果)
0, 135.0, いう 1, 105.008911, じ か 2, 64.972717, か きく 3, 40.01096, か 5, -35.024876, ちゅ いう いう 地域 いう 4, 45.0, いう い いう い 11, 120.000725, いう 10, 94.992081, か き 6, 45.0, か いう い 言う か い 言う か 7, -35.024876, いう 言う か 9, -35.024876, 釣っ いう 8, 49.98904, か い いう 言う かお忙しいところ大変恐縮ではございますがご回答いただける幸いでございます。
以上です。
何卒よろしくお願いいたします。(※1)
以下試した手順となります。１．HARKのネットワークファイルの差し替え
ご教示いただいた通り、HARK_recog_2.3.0.1_practice2を使用するのではなく、
HARK_recog_3.0.0_practice2を使用しネットワークでは以下の変更をいたしました。● HARK_recog_3.0.0_practice2(sub_recognitionシート)の変更
変更箇所：MSLSExtraction ノード ⇒ MFCCExtraction ノードに変更
パラメータについては以下の通りです。
・FBANK_COUNT = FBANK_COUNT ★ MSLSExtractionと同様の値。 ・NUM_CEPS = 12→40 ★40に変更。 ・LIFTERING_COEF = 22 ・USE_POWER = false２．KaldiDecoderに渡すconfigファイルの変更
こちらはHARK_recog_2.3.0.1_practice2のconfigに加え、ご教示いただいた通り--splice=17を追加いたしました。
# .nnetや.mdlなどはnnet1モデルを使用しております。--port-mfcnet=5530 --port-result=10500 --filename-words=./my_model_conf/words.txt --filename-align-lexicon=./my_model_conf/align_lexicon.int --max-active=2000 --filename-feature-transform=./my_model_conf/final.feature_transform --filename-nnet=./my_model_conf/final.nnet --filename-mdl=./my_model_conf/final.mdl --filename-class-frame-counts=./my_model_conf/ali_train_pdf.counts --filename-fst=./my_model_conf/HCLG.fst --splice=17 ★追加
- You must be logged in to reply to this topic.