Getting started, and prerequisites.
rm/s5/run.sh
Data preparation
如果有GridEngine,
train_cmd="queue.pl -q all.q@a*.clsp.jhu.edu" decode_cmd="queue.pl -q all.q@[ah]*.clsp.jhu.edu"
如果需要在本地运行
train_cmd="run.pl" decode_cmd="run.pl"
创建训练集和测试集
local/rm_data_prep.sh /export/corpora5/LDC/LDC93S3A/rm_comp
生成如下：
- local : Contains the dictionary for the current data. 包含当前数据的发音词典
- train : The data segmented from the corpora for training purposes. 训练数据的seg标注信息
- test_* : The data segmented from the corpora for testing purposes. 测试数据的seg标注信息
cd local/dict head lexicon.txt head nonsilence_phones.txt head silence_phones.txt
/train和/test结构相同
head text head spk2gender.map head spk2utt head utt2spk head wav.scp
wc train/text test_feb89/text 比较训练集和测试集的词数，文件大小
下一步创建原始的语言文件
utils/prepare_lang.sh data/local/dict '!SIL' data/local/lang data/lang
这将会产生一个lang的文件夹，里面包含一个FST描述语言文件，输出文件夹(data/lang).
words.txt and phones.txt（data/lang/）被会用到，它们是openfst格式的符号表，代表从一个字符串到整数
的映射，
suffix .csl (in data/lang/phones) non-silence, and silence, phones 整数id键值对列表
phones.txt (in data/lang/) 音素符号表，处理FST的歧义符号，这些符号会被替换成 #1, #2
L.fst是编译后的lexicon FST格式。
用下面的命令可以查看L.fst的内容
fstprint --isymbols=data/lang/phones.txt --osymbols=data/lang/words.txt data/lang/L.fst | head
如果没有找到fstpirnt命令，则需要将OPenFst添加到PATH环境，或者简单点执行../path.sh
下一步使用上一步创建的文件，创建一个FST描述语法
local/rm_prepare_grammar.sh，将会产生/data/lang/G.fst.
Feature extraction
Monophone training
输出文件夹：
exp/mono
nohup steps/train_mono.sh --nj 4 --cmd "$train_cmd" data/train.1k data/lang exp/mono &
tail nohup.out
data/lang/topo 立即创建，1个音素的内部状态转移topo
data/phones.txt 音素 音素id
查看生成的模型文件0.mdl
gmm-copy --binary=false exp/mono/0.mdl - | less
mdl file 包含两个对象，1个对象TransitionModel，它包含HMM拓扑信息;1个对象包含模型类型
查看tree文件
copy-tree --binary=false exp/mono/tree - | less
单音素的tree，它没有任何的splits。
exp/mono/ali.1.gz
copy-int-vector "ark:gunzip -c exp/mono/ali.1.gz|" ark,t:- | head -n 2
这是训练数据的维特比对其，对于每个训练文件都有1行。对齐文件里面有许多数字，都是特别大，它里面并不包含pdf的id，而是transition-id，它以音素的
topo原型，编码音素和transition，这是非常有用的，如果想查看transitions信息，则如下命令：
show-transitions data/lang/phones.txt exp/mono/0.mdl
为了更清晰的查看对齐，可以用下面的命令
show-alignments data/lang/phones.txt exp/mono/0.mdl "ark:gunzip -c exp/mono/ali.1.gz |" | less
查看训练过程；匹配log文件overall关键字行
grep Overall exp/mono/log/acc.{?,??}.{?,??}.log
当单音素训练完毕，可以进行解码测试，如下命令
utils/mkgraph.sh --mono data/lang exp/mono exp/mono/graph
which fstdeterminizestar
在图创建完后，开始解码
steps/decode.sh --config conf/decode.config --nj 20 --cmd "$decode_cmd" exp/mono/graph data/test exp/mono/decode
less exp/mono/decode/log/decode.2.log
从2.tra文件里查看真实的解码词序列，命令：
words.txt包含了词与int的关系
utils/int2sym.pl -f 2- data/lang/words.txt exp/mono/decode/scoring/2.tra
查看真实的解码词序列，然后再转换回整型：
utils/int2sym.pl -f 2- data/lang/words.txt exp/mono/decode/scoring/2.tra |
utils/sym2int.pl -f 2- data/lang/words.txt 将符号转换成整数
tail exp/mono/decode/log/decode.2.log 查看decode.2.log结尾一些总结性信息
gmm-decode-faster
Decode features using GMM-based model.