另外，普通话是带调语言，共包含四声和额外的轻声。按照这五种声调，以上的个韵母又可扩增为个带声调的韵母。 音节是听觉能感受到的最自然的语音单位，由个或多个音素按照定的规律组合而成。英语音节可单独由个元音构成，也可以由个元音和个或多个辅音构成。汉语的音节由声母、韵母以及声调构成，其中声调信息包含在韵母中。 因此，汉语音节结构可以简化为声母+韵母，汉语中共有个无调音节，大约个有调音节。 声学建模单元的选择可以采用多种方案，比如采用音节建模、音素建模或者声韵母建模等。汉语普通话比较合适采用声韵母进行声学建模，因为不存在冗余，所以不同音节之间可以共享声韵母信息，如和均有韵母。
这种建模单元方案可以充分利用训练数据，使得训练出来的声学模型更加稳健。如果训练数据足够多，则建议采用带声调的声韵母作为声学模型的建模单元。对于英文来讲，因为没有声调，可以采用音素单元来建模。 为了表述方便，很多文献也常常把普通话的声韵母归为音素级别。 音素的上下文会对当前中心音素的发音产生影响，使当前音素的声学信号发生协同变化，这与该音素的 黎巴嫩赌博数据 单独发音有所不同。单音素建模没有考虑这种协同发音效应，为了考虑该影响，实际操作中需要使用上下文相关的音素（也被称为三音子作为基本单元进行声学建模，即考虑当前音素，使得模型描述更加精准。
对三音子进行精细建模需要大量的训练数据，而实际上对于某些三音子而言数据很难获得，同时精细建模导致模型建模单元数量巨大，例如，音素表有个音素，则需要的三音子总数为:=，模型参数显然急剧增加。 因此，严格意义上的三音子精细建模不太现实，往往通过状态绑定策略来减小建模单元数目，典型的绑定方法有模型绑定、决策树聚下面将着重介绍三类声学模型，包括基于-的声学模型、基于-的声学模型以及端到端模型。 基于-的声学模型是种统计分析模型，它是在马尔可夫链的基础上发展起来的，用来描述双重随机过程。的理论基础在年前后由等人建立，随后由的和的等人应用到语音识别中，..和.等人进步推动了的应用和发展。