语法单位有大有小，最大的语法单位是句子，比句子小的语法单位，依次是短语、词、语素。人类的语言是有声音、有意义的，是语音和语义的结合体，这便是语法单位基本的特点。
语素是最小的语法单位，也就是最小的语音、语义结合体。语素不是独立运用的语言单位，它的主要功能是作为构成词语的材料。说它是语音、语义结合体，有意义的语言单位，目的是把它跟音节区分开来，有些音节光有音没有意义，不能看作语素，如“雳”、“馄”。说它是最小的有意义的语言单位，不属于独立运用的语言单位，目的是把它跟词区分开来。