Atitit.词法分析的原理 理论
1. 分词 .词法分析lexical analysis 1
1.1. 分词主要流程 1
1.2. 分词的属性如下表token 1
1.3. 词法分析器主要包括：构造转换图与转换表、设计词法分析器算法。 2
2. 状态转换表 2
3. 词性划分 2
3.1. Token的类型，根据程序设计语言的特点，单词可以分为五类：关键字、标识符、常量、运算符、界符。以 2
3.2. 词法分析的第一阶段即扫描器 2
3.3. 词法分析的第二阶段评估器（Evaluator） 3
4. Qa 3
4.1. 词法分析的逻辑结果包括空格吗 3
1. 分词 .词法分析lexical analysis
1.1. 分词主要流程
字符切分，对比字典词典得到分词，并查阅词典，标注词性。完善其他属性，输出
当词法分析器发现了一个标识符的词素时，要将这个词素添加到符号表中。
其他任务：
- 过滤掉源程序中的注释和空白。
- 将编译器生成的错误信息与源程序的位置联系起来。记录行号等。
词法分析器的两个级联的处理阶段：
- 扫描阶段：简单处理，删除注释，压缩空白字符。
- 词法分析阶段：处理扫描阶段的输出并生成词法单元。
1.2. 分词的属性如下表token
参考antlr..
|
Col |
列数 |
|
|
Filename |
所属文件名 |
|
|
Line |
行数 |
|
|
Text |
分词 |
|
|
Type |
词性 |
作者:: ★(attilax)>>> 绰号:老哇的爪子 （ 全名：：Attilax Akbar Al Rapanui 阿提拉克斯 阿克巴 阿尔 拉帕努伊 ） 汉字名：艾龙， EMAIL:1466519819@qq.com
转载请注明来源： http://blog.blogcn.net/attilax
1.3. 词法分析器主要包括：构造转换图与转换表、设计词法分析器算法。
词法分析器的核心就是依据转换图识别单词。不过，事实并非完全如此。由于某些程序设计语言的词法定义缘故，仅仅依据程序2-1的算法是不足以完成词法分析的
2. 状态转换表
3. 词性划分
3.1. Token的类型，根据程序设计语言的特点，单词可以分为五类：关键字、标识符、常量、运算符、界符。以
读者可能对"单词"感到有点疑惑，不明白到底什么才是词法分析中所说的"单词"。试图回答这个问题就必须了解几个基本概念。这里，引入几个程序设计语言相关的名词。
（1）标识符：用户自定义的变量名、函数名等字符串。
（2）关键字：具有特殊含义的标识符。
（3）运算符：例如＋、－、*、/ 等。
（4）常量：例如3.24、92等。
（5）界符：具有特殊含义的符号，如分号、括号等。
3.2. 词法分析的第一阶段即扫描器
3.3. 词法分析的第二阶段评估器（Evaluator）
，语法分析器需要第二阶段的评估器（Evaluator）。评估器根据语素中的字符序列生成一个“值”，这个“值”和语素的类型便构成了可以送入语法分析器的单词。一些诸如括号的语素并没有“值”，评估器函数便可以什么都不返回。整数、标识符、字符串的评估器则要复杂的多。评估器有时会抑制语素，被抑制的语素（例如空白语素和注释语素）随后不会被送入语法分析器。
4. Qa
4.1. 词法分析的逻辑结果包括空格吗
好像不包括，参考 atitit.c词法分析器的详细原理.docx。。参考请问编译原理词法分析器是干什么用的，怎么用？？？-CSDN论坛-CSDN.NET-中国最大的IT技术社区.html， 也是不包括
分号逗号是包括的。
词法分析的逻辑结果包括分界符号码
看起来好像包括
包括字符串双引号吗，好像包括，参考 请问编译原理词法分析器是干什么用的，怎么用？？？-CSDN论坛-CSDN.NET-中国最大的IT技术社区.html
for(int i=0;++i;i<10)printf("Hello world");
printf
(
"Hello聽world"
)
;
5. 参考资料
词法分析器的作用 - cyendra - 博客园.html