1、正则表达式的作用
正则表达式是很繁琐的，但也相当有用。学会正则表达式，可以让你做很多工作时都成倍地提高效率。正则表达式的作用可以概括为三个方面测试字符串内模式、替换文本、基于模式匹配从字符串中提取子字符串。
它的应用领域也相当广泛，C#, java, python等等语言中都有应用。这里主要说明python中的正则表达式。
2、正则表达式语法
正则表达式是由普通字符（如a-z）以及特殊字符（“元字符"）组成的文字模式。模式描述在搜索文本时要匹配的一个或多个字符串。正则表达式作为一个模板，将字符串模式与搜索资源进行匹配。
构造正则表达式的方法实际上跟构造数学公式相似。即用多种元字符与运算符将小的表达式结合在一起来创建更大的表达式。正则表达式的组建可以是单个字符、字符集合、字符范围、字符间的选择或者所有这些组建的任意组合。
3、字符种类
字符一般分为普通字符、非打印字符、特殊字符、限定符、定位符等。
1）普通字符：包括没有显示指定为元字符的所有可打印和不可打印字符。这包括所有大写和小写字母，所有数字、所有标点符号和一些其他符号。
2）非打印字符，如下表所示：
|
字符 |
概述 |
|
cx |
匹配由x指明的控制字符。如cM匹配一个Control-M1或者回车符。X值必须为A-Z或a-z之一。否则，将c是为一个原义的’c’字符。 |
|
f |
匹配一个换页符。等价于x0c和cL。 |
|
|
匹配一个换行符。等价于x0d和cJ。 |
|
|
匹配一个回车符。等价于x0d和cM。 |
|
s |
匹配任何空白字符，包括空格、制表符、换页符等等。等价于[fv v] |
|
S |
匹配任何空白字符。等价于[^fv v]。 |
|
|
匹配一个制表符。等价于x09和cl。 |
|
v |
匹配垂直制表符。等价于x0b和cK。 |
3）特殊字符，有特殊含义的字符。如要匹配这些元素需要在字符前面加转义符，即反斜杠字符()。
|
特殊字符 |
概述 |
|
$ |
匹配输入字符串的结尾位置。 |
|
() |
标记一个子表达式的开始和结束位置。子表达式可以获取供以后使用。 |
|
* |
匹配前面的子表达式0次或多次。 |
|
+ |
匹配前面的自表达式1次或多次。 |
|
. |
匹配除换行符 之外的任何单个字符。 |
|
[ |
标记一个中括号表达式的开始 |
|
? |
匹配前面的子表达式0次或1次，或指明一个非贪婪限定符。 |
|
|
将下一个字符标记为或特殊字符、或原义字符、或向后引用、或八进制转义符。 |
|
^ |
匹配输入字符串的开始位置、除非在方括号表达式中使用，此时它表示排除该字符的集合。 |
|
{ |
标记限定符表达式的开始。 |
|
| |
指明两项之间的一个选择。 |
4）限定符：用来指定正则表达式的一个给定组件必须要出现多少次才能满足匹配。如下表所示：
|
限定符 |
概述 |
|
* |
匹配前面的子表达式0次或多次。例如，zo* 能匹配 "z" 以及 "zoo"。* 等价于{0,}。 |
|
+ |
匹配前面的子表达式1次或多次。例如，'zo+' 能匹配 "zo" 以及 "zoo"，但不能匹配 "z"。+ 等价于 {1,}。 |
|
? |
匹配前面的子表达式0次或1次。例如，"do(es)?" 可以匹配 "do" 或 "does" 中的"do" 。? 等价于 {0,1}。 |
|
{n} |
n 是一个非负整数。匹配确定的 n 次。例如，'o{2}' 不能匹配 "Bob" 中的 'o'，但是能匹配 "food" 中的两个 o。 |
|
{n,} |
n 是一个非负整数。至少匹配n 次。例如，'o{2,}' 不能匹配 "Bob" 中的 'o'，但能匹配 "foooood" 中的所有 o。'o{1,}' 等价于 'o+'。'o{0,}' 则等价于 'o*'。 |
|
{n,m} |
m 和 n 均为非负整数，其中n <= m。最少匹配 n 次且最多匹配 m 次。例如，"o{1,3}" 将匹配 "fooooood" 中的前三个 o。'o{0,1}' 等价于 'o?'。请注意在逗号和两个数之间不能有空格。 |
5）定位符：定位符用来描述字符串或单词的边界，^和$分别指字符串的开始与结束，描述单词的前或后边界，B表示非单词边界。
TIPS：不能将限定符与定位点一起使用。由于在紧靠换行或者字边界的前面或后面不能有一个以上位置，因此不允许诸如 ^* 之类的表达式。
若要匹配一行文本开始处的文本，请在正则表达式的开始使用 ^ 字符。不要将 ^ 的这种用法与中括号表达式内的用法混淆。
若要匹配一行文本的结束处的文本，请在正则表达式的结束处使用 $ 字符。
4、非捕获元素与反向引用
用圆括号将所有选择项括起来，相邻的选择项之间用|分隔。但用圆括号会有一个副作用，相匹配的项会被缓存，用?:放在第一个选项前就可消除这一副作用。
这是一个非捕获元，其他还有?=与?!。前者为正向预查，在任何开始匹配圆括号内的正则表达式模式的位置搜索字符串，后者为负向预查，在任何不匹配该正则表达式的位置来匹配搜索字符串。
反向引用最简单、最有用的应用之一是提供查找文本中相同的相邻单词的匹配项的能力。
5、元字符
所有元字符如下表所示：
|
^ |
$ |
* |
+ |
? |
|
|
{n} |
{n,} |
{n,m} |
? |
(pattern) |
(?:pattern) |
|
(?=pattern) |
(?!pattern) |
x|y |
[xyz] |
[^xyz] |
[a-z] |
|
[^a-z] |
B |
cx |
d |
D |
|
|
f |
|
|
s |
S |
|
|
v |
w |
W |
xn |
um |
|
|
m |
ml |
un |
. |
其在正则表达式上下文中的行为如下表：
|
元字符 |
概述 |
|
? |
当该字符紧跟在任何一个其他限制符 (*, +, ?, {n}, {n,}, {n,m}) 后面时，匹配模式是非贪婪的。非贪婪模式尽可能少的匹配所搜索的字符串，而默认的贪婪模式则尽可能多的匹配所搜索的字符串。例如，对于字符串 "oooo"，'o+?' 将匹配单个 "o"，而 'o+' 将匹配所有 'o'。 |
|
. |
匹配除 " " 之外的任何单个字符。要匹配包括 ' ' 在内的任何字符，请使用象 '[. ]' 的模式。 |
|
(pattern) |
匹配 pattern 并获取这一匹配。所获取的匹配可以从产生的 Matches 集合得到，在VBScript 中使用 SubMatches 集合，在JScript 中则使用 $0…$9 属性。要匹配圆括号字符，请使用 '(' 或 ')'。 |
|
(?:pattern) |
匹配 pattern 但不获取匹配结果，也就是说这是一个非获取匹配，不进行存储供以后使用。这在使用 "或" 字符 (|) 来组合一个模式的各个部分是很有用。例如， 'industr(?:y|ies) 就是一个比 'industry|industries' 更简略的表达式。 |
|
(?=pattern) |
正向预查，在任何匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如，'Windows (?=95|98|NT|2000)' 能匹配 "Windows 2000" 中的 "Windows" ，但不能匹配 "Windows 3.1" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。 |
|
(?!pattern) |
负向预查，在任何不匹配 pattern 的字符串开始处匹配查找字符串。这是一个非获取匹配，也就是说，该匹配不需要获取供以后使用。例如'Windows (?!95|98|NT|2000)' 能匹配 "Windows 3.1" 中的 "Windows"，但不能匹配 "Windows 2000" 中的 "Windows"。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。 |
|
x|y |
匹配 x 或 y。例如，'z|food' 能匹配 "z" 或 "food"。'(z|f)ood' 则匹配 "zood" 或 "food"。 |
|
[xyz] |
字符集合。匹配所包含的任意一个字符。例如， '[abc]' 可以匹配 "plain" 中的 'a'。 |
|
[^xyz] |
负值字符集合。匹配未包含的任意字符。例如， '[^abc]' 可以匹配 "plain" 中的'p'。 |
|
[a-z] |
字符范围。匹配指定范围内的任意字符。例如，'[a-z]' 可以匹配 'a' 到 'z' 范围内的任意小写字母字符。 |
|
[^a-z] |
负值字符范围。匹配任何不在指定范围内的任意字符。例如，'[^a-z]' 可以匹配任何不在 'a' 到 'z' 范围内的任意字符。 |
|
|
匹配一个单词边界，也就是指单词和空格间的位置。例如， 'er' 可以匹配"never" 中的 'er'，但不能匹配 "verb" 中的 'er'。 |
|
B |
匹配非单词边界。'erB' 能匹配 "verb" 中的 'er'，但不能匹配 "never" 中的 'er'。 |
|
cx |
匹配由 x 指明的控制字符。例如， cM 匹配一个 Control-M 或回车符。x 的值必须为 A-Z 或 a-z 之一。否则，将 c 视为一个原义的 'c' 字符。 |
|
d |
匹配一个数字字符。等价于 [0-9]。 |
|
D |
匹配一个非数字字符。等价于 [^0-9]。 |
|
f |
匹配一个换页符。等价于 x0c 和 cL。 |
|
|
匹配一个换行符。等价于 x0a 和 cJ。 |
|
|
匹配一个回车符。等价于 x0d 和 cM。 |
|
s |
匹配任何空白字符，包括空格、制表符、换页符等等。等价于 [ f v]。 |
|
S |
匹配任何非空白字符。等价于 [^ f v]。 |
|
|
匹配一个制表符。等价于 x09 和 cI。 |
|
v |
匹配一个垂直制表符。等价于 x0b 和 cK。 |
|
w |
匹配包括下划线的任何单词字符。等价于'[A-Za-z0-9_]'。 |
|
W |
匹配任何非单词字符。等价于 '[^A-Za-z0-9_]'。 |
|
xn |
匹配 n，其中 n 为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，'x41' 匹配 "A"。'x041' 则等价于 'x04' & "1"。正则表达式中可以使用 ASCII 编码。 |
|
um |
匹配 num，其中 num 是一个正整数。对所获取的匹配的引用。例如，'(.)1' 匹配两个连续的相同字符。 |
|
|
标识一个八进制转义值或一个向后引用。如果 之前至少 n 个获取的子表达式，则 n 为向后引用。否则，如果 n 为八进制数字 (0-7)，则 n 为一个八进制转义值。 |
|
m |
标识一个八进制转义值或一个向后引用。如果 m 之前至少有 nm 个获得子表达式，则 nm 为向后引用。如果 m 之前至少有 n 个获取，则 n 为一个后跟文字 m 的向后引用。如果前面的条件都不满足，若 n 和 m 均为八进制数字 (0-7)，则 m 将匹配八进制转义值 nm。 |
|
ml |
如果 n 为八进制数字 (0-3)，且 m 和 l 均为八进制数字 (0-7)，则匹配八进制转义值 nml。 |
|
un |
匹配 n，其中 n 是一个用四个十六进制数字表示的 Unicode 字符。例如， u00A9 匹配版权符号 (?)。 |
6、运算符优先级
|
运算符 |
概述 |
|
转义符 |
|
|
(),(?:),(?=),[] |
圆括号，方括号 |
|
*,+,?,{n},{n,},{n,m} |
限定符 |
|
^,$,任何字符,任何字符 |
定位点和序列 |
|
| |
|替换，"或"操作 字符具有高于替换运算符的优先级，使得"m|food"匹配"m"或"food"。若要匹配"mood"或"food"，请使用括号创建子表达式，从而产生"(m|f)ood"。 |
7、匹配规则
这里主要包括一个常用的模式，如字符簇、重复出现等。具体如下表所示：
|
字符簇 |
概述 |
|
[a-z] |
匹配所有小写字母 |
|
[A-Z] |
匹配所有大写字母 |
|
[a-zA-Z] |
匹配所有字母 |
|
[0-9] |
匹配所有数字 |
|
[0-9.-] |
匹配所有数字、句号、减号 |
|
[ f ] |
匹配所有白字符 |
|
[[:alpha]] |
任何字母（以下为PHP通用字符簇） |
|
[[:digit]] |
任何数字 |
|
[[:alnum]] |
任何字母和数字 |
|
[[:space]] |
任何空白字符 |
|
[[:upper]] |
任何大写字母 |
|
[[:lower]] |
任何小写字母 |
|
[[:punct]] |
任何标点符号 |
|
[[:xidigit]] |
任何16进制的数字，等价于[0-9a-fA-F] |
8、python正则表达式常用函数
.*：贪心算法，可以包括符合正则表达式的所有字符包括' '、' '、' '等
.*?：非贪心算法，包括符合正则表达式的连续的字段。
python中的re库包括的几乎所有的正则表达式功能。compile函数根据一个模式字符串和可选的标志参数生成一个正则表达式对象。该对象具有一系列用于正则表达式匹配和替换。
1）re.match方法，从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，返回none。
用法及参数为：
re.match(pattern,string, flags=0
pattern是正则表达式，string是要匹配的字符串，flags是标志位，用于控制正则表达式的匹配方式，如区分大小写，多行匹配等等。
匹配成功返回一个匹配对象，这里用group(num)或groups()匹配对象函数来获取匹配表达式。
2）re.search方法：扫描整个字符串并返回第一个成功的匹配，其他与match相同。
3）re.findall方法：匹配所有符合规律的内容，返回结果列表。
4）re.sub方法：替换符合规律的内容，返回替换后的值。