正则表达式 - 基础知识

正则表达式
文章描述了有关正则表达式相关的知识文库，敬请阅读！

概述

正则表达式（Regular expressions，也叫 REs、 regexs 或 regex patterns），本质上是嵌入 Python 内部并通过 re 模块提供的一种微小的、高度专业化的编程语言。使用这种小语言，你可以为想要匹配的可能字符串编写规则；这些字符串可能是英文句子、邮箱地址、TeX 命令或任何你喜欢的内容。然后，你可以提出诸如“此字符串是否与表达式匹配？”、“字符串中是否存在表达式的匹配项？”之类的问题。你还可以用正则来修改字符串，或以各种方式将其拆分。

正则表达式会被编译成一系列字节码，然后由 C 语言编写的匹配引擎执行。对于高级用途，可能有必要特别注意引擎将如何执行一个给定的正则，并以某种方式写入正则，以生成运行更快的字节码。本文不涉及优化问题，因为这要求你对正则引擎的匹配过程有很好的了解。

正则表达式语言相对较小且受限，因此并非所有可能的字符串处理任务都可以使用正则表达式完成。有些任务尽管可以用正则表达式来完成，但表达式会变得非常复杂。这些情况下，最好通过编写 Python 代码来进行处理。也许 Python 代码会比精心设计的正则表达式慢，但它可能更容易理解。

简单正则介绍

让我们从最简单的正则表达式开始吧。由于正则表达式是用来操作字符串的，我们将从最常见的任务开始：匹配字符。

关于正则表达式背后的计算机科学的详细解释（确定性和非确定性有限自动机），你可以参考几乎所有关于编写编译器的教科书。

匹配字符

大多数字母和符号都会简单地匹配自身。例如，正则表达式 test 将会精确地匹配到 test 。（你可以启用不区分大小写模式，让这个正则也匹配 Test 或 TEST ，稍后会详细介绍。）

但该规则有例外。有些字符是特殊的元字符（metacharacters），并不匹配自身。事实上，它们表示匹配一些非常规的内容，或者通过重复它们或改变它们的含义来影响正则的其他部分。本文的大部分内容都致力于讨论各种元字符及其作用。

这是元字符的完整列表。

. ^ $ * + ? { } [ ] \ | ( )

首先介绍的元字符是 [ 和 ] 。这两个元字符用于指定一个字符类，也就是你希望匹配的字符的一个集合。这些字符可以单独地列出，也可以用字符范围来表示（给出两个字符并用 ‘-‘ 分隔）。例如，[abc] 将匹配 a、b、c 之中的任意一个字符；这与 [a-c] 相同，后者使用一个范围来表达相同的字符集合。如果只想匹配小写字母，则正则表达式将是 [a-z] 。

元字符 (除了 ) 在字符类中是不起作用的。例如，[akm$] 将会匹配以下任一字符 ‘a’, ‘k’, ‘m’ 或 ‘$’；’$’ 通常是一个元字符，但在一个字符类中它的特殊性被消除了。

你可以通过对集合取反来匹配字符类中未列出的字符。方法是把 ‘^’ 放在字符类的最开头。例如，[^5] 将匹配除 ‘5’ 之外的任何字符。如果插入符出现在字符类的其他位置，则它没有特殊含义。例如：[5^] 将匹配 ‘5’ 或 ‘^’。

也许最重要的元字符是反斜杠，\ 。与 Python 字符串字面量一样，反斜杠后面可以跟各种字符来表示各种特殊序列。它还用于转义元字符，以便可以在表达式中匹配元字符本身。例如，如果需要匹配一个 [ 或 \ ，可以在其前面加上一个反斜杠来消除它们的特殊含义：[ 或 \ 。

一些以 ‘\’ 开头的特殊序列表示预定义的字符集合，这些字符集通常很有用，例如数字集合、字母集合或非空白字符集合。

让我们举一个例子：\w 匹配任何字母数字字符。如果正则表达式以 bytes 类型表示，\w 相当于字符类 [a-zA-Z0-9_] 。如果正则表达式是 str 类型，\w 将匹配由 unicodedata 模块提供的 Unicode 数据库中标记为字母的所有字符。通过在编译正则表达式时提供 re.ASCII 标志，可以在 str 表达式中使用较为狭窄的 \w 定义。

以下为特殊序列的不完全列表。有关 Unicode 字符串正则表达式的序列和扩展类定义的完整列表，参见标准库参考中正则表达式语法的最后一部分。通常，Unicode 版本的字符类会匹配 Unicode 数据库的相应类别中的任何字符。

正则符号	意义
\d	匹配任何十进制数字，等价于字符类 [0-9] 。
\D	匹配任何非数字字符，等价于字符类 [^0-9] 。
\s	匹配任何空白字符，等价于字符类 [ \t\n\r\f\v] 。
\S	匹配任何非空白字符，等价于字符类 [^ \t\n\r\f\v] 。
\w	匹配任何字母与数字字符，等价于字符类 [a-zA-Z0-9_] 。
\W	匹配任何非字母与数字字符，等价于字符类 [^a-zA-Z0-9_] 。

这些序列可以包含在字符类中。例如，[\s,.] 是一个匹配任何空白字符、’,’ 或 ‘.’ 的字符类。

本节的最后一个元字符是 . 。它匹配除换行符之外的任何字符，并且有一个可选模式（ re.DOTALL ），在该模式下它甚至可以匹配换行符。 . 通常用于你想匹配“任何字符”的场景。

完整的正则表达式字符列表

正则表达式通配符列表
元字符	描述
\	将下一个字符标记符、或一个向后引用、或一个八进制转义符。例如，”\n”匹配\n。”\n”匹配换行符。序列”\“匹配”\”而”(“则匹配”(“。即相当于多种编程语言中都有的”转义字符”的概念。
^	匹配输入字行首。如果设置了RegExp对象的Multiline属性，^也匹配”\n”或”\r”之后的位置。
$	匹配输入行尾。如果设置了RegExp对象的Multiline属性，$也匹配”\n”或”\r”之前的位置。
*	匹配前面的子表达式任意次。例如，zo能匹配”z”，也能匹配”zo”以及”zoo”。等价于{0,}。
+	匹配前面的子表达式一次或多次(大于等于1次）。例如，”zo+”能匹配”zo”以及”zoo”，但不能匹配”z”。+等价于{1,}。
?	匹配前面的子表达式零次或一次。例如，”do(es)?”可以匹配”do”或”does”。?等价于{0,1}。
{ n }	n是一个非负整数。匹配确定的n次。例如，”o{2}”不能匹配”Bob”中的”o”，但是能匹配”food”中的两个o。
{ n ,}	n是一个非负整数。至少匹配n次。例如，”o{2,}”不能匹配”Bob”中的”o”，但能匹配”foooood”中的所有o。”o{1,}”等价于”o+”。”o{0,}”则等价于”o*“。
{ n , m }	m和n均为非负整数，其中n\<=m。最少匹配n次且最多匹配m次。例如，”o{1,3}”将匹配”fooooood”中的前三个o为一组，后三个o为一组。”o{0,1}”等价于”o?”。请注意在逗号和两个数之间不能有空格。
?	当该字符紧跟在任何一个其他限制符（*,+,?，{n}，{n,}，{n,m}）后面时，匹配模式是非贪婪的。非贪婪模式尽可能少地匹配所搜索的字符串，而默认的贪婪模式则尽可能多地匹配所搜索的字符串。例如，对于字符串”oooo”，”o+”将尽可能多地匹配”o”，得到结果[“oooo”]，而”o+?”将尽可能少地匹配”o”，得到结果 [‘o’, ‘o’, ‘o’, ‘o’]
.	匹配除”\n”和”\r”之外的任何单个字符。要匹配包括”\n”和”\r”在内的任何字符，请使用像”[\s\S]”的模式。
(pattern)	匹配pattern并获取这一匹配。所获取的匹配可以从产生的Matches集合得到，在VBScript中使用SubMatches集合，在JScript中则使用$0…$9属性。要匹配圆括号字符，请使用”(“或”)“。
(?:pattern)	非获取匹配，匹配pattern但不获取匹配结果，不进行存储供以后使用。这在使用或字符”(\|)”来组合一个模式的各个部分时很有用。例如”industr(?:y\|ies)”就是一个比”industry\|industries”更简略的表达式。
(?=pattern)	非获取匹配，正向肯定预查，在任何匹配pattern的字符串开始处匹配查找字符串，该匹配不需要获取供以后使用。例如，”Windows(?=95\|98 \|NT \|2000)”能匹配”Windows2000”中的”Windows”，但不能匹配”Windows3.1”中的”Windows”。预查不消耗字符，也就是说，在一个匹配发生后，在最后一次匹配之后立即开始下一次匹配的搜索，而不是从包含预查的字符之后开始。
(?!pattern)	非获取匹配，正向否定预查，在任何不匹配pattern的字符串开始处匹配查找字符串，该匹配不需要获取供以后使用。例如”Windows(?!95 \|98 \|NT \|2000)”能匹配”Windows3.1”中的”Windows”，但不能匹配”Windows2000”中的”Windows”。
(?\<=pattern)	非获取匹配，反向肯定预查，与正向肯定预查类似，只是方向相反。例如，”(?\<=95\|98\|NT\|2000)Windows”能匹配”2000Windows”中的”Windows”，但不能匹配”3.1Windows”中的”Windows”。*python的正则表达式没有完全按照正则表达式规范实现，所以一些高级特性建议使用其他语言如java、scala等
(?\<!pattern)	非获取匹配，反向否定预查，与正向否定预查类似，只是方向相反。例如”(?\<!95\|98\|NT\|2000)Windows”能匹配”3.1Windows”中的”Windows”，但不能匹配”2000Windows”中的”Windows”。*python的正则表达式没有完全按照正则表达式规范实现，所以一些高级特性建议使用其他语言如java、scala等
x\|y	匹配x或y。例如，”z\|food”能匹配”z”或”food”(此处请谨慎)。”[z\|f]ood”则匹配”zood”或”food”。
[xyz]	字符集合。匹配所包含的任意一个字符。例如，”[abc]”可以匹配”plain”中的”a”。
[^xyz]	负值字符集合。匹配未包含的任意字符。例如，”[^abc]”可以匹配”plain”中的”plin”任一字符。
[a-z]	字符范围。匹配指定范围内的任意字符。例如，”[a-z]”可以匹配”a”到”z”范围内的任意小写字母字符。注意:只有连字符在字符组内部时,并且出现在两个字符之间时,才能表示字符的范围; 如果出字符组的开头,则只能表示连字符本身.
[^a-z]	负值字符范围。匹配任何不在指定范围内的任意字符。例如，”[^a-z]”可以匹配任何不在”a”到”z”范围内的任意字符。
\b	匹配一个单词的边界，也就是指单词和空格间的位置（即正则表达式的”匹配”有两种概念，一种是匹配字符，一种是匹配位置，这里的\b就是匹配位置的）。例如，”er\b”可以匹配”never”中的”er”，但不能匹配”verb”中的”er”；”\b1_“可以匹配”1_23”中的”1_“，但不能匹配”21_3”中的”1_“。
\B	匹配非单词边界。”er\B”能匹配”verb”中的”er”，但不能匹配”never”中的”er”。
\cx	匹配由x指明的控制字符。例如，\cM匹配一个Control-M或回车符。x的值必须为A-Z或a-z之一。否则，将c视为一个原义的”c”字符。
\d	匹配一个数字字符。等价于[0-9]。grep 要加上-P，perl正则支持
\D	匹配一个非数字字符。等价于[^0-9]。grep要加上-P，perl正则支持
\f	匹配一个换页符。等价于\x0c和\cL。
\n	匹配一个换行符。等价于\x0a和\cJ。
\r	匹配一个回车符。等价于\x0d和\cM。
\s	匹配任何不可见字符，包括空格、制表符、换页符等等。等价于[\f\n\r\t\v]。
\S	匹配任何可见字符。等价于[^ \f\n\r\t\v]。
\t	匹配一个制表符。等价于\x09和\cI。
\v	匹配一个垂直制表符。等价于\x0b和\cK。
\w	匹配包括下划线的任何单词字符。类似但不等价于”[A-Za-z0-9_]”，这里的”单词”字符使用Unicode字符集。
\W	匹配任何非单词字符。等价于”[^A-Za-z0-9_]”。
\x n	匹配n，其中n为十六进制转义值。十六进制转义值必须为确定的两个数字长。例如，”\x41”匹配”A”。”\x041”则等价于”\x04&1”。正则表达式中可以使用ASCII编码。
\ num	匹配num，其中num是一个正整数。对所获取的匹配的引用。例如，”(.)\1”匹配两个连续的相同字符。
\ n	标识一个八进制转义值或一个向后引用。如果_n之前至少_n个获取的子表达式，则n为向后引用。否则，如果n为八进制数字（0-7），则n为一个八进制转义值。
\ nm	标识一个八进制转义值或一个向后引用。如果_nm之前至少有_nm个获得子表达式，则nm为向后引用。如果_nm之前至少有_n个获取，则n为一个后跟文字m的向后引用。如果前面的条件都不满足，若n和m均为八进制数字（0-7），则_nm将匹配八进制转义值_nm。
\ nml	如果n为八进制数字（0-7），且m和l均为八进制数字（0-7），则匹配八进制转义值nml。
\u n	匹配n，其中n是一个用四个十六进制数字表示的Unicode字符。例如，\u00A9匹配版权符号（©）。
\p{P}	小写 p 是 property 的意思，表示 Unicode 属性，用于 Unicode 正表达式的前缀。中括号内的”P”表示Unicode 字符集七个字符属性之一：标点字符。其他六个属性：L：字母；M：标记符号（一般不会单独出现）；Z：分隔符（比如空格、换行等）；S：符号（比如数学符号、货币符号等）；N：数字（比如阿拉伯数字、罗马数字等）；C：其他字符。 * 注：此语法部分语言不支持，例： javascript __ 。
\< \>	匹配词（word）的开始（\<）和结束（\>）。例如正则表达式\能够匹配字符串”for the wise”中的”the”，但是不能匹配字符串”otherwise”中的”the”。注意：这个元字符不是所有的软件都支持的。
( )	将( 和 ) 之间的表达式定义为”组”（group），并且将匹配这个表达式的字符保存到一个临时区域（一个正则表达式中最多可以保存9个），它们可以用 \1 到\9 的符号来引用。
\|	将两个匹配条件进行逻辑”或”（or）运算。例如正则表达式(him \|her) 匹配”it belongs to him”和”it belongs to her”，但是不能匹配”it belongs to them.”。注意：这个元字符不是所有的软件都支持的。

更多信息

有关此知识的文章《正则表达式 - Java篇》

操作记录
作者：root
操作时间：2024-06-19 12:06:04 星期三
事件描述备注：保存/发布
 中国天津

操作记录
作者：root
操作时间：2024-06-19 12:07:03 星期三
事件描述备注：保存/发布
 中国天津