正则匹配(regular expression)
正则匹配是一个非常常用的字符搜索手段,在数据挖掘中起着非常重要的作用。这一节的内容大约了解即可,在今后的实践中再不断练习巩固。
在R当中,可以使用三种正则:
- 扩展正则
- 基本正则
- Perl风格正则
正则的使用主要涉汲以下7个函数:grep, grepl, sub, gsub, regexpr, gregrexpr, regexec。而象strsplit, apropos以及browseEnv都是基于这7个函数基础之上的。
那么,什么是正则呢?假设我们现在需要从一堆字符当中找到一个符合一定规则的字符串,比如说从一个表格中找到所有人的email地址,或者说找到一段文字中所有的URL地址,你会如何做呢?最好的办法就是使用正则了。通常一个email地址是这样的(最简单情形),username@domainname.com ,其中,username可能是任意字母,数字,以及下划线,点等组成,而domainname.com就是一个域名地址。它们之间以@相隔。在正则下是这样表示,^[A-Za-z0-9\\._%+-]+@[A-Za-z0-9\\.-]+\\.[A-Za-z]{2,4}$
。
> pattern = "^[A-Za-z0-9\\._%+-]+@[A-Za-z0-9\\.-]+\\.[A-Za-z]{2,4}$"
> str <- c("abc", "someone@bioconductor.org", "efg", "anotherone@gmail.com", "thirdone@yahoo.cn")
> # grepl会返回一个逻辑值,l就代表logical, g就代表global
> grepl(pattern, str)
## [1] FALSE TRUE FALSE TRUE TRUE
> # grep会返回匹配的id
> grep(pattern, str)
## [1] 2 4 5
> # regexpr会返回一个数字,1表示匹配,-1表示不匹配,还会返回两个属性,匹配的长度以及是否使用useBytes。useBytes一般很少会使用到false,因为我们不处理宽字符。
> regexpr(pattern, str)
## [1] -1 1 -1 1 1
## attr(,"match.length")
## [1] -1 24 -1 20 17
## attr(,"useBytes")
## [1] TRUE
> # regexec会返回一个list,下面的内容是第一个匹配及其长度
> regexec("\\w+@\\w+\\.[a-zA-Z]{2,4}", "abc@bioconductor.org,efd@bioconductor.org")
## [[1]]
## [1] 1
## attr(,"match.length")
## [1] 20
> # gregexpr也会返回一个list,
> # 下面的内容是每一个匹配及其长度以及useBytes。g就代表global
> gregexpr("\\w+@\\w+\\.[a-zA-Z]{2,4}", "abc@bioconductor.org,efd@bioconductor.org")
## [[1]]
## [1] 1 22
## attr(,"match.length")
## [1] 20 20
## attr(,"useBytes")
## [1] TRUE
> # sub和gsub都用来做正则替换,其区别只在于g所代表的global。sub只替换遇到的第一个匹配,而gsub会替换所有的匹配。
> # 需要注意的是,这里的匹配都是对应的一个字符串而言的,如果是多个字符串,要区别为每一个来单独对待。
> sub("\\w+@\\w+\\.[a-zA-Z]{2,4}", "sub_function", "abc@bioconductor.org,efd@bioconductor.org")
## [1] "sub_function,efd@bioconductor.org"
> gsub("\\w+@\\w+\\.[a-zA-Z]{2,4}", "gsub_function", "abc@bioconductor.org,efd@bioconductor.org")
## [1] "gsub_function,gsub_function"
正则的使用已经看到了,但是让人看不明白就是字符. \ | ( ) [ { ^ $ * + – ? 这些符号都是什么意思呢?下面就来仔细讲讲perl中的正则符号。
. # 除了换行以外的任意字符 ^ # 一行字符串的起始,它并不代表第一个字符,只代表这里开始新的一行字符串。 $ # 一行字符串的结束,它并不代表最后一个字符(因为换行符并不会被包含进匹配当中),只代表一行字符串到这里结束。 * # 零个或者多个之前的字符 + # 一个或者多个之前的字符 ? # 零个或者一个之前的字符 # 示例部分 t.e # t后面跟任意一个非换行字符然后跟字符e # 它可以匹配 the # tre # tle # 但是不匹配 te # tale ^f # 一行字符以f起始 ^ftp # 一行字符以ftp起始 e$ # 一行字符以e结尾 tle$ # 一行字符以tle结尾 und* # un跟着零个或者多个d字符 # 它会匹配 un # und # undd # unddd (etc) .* # 任意一个无换行的字符串, # . 匹配任何一个非换行字符 # * 将匹配一个或者多个之前的字符. ^$ # 一个空行. # 在正则中有方括号[],代表可以匹配其中任何一个字符。而^在[]中就有了新的意义,代表“非”, -代表了“之间” [qjk] # q,j,k中任意一个字符 [^qjk] # 非q,j,k的任意其它字符 [a-z] # a至z中任意一个小写字符 [^a-z] # 非任意一个a至z小写字符的其它字符(可以是大写字符) [a-zA-Z] # 任意一个英文字母 [a-z]+ # 一个或者多个小写英文字母 # |代表或者 小括号(...)可以把或者的部分括起来。注意小括号可能还有别的用途,但是在R当中先不使用。 jelly|cream # jelly或者cream (eg|le)gs # eggs或者legs (da)+ # da或者dada或者dadada 或者更多个da的重复 # 大括号括住1至2个数字,代表重复次数。 * # 零个或者多个之前的字符 + # 一个或者多个之前的字符 ? # 零个或者一个之前的字符 {n} # n个之前的字符 {n,} # 大于等于n个之前的字符 {n,m} # n至m个之前的字符 # 下面的是一些字符被转义符\转义会赋以了一些新的(有可能是约定俗成的)意义 \n # 换行符 \t # tab \w # 任意字母(包括下划线)或者数字 # 等同于[a-zA-Z0-9_] \W # \w的反义. # 等同于[^a-zA-Z0-9_] \d # 任意一个数字,等同于[0-9] \D # \d的反义,等同于[^0-9] \s # 任意一个空格,比如, # space, tab, newline, 等 \S # \s的反义,任意一个非空格 \b # 单词的边界, 不能使用在[]内 \B # \b的反义 # 很明显,对于保留字符$, |, [, ), \, / 等等都需要转义字符\来转义表示: \| # 竖线 \[ # \[左方括号 \]右方括号 \) # \( 左小括号 \)右小括号 \* # 星号 \^ # 开号 \/ # 反斜杠 \\ # 斜杠
POSIX中定义的一些特殊意义的字符
[:alnum:] # [:alpha:]和[:digit:]的组合 [:alpha:] # [:lower:]和[:upper:]的组合 [:blank:] # 空格(space, tab),不包括换行符 [:cntrl:] # 控制符,在ASCII码中000~037或者177 [:digit:] # 任意数字:0-9 [:graph:] # [:alnum:]和[:punct:]的组合 [:lower:] # 当前字符集的小写字母 [:print:] # 可打印出来的字符,[:graph:]以及空格 [:punct:] # 标点符号,包括:^ ! " # $ % & ' ( ) * + - . / : ; < = > ? @ [ ] \ _ { } ` ~ [:space:] # 空格,包括tab, newline, vertical tab, form feed, carriage return, and space [:upper:] # 当前字符集的大写字母 [:xdigit:] # 16进制数 0-9a-fA-F
锚点特殊字符
^ # 一行字符串的起始,它并不代表第一个字符,只代表这里开始新的一行字符串。 $ # 一行字符串的结束,它并不代表最后一个字符(因为换行符并不会被包含进匹配当中),只代表一行字符串到这里结束。 \< # 单词左边界 \> # 单词右边界
依据上面的介绍,网址的简单匹配可以写为:
pattern <- "^[A-Za-z0-9\\._%+-]+@[A-Za-z0-9\\.-]+\\.[A-Za-z]{2,4}$"
可以改写为
pattern <- "^[\\w\\._%+-]+@[\\w\\.-]+\\.[A-Za-z]{2,4}$"
或者
pattern <- "^[[:alnum:]\\._%+-]+@[[:alnum:]\\.-]+\\.[[:alpha:]]{2,4}$"
为什么转义字符()都要写两次呢?因为R本身也把\当成转义字符,所以在写pattern的时候,就需要使用\\
来表示转义字符。还有一种办法就是设置fixed为TRUE。
那么参数中perl是什么意思呢?其实就是指是否使用PCRE的算法,我们来看实例:
> regexpr("foo|foobar", "myfoobar")
## [1] 3
## attr(,"match.length")
## [1] 6
## attr(,"useBytes")
## [1] TRUE
> regexpr("foo|foobar", "myfoobar", perl = TRUE)
## [1] 3
## attr(,"match.length")
## [1] 3
## attr(,"useBytes")
## [1] TRUE