生物信息学生R入门教程–字符串处理

正则匹配(regular expression)

正则匹配是一个非常常用的字符搜索手段,在数据挖掘中起着非常重要的作用。这一节的内容大约了解即可,在今后的实践中再不断练习巩固。

在R当中,可以使用三种正则:

  • 扩展正则
  • 基本正则
  • Perl风格正则

正则的使用主要涉汲以下7个函数:grep, grepl, sub, gsub, regexpr, gregrexpr, regexec。而象strsplit, apropos以及browseEnv都是基于这7个函数基础之上的。

那么,什么是正则呢?假设我们现在需要从一堆字符当中找到一个符合一定规则的字符串,比如说从一个表格中找到所有人的email地址,或者说找到一段文字中所有的URL地址,你会如何做呢?最好的办法就是使用正则了。通常一个email地址是这样的(最简单情形),username@domainname.com ,其中,username可能是任意字母,数字,以及下划线,点等组成,而domainname.com就是一个域名地址。它们之间以@相隔。在正则下是这样表示,^[A-Za-z0-9\\._%+-]+@[A-Za-z0-9\\.-]+\\.[A-Za-z]{2,4}$

> pattern = "^[A-Za-z0-9\\._%+-]+@[A-Za-z0-9\\.-]+\\.[A-Za-z]{2,4}$"
> str <- c("abc", "someone@bioconductor.org", "efg", "anotherone@gmail.com", "thirdone@yahoo.cn")
> # grepl会返回一个逻辑值,l就代表logical, g就代表global
> grepl(pattern, str)
## [1] FALSE  TRUE FALSE  TRUE  TRUE
> # grep会返回匹配的id
> grep(pattern, str)
## [1] 2 4 5
> # regexpr会返回一个数字,1表示匹配,-1表示不匹配,还会返回两个属性,匹配的长度以及是否使用useBytes。useBytes一般很少会使用到false,因为我们不处理宽字符。
> regexpr(pattern, str)
## [1] -1  1 -1  1  1
## attr(,"match.length")
## [1] -1 24 -1 20 17
## attr(,"useBytes")
## [1] TRUE
> # regexec会返回一个list,下面的内容是第一个匹配及其长度
> regexec("\\w+@\\w+\\.[a-zA-Z]{2,4}", "abc@bioconductor.org,efd@bioconductor.org")
## [[1]]
## [1] 1
## attr(,"match.length")
## [1] 20
> # gregexpr也会返回一个list,
> # 下面的内容是每一个匹配及其长度以及useBytes。g就代表global
> gregexpr("\\w+@\\w+\\.[a-zA-Z]{2,4}", "abc@bioconductor.org,efd@bioconductor.org")
## [[1]]
## [1]  1 22
## attr(,"match.length")
## [1] 20 20
## attr(,"useBytes")
## [1] TRUE
> # sub和gsub都用来做正则替换,其区别只在于g所代表的global。sub只替换遇到的第一个匹配,而gsub会替换所有的匹配。
> # 需要注意的是,这里的匹配都是对应的一个字符串而言的,如果是多个字符串,要区别为每一个来单独对待。
> sub("\\w+@\\w+\\.[a-zA-Z]{2,4}", "sub_function", "abc@bioconductor.org,efd@bioconductor.org")
## [1] "sub_function,efd@bioconductor.org"
> gsub("\\w+@\\w+\\.[a-zA-Z]{2,4}", "gsub_function", "abc@bioconductor.org,efd@bioconductor.org")
## [1] "gsub_function,gsub_function"

正则的使用已经看到了,但是让人看不明白就是字符. \ | ( ) [ { ^ $ * + – ? 这些符号都是什么意思呢?下面就来仔细讲讲perl中的正则符号。

.  # 除了换行以外的任意字符
^   # 一行字符串的起始,它并不代表第一个字符,只代表这里开始新的一行字符串。
$   # 一行字符串的结束,它并不代表最后一个字符(因为换行符并不会被包含进匹配当中),只代表一行字符串到这里结束。
*   # 零个或者多个之前的字符
+   # 一个或者多个之前的字符
?   # 零个或者一个之前的字符
# 示例部分
t.e # t后面跟任意一个非换行字符然后跟字符e
    # 它可以匹配        the
    #                 tre
    #                 tle
    # 但是不匹配 te
    #           tale
^f  # 一行字符以f起始
^ftp    # 一行字符以ftp起始
e$  # 一行字符以e结尾
tle$    # 一行字符以tle结尾
und*    # un跟着零个或者多个d字符
    # 它会匹配 un
    #         und
    #         undd
    #         unddd (etc)
.*  # 任意一个无换行的字符串,
    #  . 匹配任何一个非换行字符
    #  * 将匹配一个或者多个之前的字符.
^$  # 一个空行.
 
# 在正则中有方括号[],代表可以匹配其中任何一个字符。而^在[]中就有了新的意义,代表“非”, -代表了“之间”
[qjk]       # q,j,k中任意一个字符
[^qjk]      # 非q,j,k的任意其它字符
[a-z]       # a至z中任意一个小写字符
[^a-z]      # 非任意一个a至z小写字符的其它字符(可以是大写字符)
[a-zA-Z]    # 任意一个英文字母
[a-z]+      # 一个或者多个小写英文字母
 
# |代表或者 小括号(...)可以把或者的部分括起来。注意小括号可能还有别的用途,但是在R当中先不使用。
 
jelly|cream # jelly或者cream
(eg|le)gs   # eggs或者legs
(da)+       # da或者dada或者dadada 或者更多个da的重复
 
# 大括号括住1至2个数字,代表重复次数。
*   # 零个或者多个之前的字符
+   # 一个或者多个之前的字符
?   # 零个或者一个之前的字符
{n} # n个之前的字符
{n,}    # 大于等于n个之前的字符
{n,m}   # n至m个之前的字符
 
# 下面的是一些字符被转义符\转义会赋以了一些新的(有可能是约定俗成的)意义
\n      # 换行符
\t      # tab
\w      # 任意字母(包括下划线)或者数字
        # 等同于[a-zA-Z0-9_]
\W      # \w的反义.
        # 等同于[^a-zA-Z0-9_]
\d      # 任意一个数字,等同于[0-9]
\D      # \d的反义,等同于[^0-9]
\s      # 任意一个空格,比如,
        # space, tab, newline, 等
\S      # \s的反义,任意一个非空格
\b      # 单词的边界, 不能使用在[]内
\B      # \b的反义
 
# 很明显,对于保留字符$, |, [, ), \, / 等等都需要转义字符\来转义表示:
 
\|      # 竖线
\[ 		# \[左方括号  \]右方括号
\)      # \( 左小括号  \)右小括号
\*      # 星号
\^      # 开号
\/      # 反斜杠
\\      # 斜杠

POSIX中定义的一些特殊意义的字符

[:alnum:]  # [:alpha:]和[:digit:]的组合
[:alpha:]   # [:lower:]和[:upper:]的组合
[:blank:]   # 空格(space, tab),不包括换行符
[:cntrl:]   # 控制符,在ASCII码中000~037或者177
[:digit:]   # 任意数字:0-9
[:graph:]   # [:alnum:]和[:punct:]的组合
[:lower:]   # 当前字符集的小写字母
[:print:]   # 可打印出来的字符,[:graph:]以及空格
[:punct:]   # 标点符号,包括:^ ! " # $ % & ' ( ) * + - . / : ; < = > ? @ [ ] \ _ { } ` ~
[:space:]   # 空格,包括tab, newline, vertical tab, form feed, carriage return, and space
[:upper:]   # 当前字符集的大写字母
[:xdigit:]  # 16进制数 0-9a-fA-F

锚点特殊字符

^ # 一行字符串的起始,它并不代表第一个字符,只代表这里开始新的一行字符串。
$   # 一行字符串的结束,它并不代表最后一个字符(因为换行符并不会被包含进匹配当中),只代表一行字符串到这里结束。
\<  # 单词左边界
\>  # 单词右边界

依据上面的介绍,网址的简单匹配可以写为:
pattern <- "^[A-Za-z0-9\\._%+-]+@[A-Za-z0-9\\.-]+\\.[A-Za-z]{2,4}$"
可以改写为
pattern <- "^[\\w\\._%+-]+@[\\w\\.-]+\\.[A-Za-z]{2,4}$"
或者
pattern <- "^[[:alnum:]\\._%+-]+@[[:alnum:]\\.-]+\\.[[:alpha:]]{2,4}$"
为什么转义字符()都要写两次呢?因为R本身也把\当成转义字符,所以在写pattern的时候,就需要使用\\来表示转义字符。还有一种办法就是设置fixed为TRUE。

那么参数中perl是什么意思呢?其实就是指是否使用PCRE的算法,我们来看实例:

> regexpr("foo|foobar", "myfoobar")
## [1] 3
## attr(,"match.length")
## [1] 6
## attr(,"useBytes")
## [1] TRUE
> regexpr("foo|foobar", "myfoobar", perl = TRUE)
## [1] 3
## attr(,"match.length")
## [1] 3
## attr(,"useBytes")
## [1] TRUE

发表评论

电子邮件地址不会被公开。 必填项已用*标注