爬虫的解析方式三：正则表达式

众多语言都能进行爬虫，但基于python-tutorials.html" target="_blank">python的爬虫显得更加简洁，方便。爬虫也成了python语言中必不可少的一部分。爬虫的解析方式也是多种多样。

上一篇给大家讲解的是爬虫的解析方式二：Beautifulsoup，今天给带给大家的是正则表达式。

正则表达式

正则表达式是一个特殊的字符序列，它能帮助你方便的检查一个字符串是否与某种模式匹配。就是 事先定义好的一些特定字符、及这些特定字符的组合，组成一个“规则字符”，这个“规则字符” 来表达对字符的一种过滤逻辑。

正则并不是python独有的，其他语言也都有正则。

python中的正则，封装了re模块

Python中常用的正则表达式处理函数

re.match函数

re.match 尝试从字符串的起始位置匹配一个模式，如果不是起始位置匹配成功的话，match()就返回none。

函数语法：

re.match(pattern, string, flags=0)

函数参数说明：

参数                                                         描述

pattern                                           匹配的正则表达式

string                                              要匹配的字符串。

flags                        标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

匹配成功re.match方法返回一个匹配的对象，否则返回None。

我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

匹配对象方法                                                              描述

group(num=0)                                      匹配的整个表达式的字符串，group() 可以一次输入多个组号，

                                                              在这种情况下它将返回一个包含那些组所对应值的元组。

groups()                                                返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。

import reprint(re.match('www', 'www.baidu.com').span())  # 在起始位置匹配print(re.match('com', 'www.baidu.com'))         # 不在起始位置匹配

以上实例运行输出结果为：

(0, 3)None

import recontent = "Cats are smarter than dogs"result = re.match( r'(.*) are (.*?) .*', content)print(result.group())print(result.group(1))print(result.group(2))

以上实例执行结果如下：

Cats are smarter than dogsCatssmarterresult.group()获取匹配的结果result.span()获去匹配字符串的长度范围

泛匹配

其实相对来说上面的方式并不是非常方便，其实可以将上述的正则规则进行更改

import recontent = "Cats are smarter than dogs"result = re.match( r'Cats.*dogs$', content)print(result)print(result.group())print(result.span())

匹配目标

如果为了匹配字符串中具体的目标，则需要通过（）括起来，例子如下：

import recontent = "Cats are 1234567 smarter than dogs"result = re.match( r'(.*)sares(d+)s(.*?)s.*', content) #s匹配空格符 d+匹配数字print(result.group())print(result.group(1))print(result.group(2))

以下为执行结果：

Cats are smarter than dogs

Cats

1234567

贪婪匹配

先看下面代码：

import recontent = "Cats are 1234567 smarter than dogs"result = re.match( r'Cats.*(d+).*dogs', content) print(result.group())print(result.group(1))

从结果中可以看出只匹配到了7，并没有匹配到1234567，出现这种情况的原因是前面的.* 给匹配掉了， .*在这里会尽可能的匹配多的内容，也就是我们所说的贪婪匹配，

如果我们想要匹配到1234567则需要将正则表达式改为：

result = re.match( r'Cats.*？(d+).*dogs', content) 

这样结果就可以匹配到1234567

匹配模式

很多时候匹配的内容是存在换行的问题的，这个时候的就需要用到匹配模式re.S来匹配换行的内容

import recontent = """Cats are 1234567 smarter than dogsdogs are wangwangwang"""result = re.match( r'Cats.*(d+).*wangwangwang', content,re.S) print(result.group())print(result.group(1))

转义

当我们要匹配的内容中存在特殊字符的时候，就需要用到转移符号,例子如下：

import recontent= "price is $5.00"result = re.match('price is $5.00',content)print(result.group())

注意：

对上面的一个小结：

尽量使用泛匹配，使用括号得到匹配目标，尽量使用非贪婪模式，有换行符就用re.S

强调re.match是从字符串的起始位置匹配一个模式

re.search方法

re.search 扫描整个字符串并返回第一个成功的匹配。

函数语法：

re.search(pattern, string, flags=0)

函数参数说明：

参数                                           描述

pattern                            匹配的正则表达式

string                              要匹配的字符串。

flags                                标志位，用于控制正则表达式的匹配方式，如：是否区分大小写，多行匹配等等。

匹配成功re.search方法返回一个匹配的对象，否则返回None。

我们可以使用group(num) 或 groups() 匹配对象函数来获取匹配表达式。

匹配对象方法                                                               描述

group(num=0)                          匹配的整个表达式的字符串，group() 可以一次输入多个组号，

                                                  在这种情况下它将返回一个包含那些组所对应值的元组。

groups()                                     返回一个包含所有小组字符串的元组，从 1 到 所含的小组号。

import recontent = "extra things hello 123455 world_this is a Re Extra things"result = re.search("hello.*?(d+).*?Re",content)print(result.group())print(result.group(1)

其实这个时候我们就不需要在写^以及$，因为search是扫描整个字符串

注意：所以为了匹配方便，我们会更多的用search，不用match,match必须匹配头部，所以很多时候不是特别方

re.match与re.search的区别

re.match只匹配字符串的开始，如果字符串开始不符合正则表达式，则匹配失败，函数返回None；而re.search匹配整个字符串，直到找到一个匹配。

html = '''<div>    <h2>经典老歌</h2>    <p>        经典老歌列表    </p>    <ul>        <li>一路上有你</li>        <li>            <a>沧海一声笑</a>        </li>        <li>            <a>往事随风</a>        </li>        <li><a>光辉岁月</a></li>        <li><a>记事本</a></li>        <li>            <a>但愿人长久</a>        </li>    </ul></div>'''

import re result = re.search('

观察到