正则表达式在python爬虫中的应用

苻玲美

摘要：数据是新一轮技术革命最重要的生产资料，爬虫是获取数据最直接的方式，但爬出来的数据代码夹杂文字，面对大量杂乱的代码夹杂信息，通过正则表达式检索匹配出有用的信息，过滤无用的数据。本文介绍正则表达式在python爬虫中的应用，总结python爬虫中正则表达式的应用技巧。

关键词：爬虫;python;正则表达式;数据

中图分类号：TP311    文献标识码：A

文章编号：1009-3044（2019）25-0253-02

网络爬虫是一个非常注重实践性而且实用性很强的编程技能，写爬虫分析股票走势，上链家爬房源分析房价趋势，爬知乎、爬豆瓣、爬新浪微博、爬影评，等等。人工智能时代，对数据的依赖越来越重要，数据主要的来源就是通过爬虫获取，通过爬取获取数据可以进行市场调研和数据分析。但爬虫时收集回来的一般是字符流，我们需要从中筛选有用的信息，而用正则表达式可以轻松地完成这一任务。

1正则表达式与爬虫

爬虫四个主要步骤：

· 明确目标 （要知道你准备在哪个范围或者网站去搜索）

· 爬 （将所有的网站的内容全部爬下来）

· 取 （获取有用信息、去掉没用的数据）

· 处理数据（按照我们想要的方式存储和使用）

那么在取（文本过滤这块）最强大的就是正则表达式，更是python爬虫世界必不可少利器。

什么是正则表达式，python爬虫使用正则表达式的方法。

正则表达式（Regular Expression，简称Regex或RE）又称为正规表示法或常规表示法，常常用来检索、替换那些符合某个模式的文本，它首先设定好了一些特殊的字及字符组合，通过组合的“规则字符串”来对表达式进行过滤，从而获取或匹配我们想要的特定内容。它具有灵活、逻辑性和功能性非常的强，能迅速地通过表达式从字符串中找到所需信息的优点。

正则表达式的常见语法格式：

在 Python 中，我们可以使用内置的 re 模块来使用正则表达式。re模块提供了3个方法对输入的字符串进行确切的不同要求查询。每一个方法都接收一个正则表达式和一个待查找匹配的字符串。

（1）match（）方法- 从头匹配：

match（）方法的工作方式是只有当被搜索字符串的开头匹配模式的时候它才能查找到匹配对象。

（2）使用re.search查找 – 匹配任意位置：

search（）方法和match（）类似，不过search（）方法不会限制我们只从字符串的开头查找匹配。search（）方法会在它查找到一个匹配项之后停止继续查找。

（3）使用 re.findall – 所有匹配对象：

在Python中我使用的最多的查找方法是findall（）方法。当我们调用findall（）方法，我们可以非常简单地得到一个所有匹配模式的列表，

2 正则表达式抓取网络数据常见方法

在 HTML 中， 基本上所有的实体内容， 都会有个成对的 tag 来框住它。 而这个被 tag 住的内容， 就可以被展示成不同的形式。header 和 body。 在 header 中， 存放这一些网页的网页的元信息， 比如说 title， 这些信息是不会被显示到你看到的网页中的. 这些信息大多数时候是给浏览器看， 或者是给搜索引擎的爬虫看。HTML 的第二大块是 body， 这个部分才是你看到的网页信息。网页中的视频， 图片和文字等都存放在这里。

tag 就是主标题， 我们看到呈现出来的效果就是大一号的字。 里面的文字就是一个段落。 里面都是一些链接。

是层用来存放一块信息。在html还有很多这样的tag，信息都是放在这些 tag 中的。爬虫想要做的就是根据这些 tag 来找到合适的信息。

1）爬取网页

通过下列操作成功爬取了百度的首页。

2） 抓取title标签间的内容

Print data打印出来抓取的网页，这就证明了我们能够成功读取这个网页的所有信息了。但我们还没有对网页的信息进行汇总和利用。我们发现想要提取一些形式的信息，合理的利用 tag 的名字十分重要。我们想用代码找到这个网页的 title，选好要使用的 tag 名称 "， data）

print（title[0]）

3）抓取

标签间的内容

想要找到中间的那个段落

的内容跟