我们上节课通过一个案例基本了解了scrapy框架爬取数据的基本流程，这节课我们通过爬取链家网房源标题信息，来加深scrapy框架的理解，同时上节课我们保存的方式，我们设置的parse必须有返回值才能够保存，这节课我们通过管道存储方式，来爬取我们想要的数据信息。

1.scrapy框架爬取数据的步骤

其中前三步我们上节课有提到，大家可以试着先操作一下。

第一步，新建文件夹

通过终端指令（scrapy+startproject+文件名），我们新建一个名为（house）的文件夹

第二步，新建爬虫文件

我们继续通过终端指令（scrapy+genspider+文件名+通用域名），我们新建一个名为（rent）的爬虫文件

第三步，修改爬虫代码

打开爬虫文件（rent.py），我们修改我们需要爬取的网址，并进行数据解析，解析方式与requests解析几乎一致，只是需要加一个extract方法以及join方法，如下，这样我们就获得了我们想要的数据信息。但是我们接下来要通过管道保存数据

第四步，管道保存数据

1）管道保存数据这一步稍微复杂一点，我们需要先将解析的数据，实例化给item，通过item再传给管道，因此，item尤为关键，首先打开文件夹（items.py）,将我们上一步解析到的数据进行属性的设定，如下图：

2）然后解析数据（tt）实例化给item

3）进入文件（pipelines）进行如下设置，通过定义开始爬虫，新建一个“house.txt”文件夹，然后将item文件传给管道，再通过结束爬虫，关闭文件夹。

4）打开（setting）文件夹，设置user-agent的值，以及robot的值，以及管道这个参数（找到该参数将井号去掉即可）

第五步，运行代码

在终端输入，scrapy crawl +爬虫文件名，运行