干货分享!scrapy爬取图片的详细步骤(二)

我们继续在上节课的基础上,对管道进行设置操作,首先我们知道要想对图片进行下载,需要先获取到图片的链接,然后对图片的链接发送请求,之后保存文件即可,按照这个思路我们就可以对管道进行设置了:


1.首先打开Pipelines文件夹


因为我们不能再像之前存储文本一样,使用之前的管道类(Pipeline),我们需要用到新的存储图片的管道类ImagesPipeline,因此我们需要先导入该类


干货分享!scrapy爬取图片的详细步骤(二)


2.定义一个Images类


将原本的管道类我们注释掉,手动进行定义一个类


干货分享!scrapy爬取图片的详细步骤(二)


3.发送请求


导入该类以后,我们再管道中完成对图片链接发送请求、保存数据等操作,首先定义一个发送请求函数,并完成发送请求操作:


干货分享!scrapy爬取图片的详细步骤(二)


4.保存数据


接着我们再定义一个保存数据的函数,并设置好存储的文件名,然后存储的路径需要在设置中(setting)文件中,添加IMAGE_STORE设置好存储的路径:


干货分享!scrapy爬取图片的详细步骤(二)

干货分享!scrapy爬取图片的详细步骤(二)


5.返回item


我们定义一个item函数用来返回item,这一步,跟文本爬取大同小异,文本爬取也是返回item。这样我们就把管道设置好了


干货分享!scrapy爬取图片的详细步骤(二)


6.开启管道通道


需要注意的是,因为管道是我们新定义的类,因此需要将名字改为我们第二步定义的管道名字


干货分享!scrapy爬取图片的详细步骤(二)


7.运行


干货分享!scrapy爬取图片的详细步骤(二)

干货分享!scrapy爬取图片的详细步骤(二)


展开阅读全文

页面更新:2024-05-16

标签:干货   图片   大同小异   文件名   注释   文件夹   路径   函数   图片链接   管道   步骤   文本   定义   名字   操作   链接   数据   详细   科技

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top