我们继续在上节课的基础上,对管道进行设置操作,首先我们知道要想对图片进行下载,需要先获取到图片的链接,然后对图片的链接发送请求,之后保存文件即可,按照这个思路我们就可以对管道进行设置了:
因为我们不能再像之前存储文本一样,使用之前的管道类(Pipeline),我们需要用到新的存储图片的管道类ImagesPipeline,因此我们需要先导入该类
将原本的管道类我们注释掉,手动进行定义一个类
导入该类以后,我们再管道中完成对图片链接发送请求、保存数据等操作,首先定义一个发送请求函数,并完成发送请求操作:
接着我们再定义一个保存数据的函数,并设置好存储的文件名,然后存储的路径需要在设置中(setting)文件中,添加IMAGE_STORE设置好存储的路径:
我们定义一个item函数用来返回item,这一步,跟文本爬取大同小异,文本爬取也是返回item。这样我们就把管道设置好了
需要注意的是,因为管道是我们新定义的类,因此需要将名字改为我们第二步定义的管道名字
页面更新:2024-05-16
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号