chatGPT说:我来替你去京东抓点商品数据让你瞅瞅中不中

前些日子注册了一个openAI,然后开启了一段时间的编码和日常的新闻训练,眼瞅着已经调教听话了,突然被openAI给封禁了,仔细分析了一下发现了原因,因为我电脑开了定位,这就是openAI恶心的地方,不允许咱们中国码农用。真是。。。

好吧,我又注册了一个,然后接着调教,今天就给大家看下我是让他如何给我去京东抓点数据回来的。

下面是图文演示预警:









chatGPT:不好意思,俺这就修改(承认错误的态度很端正,赞)



终于成型了,给了一版本可以用的,给大家看下代码:

import requests
from bs4 import BeautifulSoup
import time
import random
import re
# 设置请求头信息,模拟浏览器请求
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
# 设置代理服务器,随机选择一个代理服务器进行访问
proxy_list = [
'http://127.0.0.1:8888', # 代理服务器地址
'http://127.0.0.1:8889',
'http://127.0.0.1:8890',
]
proxy = {'http': random.choice(proxy_list)}
# 构造请求 URL
url = 'https://search.jd.com/Search?keyword=python&enc=utf-8'
# 发送请求并获取响应内容
response = requests.get(url, headers=headers, proxies=proxy, timeout=10)
# 解析响应内容
soup = BeautifulSoup(response.text, 'html.parser')
# 查找包含商品列表的 HTML 元素
goods_list = soup.find('ul', {'class': 'gl-warp clearfix'})
# 如果商品列表不存在,说明解析失败,可以尝试重新运行程序
if goods_list is None:
print('商品列表不存在')
else:
# 遍历商品列表中的所有商品信息
for goods in goods_list.find_all('li'):
# 获取商品 ID、名称、价格等信息
gid = goods.get('data-sku')
name = goods.find('p', {'class': 'p-name'}).find('em').text.strip()
price = goods.find('p', {'class': 'p-price'}).find('i').text.strip()
# 打印商品信息
print('商品ID:', gid)
print('商品名称:', name)
print('商品价格:', price)
print('-' * 50)
# 休眠一段时间,避免频繁访问被封 IP
time.sleep(random.uniform(1, 3))

代码完成,运行结果可以达到预期,运行结果如下:

商品ID: 10026729242683
商品名称: 【赠视频课程】Python从入门到精通实战 python教程自学全套 编程入门书籍零基础自学电脑计算机程序设计基础python编程从入门到实践语言程序爬虫 广东人民出版社自营 python教材
商品价格: 36.80
--------------------------------------------------
商品ID: 13284890
商品名称: Python从入门到精通(第2版)
商品价格: 39.90
--------------------------------------------------
商品ID: 12821118
商品名称: Python青少年趣味编程8-15岁 中小学青少年编程儿童入门到实践 零基础学python儿童电脑编程教材(彩印+微课视频讲解)
商品价格: 34.90
--------------------------------------------------
........

最后,有想玩chatGPT的又不会注册的可以私信我,可以帮你们注册。

展开阅读全文

页面更新:2024-05-06

标签:商品   爬虫   商品名称   商品价格   商品信息   入门   代码   基础   数据   列表   电脑

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top