Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

猪肉价格是今年年底最热门的话题了,真是贵到肉疼啊。

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

网上搜索了一下,找到一个又猪肉报价的网站,白条肉以公斤为单位的报价,所谓白条肉就是指仅去除内脏、头、脚等部位后没有经过其他任何加工的猪肉。

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

这个价格应该是商贩从屠宰厂采购的价格,不是我们市场上的零售价格。

一共有260页的报价,应该是从2019年9月30日到2019年10月30日一个月的各地区报价。


我们网络抓取的4个步骤:

第一步:分析

网址中有page页码,我们可以直接通过变换页码的方式,抓取全部页面的数据。

https://bj.zhue.com.cn/list.php?sort=0&s_id=10&c_id=0&cou_id=0&city_id=0&mid=&lx=&page=259

其他参数保持不变,就是全部数据,如果有选择,就是部分地区、或不同分类的报价。

第二步:试抓

我们用从Web获取数据来抓取最后一页的内容,默认是Html格式抓取,我们看到有两个表格,其中第一个表格就是我们需要的数据。

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

我们选这个表格,删除第一行,然后首行做标题,变成一个标准数据表。

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

第三步:自定义函数

我们在这个试抓的查询上右键,创建函数:

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

用页码p做为函数的参数,把参数p放到"page="的后面用&连接。这样这个自定义函数就做好了。

第四步:抓取

首先我们需要一个列表{1..260}

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

左上角到表的按钮,按一下列表转换成表格,修改数据类型为文本。添加自定义列,引用我们的自定义函数,抓取数据:

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

要等上一段时间,看网络的速度,大概三分钟左右,数据就抓好了,展开表格,去掉单位,改变数据类型,把数据整理好,抓取工作就完成了。

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势


数据加载到Power BI Desktop中,我们做个简单的分析:

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

用切片器+折线图来呈现猪肉价随时间变化的趋势,可以通过切片器来单选或多选省区,来做猪肉价格变化趋势的对比。

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

到10月30日,黑龙江的肉价最贵,61元/公斤,北京最便宜31元/公斤,这还是只是没有分割的白条肉,如果变成五花肉、排骨、精肉价格还要高上很多。

从图像上看10月快结束的时候出现了奇怪的现象,有些地区价格急剧下降,有些地区价格急速升高,不知道又有什么新的情况发生。

Power Query 抓取猪肉价格分析近一个月全国各地猪肉价格走势

肉价回落,首都又走在了全国的前列。

展开阅读全文

页面更新:2024-05-22

标签:猪肉   价格   白条   切片   页码   数据类型   函数   走势   表格   参数   单位   地区   数据   列表   科技   网站   网络

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top