Power Query 抓取台风路径数据

今年的第八号台风巴威过后,接下来又将有两个台风可能影响东北地区。

Power Query 抓取台风路径数据

我们在前几天巴威数据抓取的基础之上,改进一下,就可以实现抓取历年台风路径数据,事实上即使台风降为热带低压,也还是会后一部分的预测路径数据,所以我们抓取时分成两个部分,一部分是实际路径数据,一部分是预测路径数据。前几天我们抓取台风巴威数据也是这么做的。

网站分析

这个是台风列表,他是用年份作为变量就可以抓取的,图中显示的是2020年的10个台风:

Power Query 抓取台风路径数据

我们可以在这个基础上直接制作一个函数来抓取历年的台风列表。

这是台风美莎克的路径数据,我们注意到这个回调函数需要一个时间戳,我们可以制作一个时间戳,用来获取最新的数据。

Power Query 抓取台风路径数据

上次我们分析过,这份数据中带有几个国家和地区的台风预测数据,要另外展开备用。

试抓的过程跳过,我们来看自定义函数

自定义函数

时间戳:

Power Query 抓取台风路径数据

这两个时间戳,相差667毫秒,所以我们只需要做出一个,然后减去667就是第二个:

Text.From(Number.IntegerDivide(Duration.TotalSeconds(DateTime.LocalNow()-#datetime(1970,1,1,0,0,0))*1000,1))

后面的是最新的时间,前面的要早一点,这样就可以了。

第一个函数:台风列表函数

Power Query 抓取台风路径数据

用年份来做参数,时间戳加在url后面,这样就可以了,我们测试一下,抓取2010年的台风:

Power Query 抓取台风路径数据

工作正常。

第二个函数:台风实际路径函数

Power Query 抓取台风路径数据

用台风id做参数,从上面的抓取结果看,tid就是台风id。同样测试一个2010年的台风201011:

Power Query 抓取台风路径数据

第三个函数:台风预测路径函数

Power Query 抓取台风路径数据

同样的用台风id作为参数,其实就是上面的函数的变形,数据展开的过程不同,仅此而已。测试201011:

Power Query 抓取台风路径数据

这样我们就完成了函数定义工作,下面就是抓取了。

数据抓取

我们2020年的10个台风路径,做个图看看:

Power Query 抓取台风路径数据

自定义列,抓取实际路径:

Power Query 抓取台风路径数据

展开数据备用:

Power Query 抓取台风路径数据

重复上面的步骤,引用预测路径函数,抓取预测路径数据:

Power Query 抓取台风路径数据

然后追加合并两份表格:

Power Query 抓取台风路径数据

修改下数据类型,主要是经纬度、风速、等级等数值类型。加载数据。

地图制作

因为这是多个台风,就没办法把几个国家地区的预测显示出来,只能取经纬度平均值了:

Power Query 抓取台风路径数据

我们做了一个测试,这个网站的台风数据记录最早是1984年,数据量不小,大家可以根据自己的需要抓取。

Power Query 抓取台风路径数据

展开阅读全文

页面更新:2024-05-01

标签:台风   东北地区   路径   经纬度   数据   历年   年份   函数   参数   过程   测试   时间   地区   国家   列表   科技

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top