Power Query 腾讯位置数据获取

腾讯基于用户的位置信息的大数据,显示某一位置的人数:

Power Query 腾讯位置数据获取

越亮的地方人数越多,这个就是腾讯的星云图。

网站分析

getXingyunPoints这一行就是位置数据,数据三个一组,前两个是经纬度*100,后一个是人数。

Power Query 腾讯位置数据获取

一共有4组数据,使用POST方式传递数据,数据包4.8M。

Power Query 腾讯位置数据获取

头文件,中我们要注意框住的几个部分:

url、POST、Content-Type、Cookie、Uesr-Agent、Request Payload

这六个数据是Post方式重要的参数

为了方便使用,我们可以直接用参数管理器来管理这些参数:

Power Query 腾讯位置数据获取

实际上有4个查询,content对应4个查询参数,content就是c0,然后c1、c2、c3

区别就是rank后面的数值是0、1、2、3

如果是很多个参数,我们就想办法统一调用方法,数量少又图省事,就直接引用就行。

定义函数

POST方式,也有能够直接试抓成功的,但是这个不行,网址中没有任何参数传递直接试抓就是这样的结果:

Power Query 腾讯位置数据获取

所以我们要定义好函数,然后抓取。

Power Query 腾讯位置数据获取

通过网站分析,我们发现唯一的变量是需要传递的参数,所以就用这个作为函数的参数。这里的参数c就对应着我们定义好的参数c0、c1、c2、c3。

这个函数是抓取函数,抓取之后我们还有进行整理,我们再把整理过程定义一个函数,这样就可以出结果了:

Power Query 腾讯位置数据获取

我用的是和昨天一样的编号透视的方法,应该还有效率更高的办法。

试抓

我们测试一下:

Power Query 腾讯位置数据获取

运行良好,我们要引用4次,得到4个表,然后追加合并成为一个表就可以了。

抓取

通过参数调用4次:

Power Query 腾讯位置数据获取

我们直接输入的参数名称会被当做文本,要自己去掉引号:

Power Query 腾讯位置数据获取

追加合并为新查询:

Power Query 腾讯位置数据获取

加载数据就可以了,这个数据量有点大,需要点时间。


Power Query 腾讯位置数据获取

展开阅读全文

页面更新:2024-04-01

标签:腾讯   法统   位置   经纬度   数据   引号   省事   函数   定义   人数   参数   方式   网址   方法   科技   网站

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top