腾讯基于用户的位置信息的大数据,显示某一位置的人数:
越亮的地方人数越多,这个就是腾讯的星云图。
getXingyunPoints这一行就是位置数据,数据三个一组,前两个是经纬度*100,后一个是人数。
一共有4组数据,使用POST方式传递数据,数据包4.8M。
头文件,中我们要注意框住的几个部分:
url、POST、Content-Type、Cookie、Uesr-Agent、Request Payload
这六个数据是Post方式重要的参数
为了方便使用,我们可以直接用参数管理器来管理这些参数:
实际上有4个查询,content对应4个查询参数,content就是c0,然后c1、c2、c3
区别就是rank后面的数值是0、1、2、3
如果是很多个参数,我们就想办法统一调用方法,数量少又图省事,就直接引用就行。
POST方式,也有能够直接试抓成功的,但是这个不行,网址中没有任何参数传递直接试抓就是这样的结果:
所以我们要定义好函数,然后抓取。
通过网站分析,我们发现唯一的变量是需要传递的参数,所以就用这个作为函数的参数。这里的参数c就对应着我们定义好的参数c0、c1、c2、c3。
这个函数是抓取函数,抓取之后我们还有进行整理,我们再把整理过程定义一个函数,这样就可以出结果了:
我用的是和昨天一样的编号透视的方法,应该还有效率更高的办法。
我们测试一下:
运行良好,我们要引用4次,得到4个表,然后追加合并成为一个表就可以了。
通过参数调用4次:
我们直接输入的参数名称会被当做文本,要自己去掉引号:
追加合并为新查询:
加载数据就可以了,这个数据量有点大,需要点时间。
页面更新:2024-04-01
本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828
© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号