Power Query 沈北新区校外教育机构知多少?

因为金老师,127中学终于比126更有名了,这几天关于教育的话题火遍全网,大家除了对127中事件本身的评论之外,更多的是对时下教育行业的现状的担忧。

有位名人说过:对于人民来说,第一是面包,第二是教育。

现在很多人不必担心吃不饱了,转而担心教育问题。闲话不多说了,进入今天的正题,校外培训机构数据从哪里来?

Power Query 沈北新区校外教育机构知多少?

大家可以某度去找找看。

点进去好多的公告,各地的校外培训机构的黑名单、白名单。

查看了一下,有两种列表:

一种是上面图片的动态信息,一种是下面的公告台,比较了一下,还是动态信息的数据多一些。

Power Query 沈北新区校外教育机构知多少?

数据都比较新,最近的日期是2020年12月1日的。

分别查看了一下,其实数据还很不规范,有的是表格形式、有的是公文形式、还有图片格式,所以想做一份完整的数据很难了,但是同一地区或同一个机构的文件格式基本一致的。

思路是这样的,先从html中找出每篇信息的url,然后再从这些信息中筛选出我们感兴趣的信息。

Power Query 沈北新区校外教育机构知多少?

我们稍作整理就能提取出这些url与对应的文件的名称:

Power Query 沈北新区校外教育机构知多少?

我们把这个过程转换成函数:

Power Query 沈北新区校外教育机构知多少?

这里我们使用页码作为参数,同时修改每页显示数量测试,经过测试可以最多可以显示100条。这样我们的页码范围就不用151页了,直接16页就能获得全部的文章列表:

Power Query 沈北新区校外教育机构知多少?

我们展开列表,筛选出沈北新区的几份公告:

Power Query 沈北新区校外教育机构知多少?

黑名单里只有一行,也可以去掉,就只有5篇文章,看起来也不多,然后就是抓取每篇文章的内容:

Power Query 沈北新区校外教育机构知多少?

同样我们用其中一篇作为例子,做好查询过程,这里要注意的地方是,不要第一行做标题,因为文章的标题不规范,中间的空格数量不统一,”区县 名称“。把这个查询过程做成一个函数:

Power Query 沈北新区校外教育机构知多少?

uri就是文件的地址。

然后调用函数:

Power Query 沈北新区校外教育机构知多少?

展开整理一下:

Power Query 沈北新区校外教育机构知多少?

几个表中对应的内容中显示第12批,然而我们只有5个表:4、5、6、11、12

Power Query 沈北新区校外教育机构知多少?

那么这5张表一共有多少家呢?原来每个批次中间的名称是有重复的,那应该就是以最新的一期为准,经过去重复,一共有268家:

Power Query 沈北新区校外教育机构知多少?

比较好奇,沈北新区的中小学一共有多少所?就到教育局网站上查了一下:

Power Query 沈北新区校外教育机构知多少?

如果不算幼儿园,沈北新区一共有32所学校。在校学生数量:

Power Query 沈北新区校外教育机构知多少?

中小学在校生合计约40000人。

情况呢就是这么个情况,近40000个家庭,都是这268家培训机构的准客户群体,32所学校在这场竞争中又是什么定位呢?

展开阅读全文

页面更新:2024-05-06

标签:校外   新区   中小学   页码   有的是   函数   黑名单   担心   数量   形式   名称   过程   公告   数据   科技   信息

1 2 3 4 5

上滑加载更多 ↓
推荐阅读:
友情链接:
更多:

本站资料均由网友自行发布提供,仅用于学习交流。如有版权问题,请与我联系,QQ:4156828  

© CopyRight 2020-2024 All Rights Reserved. Powered By 71396.com 闽ICP备11008920号-4
闽公网安备35020302034903号

Top