对于抓包工具，我刚开始从Charles(青花瓷抓包工具)开始的，虽然说功能还是特别的强大。如何给抓到数据存入到数据库中呢，这里我推荐一下mitmproxy。

安装

在Mac安装mitmproxy是特别的简单的。

brew install mitmproxy

证书的安装

对于http请求，其实是不需要证书。对于今天绝大多数的请求是基于https的所以需要配置证书。

使用

将你在mac上启动mitmproxy，在手机WiFi的设置中配置代理。IP地址，端口号8888。然后你手机的一些操作的网络请求就会抓取下来。

itmproxy中mitmproxy、mitmdump、mitmweb 三个命令对应着3种显示形式。
mitmweb对应的输入任意一个指令就可以运行。复制内容的话还是建议mitmweb更好用一些。这个通过网页的方式去查看。

mitmweb

mitmproxy在Python爬虫中的使用。

# -*- coding:utf-8 -*-

from mitmproxy import ctx
# from save_mongo import save_task
import json

def response(flow):
    """获取粉丝数据"""


    print("dff")
    url = "aweme/v1/user/follower/list/"
    if  url in flow.request.url:
        data = json.loads(flow.response.text)
        # info = ctx.log.info
        followers = data['followers']
        for follower in followers:
            user = {}
            user['short_id'] = follower.get('short_id')
            user['share_id'] = follower.get('uid')
            user['nickanem'] = follower.get('nickname')
            # save_task(user)

            print(user)

这里我写了一段Python代码命名为fans_info.py

上面一段抓取抖音用户资料的代码。通过上面的代码，可以抓取到数据存入到mongodb中。从而实现抓包的过程。

我们在mac的终端运行这段代码就可以实现数据的抓取了。

mitmdump -s fans_info.py