Python网络请求捕获实战：使用IHttpListener()监听HTTP请求

在Python中，可以使用第三方库mitmproxy来捕获和修改网络请求，并且提供了IHttpListener()来监听HTTP请求的功能。

mitmproxy是一个强大的命令行工具，可以拦截、修改和观察网络流量。它以一个代理服务器的形式运行，允许你捕获和修改所有进出系统的HTTP(S)请求。通过使用IHttpListener()接口，我们可以自定义处理请求的逻辑。

以下是一个使用mitmproxy和IHttpListener()监听HTTP请求的实例：

from mitmproxy import ctx, http

class MyHTTPListener:
    
    def request(self, flow: http.HTTPFlow) -> None:
        # 获取请求的URL和请求方法
        url = flow.request.url
        method = flow.request.method
        print(f"Request URL: {url}")
        print(f"Request Method: {method}")
        
        # 获取请求的headers
        headers = flow.request.headers
        print("Request Headers:")
        for name, value in headers.items():
            print(f"{name}: {value}")
        
        # 获取请求的body
        body = flow.request.content
        print(f"Request Body: {body}")
        
        # 拦截请求并修改
        if "example.com" in url:
            flow.request.headers["User-Agent"] = "Python http.client"
        
    def response(self, flow: http.HTTPFlow) -> None:
        # 获取响应的状态码
        status_code = flow.response.status_code
        print(f"Response Status Code: {status_code}")
        
        # 获取响应的headers
        headers = flow.response.headers
        print("Response Headers:")
        for name, value in headers.items():
            print(f"{name}: {value}")
        
        # 获取响应的body
        body = flow.response.content
        print(f"Response Body: {body}")
            
addons = [
    MyHTTPListener()
]

def start():
    # 使用默认配置启动mitmproxy
    ctx.master.addons.add(addons)

if __name__ == "__main__":
    start()

在上面的代码中，我们创建了一个自定义的HTTP请求监听器MyHTTPListener，并实现了其中的request()和response()方法。request()方法会在收到HTTP请求时被调用，response()方法会在收到HTTP响应时被调用。

在request()方法中，我们可以通过flow.request获取请求的URL、请求方法、请求头和请求体，并可以对请求进行拦截和修改。在response()方法中，我们可以通过flow.response获取响应的状态码、响应头和响应体。

通过执行start()函数，会使用mitmproxy的默认配置启动mitmproxy，并添加我们自定义的HTTP监听器。

运行以上代码后，在命令行中输入mitmproxy即可启动mitmproxy代理服务器。然后，当你进行HTTP请求时，相关的请求和响应信息会被打印出来，你也可以在代码中根据实际需求进行处理和修改。

总结起来，通过使用mitmproxy和IHttpListener()，我们可以方便地捕获和修改HTTP请求，并且实现自定义的处理逻辑。