使用grequests和python实现高性能的异步HTTP请求

使用grequests库可以实现高性能的异步HTTP请求，它基于requests和gevent库，能够在一个进程中同时发起多个异步的HTTP请求，提供了简单易用的API。

下面是一个使用grequests的例子，实现并发发送100个HTTP请求，并等待所有请求完成后打印结果：

import grequests


# 定义回调函数处理每个请求的响应结果
def callback(response, *args, **kwargs):
    if response.status_code == 200:
        print(f"Request {kwargs['number']} success")
    else:
        print(f"Request {kwargs['number']} failed")


# 构造100个请求
urls = ["https://api.example.com/request/" + str(i) for i in range(100)]
requests = (grequests.get(url, callback=callback, kwargs={"number": i}) for i, url in enumerate(urls))

# 使用imap_unordered方法并发发送请求
responses = grequests.imap(requests, size=10)

# 等待所有请求完成
grequests.map(responses)

在上面的例子中，我们首先定义了一个回调函数callback，用于处理每个请求的响应结果。然后构造了100个HTTP请求的URL，并使用grequests.get创建了一个生成器，用于生成每个请求的对象。接下来，使用grequests.imap方法并发发送这些请求，参数size指定同时并发的请求数量，这里为10。最后，使用grequests.map等待所有请求完成。

使用grequests的优势是可以在一个进程中同时发起多个异步的HTTP请求，无需等待每个请求的结果，提高了程序的执行效率。此外，grequests还支持设置超时时间、自定义请求头等常用功能。

需要注意的是，由于grequests基于gevent实现，它是通过协程机制实现并发，而不是真正的多线程，并发数受gevent的限制。如果需要更高的并发能力，可以考虑使用aiohttp等基于asyncio库的异步HTTP请求库。