使用Python中的requests库编写网络爬虫函数

网络爬虫是一种通过自动化的方式访问和提取互联网上的信息的程序。requests库是一个非常流行的用于网络请求的Python库，它提供了简洁而强大的接口，方便我们创建爬虫。

要编写网络爬虫函数，我们首先需要安装requests库。可以使用以下命令在终端中安装：

pip install requests

安装完成后，我们可以在Python脚本中导入requests库：

import requests

接下来，我们可以使用requests库发送HTTP请求，并获取响应。requests库提供了几种不同类型的请求方法：GET、POST、PUT、DELETE等。其中，GET请求用于获取数据，通常用于爬取网页。

下面是一个简单的网页爬虫函数，它使用requests库发送GET请求，并返回响应内容：

import requests

def get_html(url):
    try:
        response = requests.get(url)
        response.raise_for_status() # 检查请求是否成功
        response.encoding = response.apparent_encoding # 设置响应编码
        return response.text
    except Exception as e:
        print("请求失败: ", e)

上面的函数接受一个URL作为参数，并使用requests库发送GET请求。如果请求成功，我们使用response.text属性获取响应内容，并返回。如果请求失败，我们捕获异常并打印错误信息。

使用这个函数，可以轻松地爬取网页内容。例如，我们可以使用以下代码获取百度首页的HTML文档：

html = get_html("https://www.baidu.com")
print(html)

除了上面的例子，requests库还提供了很多其他的功能和选项，例如发送带参数的请求、发送带有HTTP头部的请求、发送POST请求等。通过深入研究和学习requests库的文档，我们可以将爬虫函数扩展到更复杂的场景中。

需要注意的是，当编写网络爬虫时，我们应该遵循网站的使用政策，尊重网站的隐私政策和服务条款，并使用合适的请求头部、使用适当的爬虫速度和频率。网络爬虫的合法使用是一个复杂的问题，在使用爬虫之前，我们应该对这些问题进行深入的了解和思考。