Python网络请求函数的使用方法

Python是一种广泛使用的编程语言，特别适合用于数据科学，科学计算和网络编程。在Python中，我们可以使用许多模块和库来进行网络请求，并获取网站上的数据。

本文将介绍Python中最常用的网络请求函数和库，包括Python内置的urllib模块和第三方库requests，以及它们的应用方法。

一、使用urllib模块发送请求

urllib是Python自带的一个模块，可以支持HTTP、HTTPS、FTP等网络协议。它包含了一些模块，如request、parse、error等，可以用于发送HTTP请求、解析URL、处理cookie和异常等。

urllib.request.urlopen()函数可以用来向指定的URL发送请求，并返回响应结果。下面是一个简单的使用示例：

import urllib.request

def send_request(url):
    response = urllib.request.urlopen(url)  # 发送请求
    html = response.read().decode('utf-8')  # 读取响应结果并进行解码
    return html  # 返回响应结果

html = send_request('https://www.baidu.com')
print(html)

这个代码片段中，我们定义了一个send_request函数，传入一个URL参数。我们使用urlopen()函数发送请求，将响应结果读取并解码后，将其返回。最后，我们使用这个函数并打印结果。

二、使用requests库发送请求

requests是一个第三方库，是基于urllib3开发的，提供了更加简洁的API和更好的性能。可以说，requests是Python中使用最广泛的HTTP请求库之一。

requests库提供了get()、post()、put()、delete()等发送HTTP请求的方法，可以轻松地发送请求和处理响应。

下面是一个使用requests库的示例：

import requests

def send_request(url):
    response = requests.get(url)  # 发送请求
    html = response.text  # 读取响应结果
    return html  # 返回响应结果

html = send_request('https://www.baidu.com')
print(html)

这个代码片段中，我们同样定义了一个send_request函数，传入一个URL参数。我们使用requests库的get()方法发送请求，并读取响应的文本内容。最后，我们将响应结果返回，并使用这个函数并打印结果。

三、使用urllib.parse解析URL

在Python中，我们可以使用urllib.parse模块来解析URL。它包括了很多有用的函数，如urlencode()、urlparse()、urljoin()等。

下面是一个使用urllib.parse模块的示例：

import urllib.parse

url = 'https://www.baidu.com/s?wd=python&rsv_spt=1&rsv_iqid=0x9adb2d3d000f9406&issp=1&f=8&rsv_bp=1&rsv_idx=2'
parsed_url = urllib.parse.urlparse(url)  # 解析URL
print(parsed_url.scheme)  # 打印协议
print(parsed_url.netloc)  # 打印域名
print(parsed_url.path)  # 打印路径
print(parsed_url.query)  # 打印查询参数

这个代码片段中，我们使用urlparse()函数解析URL，然后使用点记法访问URL各个部分的属性。最后，我们打印了协议、域名、路径和查询参数。

四、使用requests库处理cookie

当我们发送HTTP请求时，在某些情况下，需要使用cookie来保持登录状态。requests库提供了session对象，可以用于保存cookie并在后续的请求中使用它们。

下面是一个使用requests库处理cookie的示例：

import requests

session = requests.Session()  # 创建session对象
url = 'https://accounts.xxx.com/login'
data = {
    'username': 'username',
    'password': 'password'
}
response = session.post(url, data=data)  # 登录并保存cookie
print(response.status_code)  # 打印响应状态码

url = 'https://www.xxx.com'
response = session.get(url)  # 在后续请求中使用cookie
print(response.status_code)  # 打印响应状态码

这个代码片段中，我们首先创建了一个session对象，然后使用post()方法登录并保存cookie。在后续的请求中，我们将使用这个session对象来发送请求，并自动附带cookie。最后，我们打印了响应状态码。

五、使用requests库处理异常

在网络请求过程中，可能会遇到各种错误和异常。requests库提供了一个exceptions模块，可以用于处理各种异常情况。

下面是一个使用requests库处理异常的示例：

import requests

def send_request(url):
    try:
        response = requests.get(url)  # 发送请求
        response.raise_for_status()  # 如果响应状态码为4xx或5xx会抛出异常
        html = response.text  # 读取响应结果
        return html
    except requests.exceptions.HTTPError as e:
        print('HTTPError:', e)
    except requests.exceptions.RequestException as e:
        print('RequestException:', e)

html = send_request('https://www.baidu.com')
print(html)

这个代码片段中，我们使用requests库的get()方法发送请求。如果响应状态码为4xx或5xx，使用raise_for_status()方法会抛出HTTPError异常。在异常情况下，我们捕获异常并打印错误信息。最后，我们使用这个函数并打印结果。

六、总结

通过本文的介绍，我们了解了Python中常用的网络请求函数和库，包括urllib模块和requests库。这些工具能够帮助我们轻松地发送HTTP请求、处理响应、解析URL、管理cookie等。

当我们使用这些函数和库进行网络编程时，我们还应该注意异常处理和安全性问题，以确保我们的程序更加稳定和安全。