urllib库的异常处理与错误处理方法

urllib库是Python中用于处理网络请求的标准库之一。在发送网络请求时，可能会遇到各种异常或错误情况，比如服务器无响应、网络连接超时等。为了确保程序的稳定性，我们应该对这些异常和错误进行适当的处理。

urllib库提供了一些异常类和错误码，可以通过捕获这些异常和错误来处理网络请求中的异常情况。下面将详细介绍urllib库的异常处理和错误处理方法，并给出相应的使用例子。

一、异常处理

1. URLError

URLError是urllib库中最基本的异常类，用于表示网络请求过程中的异常情况。一般来说，URLError会包含一个原因（reason）属性，用于描述异常的具体原因。

举例来说，当发送请求的URL无法解析时，会引发URLError异常。我们可以通过捕获这个异常并打印出原因来查找解决办法。

import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://www.spiderman.com')
except urllib.error.URLError as e:
    print(e.reason)

运行上述代码，输出结果为：

[Errno 11001] getaddrinfo failed

这说明发送请求的URL无法解析，我们可以尝试检查URL是否正确。

2. HTTPError

HTTPError是URLError的子类，用于表示服务器返回的HTTP错误状态码。HTTPError包含三个属性：code、reason和headers。code属性表示HTTP状态码，reason属性表示错误原因，headers属性表示服务器返回的HTTP头信息。

举例来说，当请求一个不存在的页面时，服务器会返回404 Not Found状态码，我们可以通过捕获HTTPError并打印出状态码、错误原因和头信息来获取相关信息。

import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://www.spiderman.com/notfound')
except urllib.error.HTTPError as e:
    print(e.code, e.reason, e.headers)

运行上述代码，输出结果为：

404 Not Found Server: nginx Date: Fri, 26 Nov 2021 10:00:00 GMT Content-Type: text/html; charset=UTF-8 Transfer-Encoding: chunked Connection: close Vary: Accept-Encoding X-Pingback: http://www.spiderman.com/xmlrpc.php Link: <http://www.spiderman.com/wp-json/>; rel="https://api.w.org/" Link: <http://www.spiderman.com/>; rel=shortlink

这说明请求的页面不存在，我们可以通过打印出的信息进一步分析问题。

3. ContentTooShortError

ContentTooShortError是urllib库中自定义的异常类，用于表示网络请求得到的内容过短的情况。一般来说，当服务器正常返回响应，但响应内容长度小于预期长度时，会引发ContentTooShortError异常。ContentTooShortError包含一个属性内部属性content属性，用于保存过短的响应内容。

举例来说，我们可以编写一个函数，通过指定content长度来判断响应内容是否过短，并捕获ContentTooShortError异常。

import urllib.request
import urllib.error

class ContentTooShortError(Exception):
    pass

def download(url, num_retries=2):
    print('Downloading:', url)
    try:
        response = urllib.request.urlopen(url)
        content = response.read()
        if len(content) < 1000:
            raise ContentTooShortError('Content too short')
    except urllib.error.URLError as e:
        print('Download error:', e.reason)
        content = None
        if num_retries > 0:
            if hasattr(e, 'code') and 500 <= e.code < 600:
                # 5xx错误，重新下载
                return download(url, num_retries - 1)
    except ContentTooShortError as e:
        print('Content too short error:', e)
        content = None
    return content

运行上述代码，可以自定义下载函数，并在下载过程中处理相关异常情况。

二、错误处理

urllib库还提供了一些错误码，用于表示程序在发送网络请求时遇到的错误情况。这些错误码可以帮助我们判断错误的具体类型，并采取相应的措施。

1. error.URLError

error.URLError包含一个内部属性reason，用于表示错误的具体原因。通常情况下，错误原因会包含一个错误码，可以通过比较错误码来判断错误类型。

import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://www.spiderman.com')
except urllib.error.URLError as e:
    if isinstance(e.reason, socket.timeout):
        print('Timed out')
    elif isinstance(e.reason, ConnectionRefusedError):
        print('Connection refused')
    else:
        print('Error:', e.reason)

根据error.URLError的错误原因来判断错误类型，并作出相应的处理。

2. error.HTTPError

error.HTTPError包含一个内部属性code，用于表示HTTP状态码。根据http状态码判断错误类型，并作出相应的处理。

import urllib.request
import urllib.error

try:
    response = urllib.request.urlopen('http://www.spiderman.com/notfound')
except urllib.error.HTTPError as e:
    if e.code == 404:
        print('Not Found')
    elif e.code == 500:
        print('Internal Server Error')
    else:
        print('Error:', e.code)

根据error.HTTPError的状态码来判断错误类型，并作出相应的处理。

总结：

通过对urllib库的异常处理和错误处理方法的使用，我们可以更好地处理网络请求中的异常情况。在捕获异常时，我们可以通过相应的异常类和错误码来判断异常或错误的类型，并采取适当的处理措施。这样可以提高程序的健壮性和稳定性，避免因为一些异常情况导致程序崩溃或无法正常运行。