Pythonsix.moves.urllib.parse库中的urljoin()方法解析

urljoin()方法是urllib.parse库中的一个函数，主要用于解析URL，将一个基础URL和一个相对URL合并成一个完整的URL。该方法的语法如下：

urllib.parse.urljoin(base, url, allow_fragments=True)

- base：基础URL，即要合并的URL的前半部分。

- url：相对URL，即要合并的URL的后半部分。

- allow_fragments：是否忽略片段标识符，默认为True。

下面是urljoin()方法的使用示例：

from urllib.parse import urljoin

base_url = "https://www.example.com/"
relative_url = "subpage.html"
full_url = urljoin(base_url, relative_url)
print(full_url)

输出结果为：https://www.example.com/subpage.html

在这个示例中，base_url为基础URL，relative_url为相对URL。通过调用urljoin(base_url, relative_url)，将这两个URL合并得到一个完整的URL。最终输出的full_url为https://www.example.com/subpage.html。

urljoin()方法可以自动处理相对URL，可以根据基础URL的协议、域名、路径等信息，将相对URL转换成完整的URL。它针对不同的情况进行了处理，具体如下：

1. 如果base_url和relative_url都是有效的URL，则直接返回relative_url。

2. 如果relative_url是一个绝对URL（即包含了协议部分），则直接返回relative_url。

3. 如果relative_url是以斜杠（/）开头的路径，则拼接base_url的协议和域名部分，并将relative_url作为路径部分。

4. 如果relative_url是以其他字符开头的路径，则拼接base_url的协议、域名和路径部分，并将relative_url作为路径的一部分。

urljoin()方法在编写爬虫或处理URL时非常有用，可以方便地合并URL。例如，在爬取网页时，通常会获取到页面上的链接，这些链接可能是相对URL。使用urljoin()方法可以将相对URL转换成绝对URL，方便后续的处理和访问。