详解six.moves.urllib.parse中的urljoin()方法

urljoin()方法是six.moves.urllib.parse模块中的一个函数，用于将一个基础URL和一个相对URL拼接成一个完整的URL。

该方法的用法如下：

urljoin(base, url, allow_fragments=True)

其中，base是基础URL，url是相对URL，allow_fragments参数是一个布尔值，表示是否忽略URL中的片段标识符（即#后面的部分，默认为True）。

该方法会返回拼接后的完整URL。

下面是一个使用urljoin()方法的例子：

from six.moves.urllib.parse import urljoin

base_url = "https://www.example.com/"

relative_url = "../about.html"
full_url = urljoin(base_url, relative_url)
print(full_url)

输出结果为：

https://www.example.com/../about.html

在上面的例子中，base_url是基础URL，relative_url是相对URL。通过调用urljoin()方法将两个URL拼接起来，得到完整的URL。由于相对URL中包含了..表示上层目录，因此拼接后的URL是https://www.example.com/../about.html。

urljoin()方法主要用于处理相对URL，将其转换成完整的URL。在爬虫等场景中，经常会遇到从网页中提取出的相对URL，通过使用urljoin()方法可以方便地得到完整的URL，便于后续处理和访问。

需要注意的是，urljoin()方法会忽略掉片段标识符（即#后面的部分），如果需要获取完整的URL，包括片段标识符，可以将allow_fragments参数设置为False。例如：

from six.moves.urllib.parse import urljoin

base_url = "https://www.example.com/page.html#section"

relative_url = "../about.html"
full_url = urljoin(base_url, relative_url, allow_fragments=False)
print(full_url)

输出结果为：

https://www.example.com/../about.html

在上述例子中，通过将allow_fragments参数设置为False，拼接后的URL包含了片段标识符。注意此时URL的有效性可能受到影响，需要根据实际情况进行处理。