six.moves.urllib.parse中urljoin()方法的功能和应用场景介绍

urljoin()方法是Python标准库中urllib.parse模块中的一个函数，用于合并一个基础URL和一个相对URL，返回合并后的URL。

使用urljoin()方法可以解决相对URL的问题。当我们在爬取网页时，经常会遇到相对路径的URL，这将导致我们无法正确访问这些链接。urljoin()方法可以帮助我们将相对URL转换为绝对URL，从而得到正确的链接。

下面是urljoin()方法的语法：

urllib.parse.urljoin(base, url, allow_fragments=True)

- base：一个字符串，表示基础URL。

- url：一个字符串，表示相对URL。

- allow_fragments：一个布尔值，表示是否解析片段，默认为True。

urljoin()方法返回一个字符串，表示合并后的URL。

接下来，让我们看看urljoin()方法的应用场景和使用例子。

**应用场景：**

- 在网络爬虫中，当我们爬取网页时，一些链接可能是相对路径，我们需要使用urljoin()方法转换为绝对路径才能正确访问。

- 在构建URL时，如果我们只有相对URL，我们可以使用urljoin()方法将其与基础URL合并为完整的URL。

**使用例子：**

下面是一个使用urljoin()方法的例子，假设我们需要爬取一个网页中的所有链接，并将这些链接转换为绝对路径：

from urllib.parse import urljoin

base = "https://www.example.com"
urls = [
    "relative/path1.html",
    "/absolute/path2.html",
    "https://www.example.com/absolute/path3.html"
]

absolute_urls = []
for url in urls:
    absolute_url = urljoin(base, url)
    absolute_urls.append(absolute_url)

print(absolute_urls)

输出结果：

['https://www.example.com/relative/path1.html', 'https://www.example.com/absolute/path2.html', 'https://www.example.com/absolute/path3.html']

在这个例子中，我们定义了一个基础URL为"https://www.example.com"，并创建了一个包含相对路径和绝对路径的列表urls。我们使用urljoin()方法将每个URL与基础URL合并，得到绝对路径，并将其添加到absolute_urls列表中。最后，打印出absolute_urls列表。可以看到，所有的相对路径都被转换为了绝对路径。