使用urllib库实现对网页的分析和提取，获取指定内容和结构化数据

使用urllib库可以方便地对网页进行分析和提取，获取指定内容和结构化数据。下面是一个使用urllib库的例子：

import urllib.request
from bs4 import BeautifulSoup

# 定义一个函数，用于解析网页并提取指定内容
def parse_webpage(url):
    # 发送HTTP请求获取网页内容
    response = urllib.request.urlopen(url)
    # 读取网页内容并转换为BeautifulSoup对象
    soup = BeautifulSoup(response.read(), "html.parser")

    # 找到网页中的所有链接
    links = soup.find_all("a")
    print("所有链接:")
    for link in links:
        print(link.get("href"))

    # 找到网页中的标题
    title = soup.title.string
    print("标题:", title)

    # 找到包含指定文本的段落
    keyword = "example"
    paragraphs = soup.find_all("p", string=lambda text: keyword in text.lower())
    print("包含指定文本的段落:")
    for p in paragraphs:
        print(p.get_text())

    # 找到网页中的表格并将表格数据存储为列表
    table = soup.find("table")
    data = []
    if table:
        rows = table.find_all("tr")
        for row in rows:
            cells = row.find_all("td")
            row_data = []
            for cell in cells:
                row_data.append(cell.get_text())
            data.append(row_data)
    print("表格数据:")
    for row in data:
        print(row)

# 调用函数解析指定网页
url = "http://example.com"
parse_webpage(url)

在上面的例子中，首先导入了urllib.request和BeautifulSoup库。然后定义了一个名为parse_webpage的函数，用于解析网页并提取指定内容。该函数接受一个URL作为参数。

在函数内部，首先使用urllib.request.urlopen函数发送HTTP请求并获取网页内容。然后使用BeautifulSoup将网页内容转换为BeautifulSoup对象，以便后续的解析操作。

接下来，使用soup.find_all函数找到网页中的所有链接，使用link.get("href")获取链接的URL，并打印出来。然后，通过soup.title.string找到网页的标题，并打印出来。

接下来，定义了一个变量keyword作为关键字，使用soup.find_all函数找到包含指定关键字的段落，并打印出来。

最后，使用soup.find函数找到网页中的表格，并遍历表格的每一行和每个单元格，将表格数据存储为一个列表，并打印出来。

最后，在主程序中调用parse_webpage函数，传入指定的URL进行解析和提取。

通过以上的例子，我们可以灵活地使用urllib库对网页进行分析和提取，获取我们所需要的指定内容和结构化数据。