在Python中如何使用函数实现简单的网络爬虫

网络爬虫是一种自动化获取网页内容的程序。Python提供了强大的网络库和解析库，使得使用函数实现简单的网络爬虫非常容易。

首先，我们需要使用Python的requests库获取网页内容。requests库是一个基于HTTP协议的请求库，可以轻松地向指定的URL发送请求并获取响应的内容。

import requests

def get_page_content(url):
    response = requests.get(url)
    content = response.content.decode('utf-8')
    return content

这个函数会通过requests库发送GET请求获取指定URL的网页内容，并返回解码后的文本。我们可以试着获取一下百度首页的内容：

print(get_page_content('https://www.baidu.com'))

接下来，我们需要使用一个解析库来解析HTML文档，提取我们想要的信息。Python中最常用的解析库是BeautifulSoup库。它可以解析HTML和XML文档，并提供了许多方便的方法来提取文档中的数据。

from bs4 import BeautifulSoup

def get_links(content):
    soup = BeautifulSoup(content, 'html.parser')
    links = []
    for link in soup.find_all('a'):
        links.append(link.get('href'))
    return links

这个函数使用BeautifulSoup库解析HTML文档，并提取所有链接。它会返回一个链接列表。我们同样可以试着获取一下百度首页的所有链接：

content = get_page_content('https://www.baidu.com')
links = get_links(content)
print(links)

上面的代码会输出所有链接列表。当然，我们还可以进一步处理这些链接，从中提取出我们需要的信息，比如网页标题和正文等。

综上所述，使用Python的requests和BeautifulSoup库可以轻松实现简单的网络爬虫。我们只需要先获取网页内容，然后用解析库来提取所需的信息即可。需要注意的是，在爬取网页时应该遵守相关法律法规，不要违反网站的用户协议。