Python编写网络爬虫获取网页内容

网络爬虫是一种自动化程序，用于从互联网上获取信息。Python是一种非常适合编写网络爬虫的编程语言，它提供了丰富而强大的库，如requests、beautifulsoup和scrapy等，使得编写网络爬虫变得相对简单。

下面是一个使用Python编写的网络爬虫的例子，使用requests库获取网页内容，并使用beautifulsoup库解析网页。

import requests
from bs4 import BeautifulSoup

# 定义一个函数，用于获取网页内容
def get_page_content(url):
    # 发送HTTP请求
    response = requests.get(url)
    # 获取网页内容
    content = response.text
    # 返回网页内容
    return content

# 定义一个函数，用于解析网页内容
def parse_page_content(content):
    # 创建BeautifulSoup对象
    soup = BeautifulSoup(content, 'html.parser')
    # 解析网页内容
    # ...

# 定义主函数，用于执行爬虫
def main():
    # 定义要爬取的网页URL
    url = 'http://example.com'
    # 获取网页内容
    content = get_page_content(url)
    # 解析网页内容
    parse_page_content(content)

# 调用主函数
main()

在上面的例子中，我们首先定义了一个get_page_content函数，用于获取网页内容。它使用了requests库的get方法发送HTTP请求，并通过response.text获取网页内容。

然后，我们定义了一个parse_page_content函数，用于解析网页内容。在这个函数中，我们创建了一个BeautifulSoup对象，用于解析网页内容。你可以根据网页的具体结构和需求，使用BeautifulSoup提供的一系列方法来提取所需的信息。

最后，我们定义了一个main函数，用于执行爬虫。我们将要爬取的网页URL赋值给url变量，然后调用get_page_content函数获取网页内容，并将网页内容传递给parse_page_content函数进行解析。

你可以根据自己的需求进行适当的修改和扩展，例如添加异常处理机制、保存爬取的数据到文件或数据库等。

需要注意的是，爬取网页时要遵守相关的法律和道德规范，并尊重网站的爬虫规则。未经允许爬取或滥用爬取所得数据可能会引发法律纠纷，甚至触犯法律。因此，使用网络爬虫时要谨慎并遵守相关规定。