Python编写网络爬虫程序

Python编写网络爬虫程序是非常常见的任务。网络爬虫程序用于自动化地从互联网上收集数据。Python是一种非常适合编写网络爬虫的编程语言，因为它有许多强大的库和工具可以帮助我们完成这个任务。

要编写一个网络爬虫程序，我们首先需要选择一个合适的库来帮助我们发送HTTP请求和解析HTML页面。Python有一些非常受欢迎的库可以完成这个任务，比如requests和beautifulsoup。

下面是一个简单的例子，展示了如何使用requests和beautifulsoup库编写一个简单的网络爬虫程序，用于获取豆瓣电影Top250的电影名称和评分：

import requests
from bs4 import BeautifulSoup

def get_movie_info():
    url = "https://movie.douban.com/top250"
    response = requests.get(url)
    soup = BeautifulSoup(response.text, "html.parser")
    movie_list = soup.find_all("div", class_="hd")
    
    for movie in movie_list:
        movie_name = movie.a.span.text
        movie_rating = movie.parent.find("span", class_="rating_num").text
        print("电影名称：", movie_name)
        print("评分：", movie_rating)
        print("----------")

在这个例子中，我们首先导入了requests和beautifulsoup库。然后，我们定义了一个名为get_movie_info的函数。在这个函数中，我们首先定义了目标URL地址，然后使用requests库发送GET请求，并使用beautifulsoup库解析HTML页面。

接下来，我们使用beautifulsoup库中的find_all方法，找到所有class属性为"hd"的div元素。在每个电影的div元素中，我们使用了多个find和find_all方法来获取电影名称和评分。

最后，我们使用print函数将结果打印出来。

要运行这个网络爬虫程序，我们只需要调用get_movie_info函数即可。

get_movie_info()

运行这段代码之后，将会输出豆瓣电影Top250的电影名称和评分。

当然，这只是一个非常简单的例子，实际上编写一个实用的网络爬虫程序需要更多的代码。比如，我们可能需要处理分页、处理异常情况、存储数据等等。但是，通过上面的例子，你可以了解到如何使用Python编写一个简单的网络爬虫程序，以及使用requests和beautifulsoup库的基本方法。