使用Python编写一个爬虫程序，爬取网站数据

下面是一个使用Python编写的简单爬虫程序的例子。这个爬虫程序可以爬取指定网站的数据，并保存为一个CSV文件。

import requests
import csv
from bs4 import BeautifulSoup

def get_data(url):
    # 发送GET请求获取网页内容
    response = requests.get(url)
    # 使用BeautifulSoup解析网页内容
    soup = BeautifulSoup(response.content, 'html.parser')
    # 在这里根据网页的结构提取需要的数据
    # 以下只是一个示例，具体的提取逻辑需要根据网页的结构来确定
    data = []
    for item in soup.find_all('div', class_='item'):
        title = item.find('h2').get_text()
        price = item.find('span', class_='price').get_text()
        data.append((title, price))
    return data

def save_data(data, filename):
    # 将数据保存为CSV文件
    with open(filename, 'w', newline='', encoding='utf-8') as file:
        writer = csv.writer(file)
        writer.writerow(['Title', 'Price'])
        writer.writerows(data)

def main():
    # 需要爬取的网站URL
    url = 'http://example.com'
    # 获取数据
    data = get_data(url)
    # 保存数据
    save_data(data, 'output.csv')
    print('爬虫程序执行完毕')

if __name__ == '__main__':
    main()

在这个例子中，首先使用requests库发送GET请求获取网页内容，然后使用BeautifulSoup库解析网页内容。接下来，根据网页的结构提取需要的数据。这个例子中，提取了网页中所有带有class为item的div元素，并获取其中的标题和价格信息。然后，将提取的数据保存为CSV文件。

在运行这个爬虫程序时，需要确保你已经安装了requests、beautifulsoup4和csv模块。可以使用pip命令来安装它们：

pip install requests
pip install beautifulsoup4

接下来，只需要将上述代码保存为一个Python脚本，并运行它即可开始爬取网站数据。在运行过程中，你可以修改代码来适应不同的网页结构和提取需求。