使用Python编写一个简单的网络爬虫

网络爬虫是一种自动化工具，可以通过网络爬取信息，并从网页中提取有用的数据。Python提供了丰富的库和模块，使得编写网络爬虫变得非常方便。

下面是一个使用Python编写的简单网络爬虫的示例代码：

import requests
from bs4 import BeautifulSoup

def get_html(url):
    response = requests.get(url)
    return response.text

def parse_html(html):
    soup = BeautifulSoup(html, 'html.parser')
    # 在这里可以使用BeautifulSoup提供的方法来提取页面中的有用信息
    # 例如，可以使用soup.find_all()来查找特定标签的内容
    # 可以使用soup.select()来选择指定CSS选择器的元素
    # 这里只是示例代码，具体操作可以根据需要进行调整
    titles = soup.select('.title')
    for title in titles:
        print(title.get_text())

def main():
    url = 'http://example.com'  # 这里填写你要爬取的网页的URL
    html = get_html(url)
    parse_html(html)

if __name__ == '__main__':
    main()

以上代码使用了requests库来发送HTTP请求，以获取网页的HTML内容。然后使用BeautifulSoup库来解析HTML，并提取页面中的有用信息。

在parse_html函数中，使用了soup.select()方法来选择类名为"title"的元素，并使用get_text()方法获取元素的文本内容。最后，在main函数中，指定要爬取的网页URL，然后调用get_html和parse_html来获取和解析HTML。

当然，这只是一个非常简单的示例，真实的网络爬虫可能会涉及到更复杂的操作，例如处理网页中的链接、进行数据的存储和清洗等。

需要注意的是，在进行网页爬取时，应该尊重网站的爬取规则，并遵守法律和道德的要求。