使用Python编写一个爬取网页内容的脚本

爬取网页内容是一种常见的需求，可以通过Python的requests库来实现这个功能。requests库提供了一组简洁而又强大的API来进行HTTP请求，并且可以方便地处理返回的内容。下面是一个使用Python编写的爬取网页内容的脚本，并带有使用例子。

import requests

def get_html(url):
    try:
        headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
        response = requests.get(url, headers=headers)
        response.raise_for_status()  # 如果请求失败，抛出HTTPError异常
        response.encoding = response.apparent_encoding  # 根据返回的内容自动设置编码
        return response.text
    except Exception as e:
        print('爬取失败:', e)

if __name__ == '__main__':
    url = 'http://www.example.com'  # 待爬取的网页地址
    html = get_html(url)
    print(html)

在上面的代码中，我们通过 requests.get() 方法发送HTTP GET请求，并传入目标网页的URL以及一个自定义的请求头（User-Agent），来模拟浏览器的请求。然后，我们使用 response.raise_for_status() 方法检查请求是否成功，如果失败则抛出异常并输出错误信息。接下来，我们使用 response.encoding = response.apparent_encoding 来自动设置响应内容的编码，以便后续处理。最后，返回响应的文本内容。

在使用时，只需要将待爬取的网页URL赋值给 url 变量，然后调用 get_html() 函数即可获取网页的内容。在脚本运行完成后，将会输出网页的内容。

需要注意的是，爬取网页内容是一种常见的操作，但是在爬取时需要尊重网站的爬虫规则，不要频繁请求同一个网站，以防被封IP。可以通过设置请求间隔时间、使用代理IP等方式来降低爬虫对网站的负担，同时也可以保护自己的爬虫程序。

另外，还可以使用Python的其他库（如BeautifulSoup、Scrapy等）来解析和提取网页内容，以便更灵活地进行数据提取和处理。这些库提供了更多的功能，如根据CSS选择器或XPath来选择和提取指定的元素、处理表单数据等。

使用Python进行网页内容爬取是一项有趣且实用的技能，通过编写脚本来实现自动化的网页访问和内容提取，可以大大节省时间和人力成本。