用Python编写一个简单的网页抓取程序

网页抓取是一种获取互联网上网页内容的技术，通过编写一个简单的网页抓取程序，可以实现从指定网址上获取数据并进行进一步处理。Python作为一种功能强大的编程语言，拥有丰富的库和模块，对于网页抓取也提供了很好的支持。

下面是一个使用Python编写的简单网页抓取程序：

import requests

def get_html(url):
    # 发送HTTP请求，获取网页内容
    response = requests.get(url)
    
    # 判断请求是否成功
    if response.status_code == 200:
        return response.text
    else:
        return None

if __name__ == '__main__':
    # 使用例子：抓取百度首页的内容
    url = 'http://www.baidu.com'
    html = get_html(url)
    if html:
        print(html)

上述代码中，首先导入了requests库，它是一个常用的HTTP请求库，可以方便地发送GET、POST等请求。接下来定义了一个名为get_html函数，该函数用于发送HTTP请求并返回网页内容。在函数中，首先使用requests.get发送HTTP请求，并将响应存储在response变量中。然后判断响应的状态码是否为200（代表成功），如果是则返回响应的文本内容，否则返回None。

在__name__ == '__main__'的条件下，定义了一个使用例子，即抓取百度首页的内容。通过调用get_html函数，传入百度首页的URL，将返回的网页内容存储在html变量中。最后，判断html是否存在，如果存在则打印出来。

以上是一个简单的网页抓取程序的例子，可以根据实际需求进行修改和扩展。在实际应用中，还可以使用其他库和模块来对获取的网页内容进行解析和处理，如BeautifulSoup库用于解析HTML等。通过网页抓取程序，可以获取到网络上关于特定网站或者特定内容的信息，为数据分析、爬虫开发、信息监控等提供了基础支持。