欢迎访问宙启技术站
智能推送

使用Python编写一个爬取网页内容的小工具

发布时间:2023-12-04 15:59:50

以下是一个使用Python编写的爬取网页内容的小工具的示例代码:

import requests

def get_page_content(url):
    response = requests.get(url)
    
    if response.status_code == 200:
        return response.text
    else:
        return None

# 使用例子
url = 'https://www.example.com'
content = get_page_content(url)

if content is not None:
    print(content)
else:
    print('Failed to retrieve page content.')

这个小工具使用了requests库来发送HTTP请求并获取网页内容。get_page_content函数接受一个URL作为参数,并返回该URL对应网页的内容。如果请求成功,返回网页内容的字符串;如果请求失败,返回None。

在使用例子中,我们定义了一个URL变量,并将其传递给get_page_content函数。如果获取成功,则打印网页的内容;否则打印失败信息。

你可以根据自己的需求对这个小工具进行扩展和修改。例如,你可以添加一些错误处理机制来处理请求失败的情况,或者解析网页内容来提取有用的信息。这个工具是一个简单的示例,但你可以根据需要进行进一步的定制。