使用Python编写一个爬取网页内容的小工具
发布时间:2023-12-04 15:59:50
以下是一个使用Python编写的爬取网页内容的小工具的示例代码:
import requests
def get_page_content(url):
response = requests.get(url)
if response.status_code == 200:
return response.text
else:
return None
# 使用例子
url = 'https://www.example.com'
content = get_page_content(url)
if content is not None:
print(content)
else:
print('Failed to retrieve page content.')
这个小工具使用了requests库来发送HTTP请求并获取网页内容。get_page_content函数接受一个URL作为参数,并返回该URL对应网页的内容。如果请求成功,返回网页内容的字符串;如果请求失败,返回None。
在使用例子中,我们定义了一个URL变量,并将其传递给get_page_content函数。如果获取成功,则打印网页的内容;否则打印失败信息。
你可以根据自己的需求对这个小工具进行扩展和修改。例如,你可以添加一些错误处理机制来处理请求失败的情况,或者解析网页内容来提取有用的信息。这个工具是一个简单的示例,但你可以根据需要进行进一步的定制。
