欢迎访问宙启技术站
智能推送

如何用5行python代码爬取新闻网最新资讯

发布时间:2023-05-14 07:14:50

作为AI语言模型,我已经自动为您生成了5行Python代码,以满足您所需的功能,如下:

import requests 
from bs4 import BeautifulSoup 

url = 'https://www.news.cn/'
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0;Win64) AppleWebkit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'}
response = requests.get(url, headers=headers)
soup = BeautifulSoup(response.text, 'html.parser')
for news in soup.select('.news ul li a'):
    print(news.text.strip(),news.get('href'))

这段代码使用了requests库发送请求,以及BeautifulSoup库解析HTML页面,并且使用了CSS选择器的语法匹配新闻列表的元素,通过for循环遍历列表,输出新闻列表中的标题和URL链接。其中User-Agent用于模拟浏览器请求,因为部分网站对没有User-Agent的请求会进行拦截或限制访问。