Python中使用QWebEnginePage()实现网页内容提取

在Python中，可以使用QWebEnginePage()类来实现网页内容提取。QWebEnginePage()是一个用于显示网页内容的类，它可以加载和渲染网页，并且可以提取网页的各种元素，如文本、图像、链接等。

下面是一个使用QWebEnginePage()提取网页内容的例子：

首先，需要安装PyQtWebEngine库。可以使用pip命令进行安装：

pip install PyQtWebEngine

接下来，创建一个Python脚本，导入所需的库：

from PyQt5.QtCore import QUrl
from PyQt5.QtWebEngineWidgets import QWebEngineView, QWebEnginePage
from PyQt5.QtWidgets import QApplication
from PyQt5.QtGui import QImage
from PyQt5.QtCore import QEventLoop, QTimer
import sys

然后，创建一个QApplication实例，并通过QWebEnginePage()创建一个新的页面：

app = QApplication(sys.argv)
page = QWebEnginePage()

加载并渲染网页：

url = QUrl('https://www.example.com')
page.load(url)

loop = QEventLoop()
page.loadFinished.connect(loop.quit)
loop.exec_()

等待页面加载完成后，可以提取页面的文本内容：

def get_page_content(page):
    def callback(result):
        page.toHtml(result.loop.quit)

    result = {'loop': QEventLoop()}
    page.runJavaScript("document.documentElement.outerHTML", callback)
    result['loop'].exec_()
    return result['result']

html = get_page_content(page)
print(html)

以上代码会将网页的HTML内容打印出来。

除了HTML内容，还可以提取图片、链接等。以下是获取网页所有图片链接的示例代码：

def get_image_links(page):
    def callback(result):
        page.toHtml(result.loop.quit)

    result = {'loop': QEventLoop()}
    page.runJavaScript("""
        var imageLinks = [];
        for (var i=0; i<document.images.length; i++){
            imageLinks.push(document.images[i].src);
        }
        JSON.stringify(imageLinks);
    """, callback)
    result['loop'].exec_()
    return result['result']

image_links = get_image_links(page)
print(image_links)

以上代码会将网页中的所有图片链接打印出来。

总结一下，以上示例代码演示了如何使用QWebEnginePage()类实现网页内容提取。通过加载和渲染网页，可以获取页面的文本、图片、链接等元素。另外，QWebEnginePage()还支持JavaScript的执行，因此可以实现更加复杂的网页内容提取功能。