在python中使用LinkExtractor()提取特定页面中的外部链接

在Python中，可以使用Scrapy框架中的LinkExtractor()类来提取特定页面中的外部链接。LinkExtractor()类是Scrapy框架提供的一个用于提取链接的工具类，它可以根据指定的规则从HTML文本中提取出页面中的链接。

以下是使用LinkExtractor()提取特定页面中的外部链接的示例代码：

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule


class MySpider(CrawlSpider):
    name = 'my_spider'
    allowed_domains = ['example.com']
    start_urls = ['http://example.com/page1']

    rules = (
        Rule(LinkExtractor(), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        # 在这里处理链接提取的结果
        external_links = response.meta.get('external_links', [])

        # 获取页面中的外部链接
        link_extractor = LinkExtractor(allow_domains=self.allowed_domains)
        links = link_extractor.extract_links(response)

        # 将链接添加到列表中
        for link in links:
            external_links.append(link.url)

        # 打印外部链接
        print(external_links)

        # 将外部链接保存到文件中等其他处理操作

        # 返回结果
        return {'external_links': external_links}

在上面的示例代码中，创建了一个名为MySpider的爬虫类，继承自CrawlSpider类。CrawlSpider是Scrapy框架中的一个爬虫基类，它会自动根据规则提取链接和跟进链接。

在MySpider类中，首先定义了allowed_domains，指定了允许抓取的链接的域名。然后定义了start_urls，指定了起始抓取的URL。

接下来创建了一个rules元组，其中包含了一个Rule对象。Rule对象定义了链接提取和跟进的规则。在这里，使用了LinkExtractor()类作为Rule的链接提取器。callback='parse_item'指定了当链接被提取后要执行的回调函数，即parse_item方法。follow=True表示要跟进链接。

在parse_item方法中，首先获取了之前已提取的外部链接列表。然后创建了一个LinkExtractor对象，用于提取页面中的外部链接。allow_domains参数指定了要提取的链接所在的域名。然后使用extract_links方法提取链接，并将链接添加到外部链接列表中。

最后，将外部链接打印出来，并可以将其保存到文件中或进行其他操作。然后返回结果，将外部链接列表作为结果返回。

在实际使用时，可以根据需要修改allowed_domains和start_urls来指定抓取的网站和起始URL。