Scrapy中LinkExtractor()实现爬取指定域名的链接

Scrapy是一个用于爬取网站的Python框架，它有一个内置的LinkExtractor()类，用于在网页中提取链接。LinkExtractor()可以根据一些规则过滤出需要的链接，包括匹配特定的域名。

使用LinkExtractor()类，可以方便地实现爬取指定域名的链接。下面是一个使用LinkExtractor()类的例子：

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule

class MySpider(CrawlSpider):
    name = 'example'
    allowed_domains = ['example.com']
    start_urls = ['http://www.example.com']

    rules = (
        Rule(LinkExtractor(allow_domains=allowed_domains), callback='parse_item', follow=True),
    )

    def parse_item(self, response):
        # 在这里处理获取到的链接
        pass

在上面的例子中，首先导入了scrapy、LinkExtractor和CrawlSpider。在CrawlSpider类的子类中，定义了name、allowed_domains和start_urls，分别指定爬虫的名字、要爬取的域名和起始链接。

接下来，定义了一个rules元组，其中包含了一个Rule对象。Rule对象中的LinkExtractor(allow_domains=allowed_domains)用于提取所有符合指定域名的链接。callback='parse_item'表示提取到的链接应该交给parse_item()方法处理。follow=True表示要跟进提取到的链接。

最后，定义了parse_item()方法来处理获取到的链接。在这个方法中，可以对获取到的每个链接进行处理，比如提取链接中的数据、发送请求获取更多的信息等。

整个爬虫的工作流程是这样的：首先，从start_urls中获取到起始链接；然后，根据rules中的配置，根据LinkExtractor提取符合指定域名的链接；最后，将每个链接交给parse_item()方法处理。

这样，通过LinkExtractor()类可以很方便地实现爬取指定域名的链接。使用LinkExtractor可以灵活地定义过滤规则，只提取出需要的链接。同时，在CrawlSpider中使用LinkExtractor还可以很方便地实现自动的链接跟进。