使用scrapy.http模块实现图片、视频等多媒体文件的下载

使用scrapy库的http模块可以轻松地下载多媒体文件，包括图片、视频等。下面是一个示例代码，演示了使用scrapy.http模块下载图片的过程。

import scrapy
from scrapy.http import Request


class MySpider(scrapy.Spider):
    name = 'image_spider'
    start_urls = ['http://example.com']

    def parse(self, response):
        # 解析网页，找到所有的图片链接
        image_urls = response.css('img::attr(src)').getall()

        # 对每个图片链接发送请求
        for url in image_urls:
            yield Request(url, callback=self.download_image)

    def download_image(self, response):
        # 保存图片到本地文件
        filename = response.url.split('/')[-1]
        with open(filename, 'wb') as f:
            f.write(response.body)
        self.log('Saved file %s' % filename)

在上面的代码中，我们定义了一个名为MySpider的Spider类，其中start_urls列表包含了我们要爬取的网站的URL。在parse方法中，我们使用response对象来解析网页，找到所有的图片链接。然后，我们通过yield关键字生成一个Request对象，指定要下载图片的URL，并将其回调函数设置为download_image。这样，当Scrapy发出下载请求后，下载完成后会调用download_image方法来处理。

在download_image方法中，我们将图片保存到本地文件中。首先，我们从response对象中获取图片的URL，并将其分割成文件名。然后，我们使用open函数和wb模式打开一个文件，将response对象的二进制数据写入文件中。最后，我们使用self.log方法来记录下载的文件名。

要运行这个爬虫，可以使用以下命令：

scrapy runspider myspider.py

如果你希望运行爬虫并将结果保存到一个文件中，可以使用以下命令：

scrapy runspider myspider.py -o output.json

在上面的代码中，我们假设所有的图片链接都以绝对路径的形式存在。如果链接是相对路径，你可能需要先计算出绝对路径。此外，你还可以通过修改download_image方法来自定义保存的文件名和文件路径。

注意，上面的代码只是一个示例，可能无法直接运行。你可能需要将其与你的项目结合使用，并根据实际需要进行适当的调整。