Python实现的多线程断点续传下载器

Python多线程断点续传下载器是一个可以利用多个线程同时下载文件，并且支持断点续传功能的工具。通过多线程可以加快下载速度，而断点续传功能可以保证下载过程中网络中断或者其他原因导致的下载中断时，可以继续从上次下载的位置进行下载，而不需要重新下载整个文件。

以下是一个简单的实现多线程断点续传下载器的例子：

import requests
import os
import threading

# 定义每个线程下载的块大小
CHUNK_SIZE = 1024 * 1024

class Downloader:
    def __init__(self, url, save_path):
        self.url = url
        self.save_path = save_path
        self.total_size = 0
        self.downloaded_size = 0

    def get_total_size(self):
        # 发送HEAD请求获取文件总大小
        response = requests.head(self.url)
        self.total_size = int(response.headers.get('Content-Length', 0))

    def download_chunk(self, start, end, file):
        # 设置HTTP Range头用于断点续传
        headers = {'Range': f'bytes={start}-{end}'}
        response = requests.get(self.url, headers=headers, stream=True)

        for chunk in response.iter_content(chunk_size=CHUNK_SIZE):
            if chunk:
                file.write(chunk)
                # 下载完成块大小的字节
                self.downloaded_size += len(chunk)

    def download(self):
        self.get_total_size()

        if os.path.exists(self.save_path):
            # 如果文件已经存在，则获取文件的大小
            downloaded_size = os.path.getsize(self.save_path)
            # 设置HTTP Range头的起始位置
            start = downloaded_size

            # 如果已经下载完成，则直接退出
            if downloaded_size == self.total_size:
                return

        else:
            start = 0

        # 打开文件用于写入下载的数据
        with open(self.save_path, 'ab') as file:
            # 开启多个线程下载文件
            num_threads = 4
            thread_list = []
            for i in range(num_threads):
                # 计算每个线程下载的块范围
                end = min(start + CHUNK_SIZE - 1, self.total_size) - 1
                thread = threading.Thread(target=self.download_chunk, args=(start, end, file))
                thread.start()
                thread_list.append(thread)
                start += CHUNK_SIZE

            # 等待所有线程下载完成
            for thread in thread_list:
                thread.join()

        print('下载完成')

# 使用例子
url = 'https://example.com/example.rar'
save_path = 'example.rar'

downloader = Downloader(url, save_path)
downloader.download()

在上面的例子中，我们首先定义了一个Downloader类，该类负责下载文件的各项操作。在__init__方法中，我们传入下载链接url和保存路径save_path，并初始化文件总大小total_size和已下载大小downloaded_size为0。

在get_total_size方法中，我们发送HEAD请求获取文件的总大小，并将其保存在total_size变量中。

在download_chunk方法中，我们定义了每个线程下载的块大小，通过设置HTTP Range头的起始位置和结束位置，实现了断点续传的功能。我们创建了一个文件写入的句柄file，然后使用requests.get发送带有Range头的GET请求获取文件的部分内容，并将其写入文件。

在download方法中，我们判断文件是否已经存在，如果存在则获取文件的大小，并设置HTTP Range头的起始位置为已下载的大小。然后打开文件用于写入下载的数据，并创建指定数量的线程用于下载文件。每个线程下载一定大小的数据块，直到下载完成。

在使用例子中，我们创建一个Downloader实例，将下载链接和保存路径传入，并调用download方法开始进行下载。

这样，我们就实现了一个简单的多线程断点续传下载器。可以通过调整num_threads和CHUNK_SIZE两个参数来控制下载的线程数量和每个线程下载的块大小，以获得更好的下载效果。