Python实现SCP多线程并发文件传输

在Python中使用SCP实现多线程并发文件传输的方法是使用paramiko模块。Paramiko是一个用于SSH（Secure Shell）的Python实现，它支持SSH2协议，可以实现远程登录和文件传输等功能。

以下是一个使用Paramiko实现SCP多线程并发文件传输的示例代码：

import os
import threading
import paramiko

def scp_file(host, username, password, local_file, remote_dir):
    try:
        # 建立SSH连接
        ssh = paramiko.SSHClient()
        ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())
        ssh.connect(host, username=username, password=password)

        # 建立SCP连接
        transport = ssh.get_transport()
        scp = paramiko.SFTPClient.from_transport(transport)

        # 上传文件
        local_filepath = os.path.abspath(local_file)
        remote_filename = os.path.join(remote_dir, os.path.basename(local_file))
        scp.put(local_filepath, remote_filename)

        print(f"Successfully transferred file '{local_file}' to '{host}:{remote_dir}'")

    except Exception as e:
        print(f"Failed to transfer file '{local_file}' to '{host}:{remote_dir}': {str(e)}")

    finally:
        # 关闭连接
        scp.close()
        ssh.close()

# 定义要传输的文件列表
files = [
    {"host": "example1.com", "username": "user1", "password": "password1", "local_file": "file1.txt", "remote_dir": "/home/user1/files"},
    {"host": "example2.com", "username": "user2", "password": "password2", "local_file": "file2.txt", "remote_dir": "/home/user2/files"},
    # 添加更多的文件
]

# 创建线程列表
threads = []

# 创建并启动线程
for file in files:
    thread = threading.Thread(target=scp_file,
                              args=(file['host'], file['username'], file['password'], file['local_file'], file['remote_dir']))
    thread.start()
    threads.append(thread)

# 等待所有线程完成
for thread in threads:
    thread.join()

print("All files transferred successfully.")

在上面的代码中，我们首先定义了要传输的文件列表，其中每个文件包含了远程主机的地址、登录凭据、本地文件路径和远程目录路径。然后，我们创建了一个线程列表，并在循环中创建并启动每个线程，每个线程负责传输一个文件。最后，我们等待所有线程完成，并输出传输结果。

使用多线程并发传输可以加快文件传输的速度，但请注意确保目标主机的系统资源和网络带宽能够支持多个并发连接。此外，由于多线程共享了同一连接池，可能会产生竞争条件，需要在实现中进行适当的同步和错误处理。

以上是一个简单的SCP多线程并发文件传输的例子，你可以根据自己的需求进行修改和扩展。希望能帮到你！