Python并行执行多个任务的方法有哪些

在Python中，有多种方法可以实现并行执行多个任务。下面是其中一些常用的方法，附带了使用例子。

1. 使用multiprocessing模块

multiprocessing模块可以让Python程序同时运行多个进程，并发执行任务。这是一种常用的并行执行任务的方法。

import multiprocessing

def worker(name):
    print(f'Worker {name} starting...')
    # 执行任务...
    print(f'Worker {name} finished!')

if __name__ == '__main__':
    process1 = multiprocessing.Process(target=worker, args=('A',))
    process2 = multiprocessing.Process(target=worker, args=('B',))
    process1.start()
    process2.start()
    process1.join()
    process2.join()

上述代码定义了一个worker函数，然后创建了两个进程，每个进程执行worker函数。使用join方法可以等待进程完成任务。

2. 使用concurrent.futures模块

concurrent.futures模块提供了高级的接口来处理并行任务，并支持线程池和进程池方式。

import concurrent.futures

def worker(name):
    print(f'Worker {name} starting...')
    # 执行任务...
    print(f'Worker {name} finished!')

if __name__ == '__main__':
    with concurrent.futures.ThreadPoolExecutor() as executor:
        executor.submit(worker, 'A')
        executor.submit(worker, 'B')

上述代码使用ThreadPoolExecutor来创建线程池，然后通过submit方法提交任务。

3. 使用asyncio模块

asyncio模块是Python的异步编程模块，可以使用协程的方式并行执行多个任务。

import asyncio

async def worker(name):
    print(f'Worker {name} starting...')
    await asyncio.sleep(1)
    print(f'Worker {name} finished!')

async def main():
    await asyncio.gather(
        worker('A'),
        worker('B')
    )

if __name__ == '__main__':
    asyncio.run(main())

上述代码定义了一个异步函数worker，然后通过asyncio.gather来并行执行多个任务。

4. 使用joblib模块

joblib模块是一个用于并行计算的Python库，可以将计算任务分配给多个处理器执行。

import joblib

def worker(name):
    print(f'Worker {name} starting...')
    # 执行任务...
    print(f'Worker {name} finished!')

if __name__ == '__main__':
    names = ['A', 'B']
    joblib.Parallel(n_jobs=-1)(joblib.delayed(worker)(name) for name in names)

上述代码使用joblib.Parallel来创建并行作业，并通过joblib.delayed将任务延迟到并行执行。

总结：

以上是一些常用的Python并行执行多个任务的方法，包括使用multiprocessing、concurrent.futures、asyncio和joblib等模块。根据具体情况选择适合的方法，可以提高代码的执行效率和性能。