Python 中的进程管理：并行编程基础

百变鹏仔 5天前 #Python

文章标签进程

并行编程能够让程序在多个处理器或内核上同时执行多个任务，从而更有效地利用处理器资源，缩短处理时间，提升性能。想象一下，一个复杂问题被分解成多个独立的子问题，每个子问题再细分成更小的任务，然后分配给不同的处理器并行处理，最终显著减少总处理时间。

Python 提供了多种工具和模块支持并行编程。

多进程

multiprocessing 模块允许程序同时运行多个进程，从而充分利用多核处理器的优势，突破全局解释器锁 (GIL) 的限制。

立即学习“Python免费学习笔记（深入）”；

GIL 是 CPython 解释器中的一种机制，它限制了同一时刻只有一个线程执行 Python 字节码，从而限制了多线程在 CPU 密集型任务中的并行性。

示例：平方和立方计算

from multiprocessing import Processdef calculate_square(numbers):    for n in numbers:        print(f"{n}的平方是: {n * n}")def calculate_cube(numbers):    for n in numbers:        print(f"{n}的立方是: {n * n * n}")if __name__ == "__main__":    numbers = [1, 2, 3, 4]    p1 = Process(target=calculate_square, args=(numbers,))    p2 = Process(target=calculate_cube, args=(numbers,))    p1.start()    p2.start()    p1.join()    p2.join()

多进程的优势类似于多个厨师同时在厨房准备不同菜肴，相比单一厨师依次烹饪，效率大大提升。

进程间数据共享

Python 的 multiprocessing 模块提供了多种进程间共享数据的方法，但需要注意的是每个进程拥有独立的内存空间。

from multiprocessing import Process, Valuedef increment_counter(shared_counter):    for _ in range(1000):        shared_counter.value += 1if __name__ == "__main__":    counter = Value('i', 0)    processes = [Process(target=increment_counter, args=(counter,)) for _ in range(5)]    for p in processes:        p.start()    for p in processes:        p.join()    print(f"最终计数器值: {counter.value}")

from multiprocessing import Process, Queuedef producer(queue):    for i in range(5):        queue.put(i)        print(f"生产者生产: {i}")def consumer(queue):    while not queue.empty():        item = queue.get()        print(f"消费者消费: {item}")if __name__ == "__main__":    q = Queue()    p1 = Process(target=producer, args=(q,))    p2 = Process(target=consumer, args=(q,))    p1.start()    p2.start()    p1.join()    p2.join()

from multiprocessing import Process, Pipedef send_data(conn):    conn.send([1, 2, 3, 4])    conn.close()if __name__ == "__main__":    parent_conn, child_conn = Pipe()    p = Process(target=send_data, args=(child_conn,))    p.start()    print(f"接收到的数据: {parent_conn.recv()}")    p.join()

进程间填充与同步

进程间填充主要用于解决内存组织和数据访问冲突问题，尤其是在缓存行错误共享的情况下。进程同步则使用诸如锁 (Lock) 等机制来保证数据一致性，避免竞争条件。

from multiprocessing import Process, Lockdef print_numbers(lock, name):    with lock:        for i in range(5):            print(f"{name}: {i}")if __name__ == "__main__":    lock = Lock()    processes = [Process(target=print_numbers, args=(lock, f"进程 {i}")) for i in range(3)]    for p in processes:        p.start()    for p in processes:        p.join()

多线程

多线程允许在同一进程中同时运行多个线程，共享资源，适合 I/O 密集型任务。但由于 GIL 的存在，在 CPU 密集型任务中性能提升有限。 threading 模块用于创建和管理线程。线程同步机制与多进程类似，也需要使用锁等工具来避免数据竞争。

示例：线程计数器

import threadingcounter = 0lock = threading.Lock()def increment():    global counter    for _ in range(100000):        with lock:            counter += 1threads = [threading.Thread(target=increment) for _ in range(5)]for t in threads:    t.start()for t in threads:    t.join()print(f"最终计数器值: {counter}")

结论

选择多进程还是多线程取决于具体任务的特性。多进程更适合 CPU 密集型任务，而多线程更适合 I/O 密集型任务。无论选择哪种方式，进程或线程同步都是确保数据一致性和程序正确性的关键。

文章推荐

Python 中的进程管理：并行编程基础

Python程序：删除数组/列表中的所有元素的出现次数

探秘Python在机器学习中的杰出应用案例

Python在智能交通系统中的应用案例分析

使用Python根据列表创建多个目录

将一个多项式转换为Python中的Hermite_e级数