python爬虫线程和进程的使用（附代码）

百变鹏仔 1天前 #Python

文章标签爬虫

本篇文章给大家带来的内容是关于python爬虫线程和进程的使用（附代码），有一定的参考价值，有需要的朋友可以参考一下，希望对你有所帮助。

进程

使用

导入类库

import multiprocessing

创建进程

p1 = multiprocessing.Process(target=test1)

Process参数：group=None,target=None, name=None, args=(), kwargs={})

全局变量
立即学习“Python免费学习笔记（深入）”；

import time, osimport multiprocessingnums = [11, 22, 33]def test():    nums.append(44)    print('在进程1中nums=%s' % str(nums),id(nums))    time.sleep(3)def test2():    print('在进程2中nums=%s' % str(nums),id(nums))def main():    print('----in 主进程 pid=%d----父进程pid=%d----' % (os.getpid(), os.getppid()))    p = multiprocessing.Process(target=test)    p.start()    p2 = multiprocessing.Process(target=test2)    p2.start()        # test()         # test2()     if __name__ == '__main__':    main()

进程间全局变量不共享，因为进程是复制出来的

线程

使用

导入类库

import threading

创建线程

t1 = threading.Thread(target=test1,args=(1000000,))

Thread参数：group=None,target=None, name=None,args=(), kwargs=None, *, daemon=None

全局变量
立即学习“Python免费学习笔记（深入）”；

import time,threadingg_num = 0mutex = threading.Lock()def test1(num):    global g_num    # mutex.acquire()         for i in range(num):        mutex.acquire()        g_num += 1        mutex.release()            # mutex.release()    print('-------in test1 g_num=%d-----' % g_num)def test2(num):    global g_num    # mutex.acquire()         for i in range(num):        mutex.acquire()        g_num += 1        mutex.release()            # mutex.release()    print('-------in test2 g_num=%d-----' % g_num)def main():    t1 = threading.Thread(target=test1,args=(1000000,))    t2 = threading.Thread(target=test2,args=(1000000,))    t1.start()    t2.start()    time.sleep(3)    print('-------------in main Thread g_num = %d----' % g_num) if __name__ == '__main__':    main()

临界区，在同一时间只有一个程序进入代码块执行，一般括住改变的地方

如果其他线程调用acquire，当前线程则进入等待

threading.RLock() 递归锁 threading.Condition 信号量或条件锁

生产者消费者模式

生产者消费者模式是线程间通信的一种应用

在使用数据结构的时候确定是否是线程安全，Queue本身是线程安全的，列表list([])、字典dic({})都不是线程安全的

def set_value(q):    index = 0        while True:        q.put(index)        index += 1        q.put(index)        index += 1        time.sleep(2)def get_value(q):    while True:        print('消费者获取数据：',q.get())   #若队列为空就sleep休眠，直到队列有数据def main():    q = Queue(4)    t1 = threading.Thread(target=set_value,args=[q])    t2 = threading.Thread(target=get_value,args=[q])    t1.start()    t2.start()

文章推荐

python爬虫线程和进程的使用（附代码）

进程

使用

线程

使用

详解Python中的字符编码

如何利用python3来实现TCP协议？

实现tcp的自动重连实例教程

详细介绍golang中的log模块

介绍一款Python打包工具（py2exe）