网站排名seo教程,我想看女生尿频怎么办,做网站需要注册商标吗,做网站哪里一 引子
在Cpython解释器中#xff0c;同一个进程下开启的多线程#xff0c;同一时刻只能有一个线程执行#xff0c;无法利用多核优势首先#xff1a;需要明确的一点是GIL并不是Python的特性#xff0c;它是在实现Python解析器(CPython)时所引入的一个概念。就好比c是一套…一 引子
在Cpython解释器中同一个进程下开启的多线程同一时刻只能有一个线程执行无法利用多核优势首先需要明确的一点是GIL并不是Python的特性它是在实现Python解析器(CPython)时所引入的一个概念。就好比c是一套语言语法标准但是可以用不同的编译器来编译成可执行代码
例如GCCINTEL CVisual C等。Python也一样同样一段代码可以通过CPythonPyPyPsyco等不同的Python执行环境来执行。像其中的JPython就没有GIL。然而因为CPython是
大部分环境下默认的Python执行环境。所以很多人的概念里CPython就是Python也就想当然的把GIL归结为Python语音的缺陷。所以这里要先明确一点GIL并不是Python的特性Python完全可
以不依赖与GIL
二 GIL介绍 GIL本质就是一把互斥锁既然是互斥锁所有互斥锁的本质都一样都是将并发运行变成串行以此来控制同一时间内共享数据只能被一个任务所修改进而保证数据安全。 可以肯定一点是保护不同的数据的安全就应该加不同的锁 要想了解GIL首先确定一段每次执行Python程序就会产生一个独立的进程。例如Python test.py,python aaa.py,python bb.py 会产生3个不同的Python进程
验证Python test.py只会产生一个进程 1 2 3 4 import os import time print(os.getpid()) time.sleep(30) 1 2 3 4 5 6 7 8 #打开终端执行 python3 test.py #在windows下查看 tasklist |findstr python #在linux下下查看 ps aux |grep python 在一个Python的进程内不仅有test.py的主线程或者由该主线程开启的其它线程还有解释器开启的垃圾回收等解释器级别的线程总之所有线程都运行在一个进程内 1 2 3 4 1、所有线程都是共享的这其中代码作为一种数据也是被所有线程共享的(test.py的所有代码以及CPython解释器的所有代码 例如test.py定义一个函数work代码内容如下图在进程内所有线程都能访问work的代码于是我们可以开启三个线程然后target都指向该代码能访问到意味着就是可以执行。 2、所有线程的任务都需要将任务的代码当做参数传给解释器的代码去执行即所有的线程要项运行自己的任务首先需要解决的是能够访问到解释器的代码 综上
如果多个线程的targetwork那么执行流程是
多个线程先访问到解释器的代码即拿到执行权限然后将target的代码交给解释器的代码去执行 解释器的代码是所有线程共享所以垃圾回收线程也可能访问到解释器的代码而去执行这就导致了一个问题对于同一个数据100可能线程1执行x100的同时而垃圾回收执行的是回收100的操作解决这种问题没有声明高明的方法就是加锁处理如下图的GIL保证Python解释器同一时间只能执行一个任务的代码 三 GIL与Lock 问题Python已经有一个GIL来保证同一时间只能有一个线程来执行了为什么这里还需要lock 首先我们需要达成共识锁的目的是为了保护共享的数据同一时间只能有一个线程来修改共享的数据
然后我们可以得出结论保护不同的数据就应该加不同的锁
最后问题是很明朗了GIL与LOCK是两把锁保护的数据不一样前者是解释器级别的当然保护的就是解释器级别的数据比如垃圾回收的数据后者是保护用户自己开发的应用程序的数据很明显GIL 负责这件事只能用户自定义加锁处理即Lock如下图 分析 1 2 3 4 5 6 7 1、100个线程去抢GIL锁即抢执行权限 2、肯定有一个线程先抢到GIL暂且称为线程1然后开始执行一旦执行就会拿到lock.acquire() 3、极有可能线程1还未执行完毕就有另外一个线程2抢到GIL然后开始运行但线程2发现互斥锁lock还未被线程1释放于是阻塞被迫交出执行权限即释放GIL 4、直到线程1重新抢到GIL开始从上次暂停的位置继续执行直到正常释放互斥锁lock然后其它的线程再重复2,3,4的过程
示例代码1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 from threading import Thread,Lock import os import time def work(): global n lock.acquire() temp n time.sleep(0.5) n temp - 1 lock.release() if __name__ __main__: lock Lock() n 100 l [] for i in range(100): p Thread(targetwork) l.append(p) p.start() for p in l: p.join() print(n) # 结果肯定为0由原来的并发执行变成串行牺牲了执行效率保证了数据安全不加锁则结果可能为99 四 GIL与多线程
有了GIL的存在同一时刻同一进程中只有一个线程被执行
问题进程可以利用多核但是开销大而Python的多线程开销小但却无法利用多核优势也就是说Python没用了PHP才是最牛B的语言
要解决这个问题我们需要在几个点上达成一致 1 2 3 4 5 1、CPU到底是用来做计算的还是用来做I/O的 2、多CPU意味着可以有多个核并行完成计算所以多核提升的是计算性能 3、每个CPU一旦遇到I/O阻塞仍然需要等待所以多核对I/O操作没什么用处 一个工人相当于CPU此时计算相当于工人在干活I/O阻塞相当于为工人干活提供所需原材料的过程工人干活的过程中如果没有原材料了则工人干活的过程需要停止直到原材料的到来
如果你的工厂的大多数任务需要有准备原材料的过程I/O密集型那么你有再多的工人意义也不大还不如一个人在等材料的过程中让工人去干别的活
反过来讲如果你的工厂原材料都齐全那当然是工人越多效率越高
结论 1 2 3 1、对计算来说CPU越多越好但是对于I/O来说再多的CPU也没用 2、当然对运行一个程序来说随着CPU的增多执行效率肯定会有所提高不管提高幅度多大总会有所提高这是因为一个程序基本上不会是纯计算或者纯I/O所以我们只能相对的去看一个程序到底是计算密集型还是I/O密集型从而进一步分享Python的多线程到底有无用武之地
假设我们有四个任务需要处理处理方式肯定是要玩出并发的效果解决方案可以是 1 2 3 方案一开启四个进程 方案二一个进程下开启四个线程 单核情况下分析结果 1 2 如果四个任务是计算密集型没有多核来并行计算方案一徒增了创建进程的开销方案二胜 如果四个任务是I/O密集型再多的核也解决不了I/O问题方案二胜
多核情况下分析结果1 2 如果四个任务是计算密集型多核意味着并行计算在Python中一个进程中同一时刻只有一个线程执行用不上多核方案一胜 如果四个任务是I/O密集型再多的核也解决不了I/O问题方案二胜
结论 现在计算机基本上都是多核Python对于计算密集型的任务开多个线程的效率并不能带来多大性能上的提升甚者不如串行没有大量切换但是对于I/O密集型的任务效率还是有显著提升的 五 多线程性能测试
如果并发的多个任务是计算 密集型多进程效率高 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 from multiprocessing import Process from threading import Thread import os,time def work(): res 0 for i in range(10000): res * i if __name__ __main__: l [] print(os.cpu_count()) start time.time() for i in range(4): p Process(targetwork) p Thread(targetwork) l.append(p) p.start() for p in l: p.join() stop time.time() print(运行时间: %s % (stop-start)) 如果并发的多个任务是I/O密集型多线程效率高 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 from threading import Thread import threading import os,time def work(): time.sleep(2) print() if __name__ __main__: l [] print(os.cpu_count()) start time.time() for i in range(400): #p Process(targetwork) p Thread(targetwork) # 耗时2秒多 l.append(p) p.start() for p in l: p.join() stop time.time() print(运行时间:%s %(stop-start)) 应用1 2 多线程用于IO密集型如socket爬虫web 多进程用于计算密集型如金融分析
