python下同样代码，多核多线程为什么比单核多线程慢很多？-Python教程-PHP中文网

python下同样代码，多核多线程为什么比单核多线程慢很多？

php中文网

发布： 2016-06-06 16:24:30

原创

2973人浏览过

有一个疑问：python的多线程性能问题，本来以为是GIL的竞争导致的多线程下特别慢。但是在单cpu上的多线程性能下降并不明显，但是同样的代码到了多核上之后，性能下降特别明显。那么在多核下的多线程性能明显下降的原因是cpu的频繁切换导致的么？主要问题应该是：【多CPU之间的频繁切换会有消耗么？】
【备注】：已经明白了为什么需要GIL以及GIL导致的同一时间只能执行一个线程。想问的问题是python在多cpu之间的执行细节。

回复内容：

python 由于有全局解释器锁，线程不支持多cpu。如果想支持多cpu，请用多进程。

Python的GIL

CPython的线程是操作系统的原生线程。在Linux上为pthread，在Windows上为Win thread，完全由操作系统调度线程的执行。一个python解释器进程内有一条主线程，以及多条用户程序的执行线程。即使在多核CPU平台上，由于GIL的存在，所以禁止多线程的并行执行。
Python解释器进程内的多线程是合作多任务方式执行。当一个线程遇到I/O任务时，将释放GIL。计算密集型（CPU-bound）的线程在执行大约100次解释器的计步（ticks）时，将释放GIL。计步（ticks）可粗略看作Python虚拟机的指令。计步实际上与时间片长度无关。可以通过sys.setcheckinterval()设置计步长度。
在单核CPU上，数百次的间隔检查才会导致一次线程切换。在多核CPU上，存在严重的线程颠簸（thrashing）。
Python 3.2开始使用新的GIL。在新的GIL实现中，用一个固定的超时时间来指示当前的线程放弃全局锁。在当前线程保持这个锁，且其他线程请求这个锁的时候，当前线程就会在5ms后被强制释放掉这个锁。
可以创建独立的进程来实现并行化。Python 2.6引进了multiprocessing这个多进程包。或者把关键部分用C/C++写成 Python 扩展，通过cytpes使Python程序直接调用C语言编译的动态库的导出函数。

最近摸索出一个新办法绕过gil限制：使用python里面的qt库(叫pyqt)，qthread类创建以后，会在下层调用c++的qt库创建线程。python gil的规则是进入其他语言代码编写的库前会释放gil，因此在qthread的run函数(新线程的主函数)里面是另外一个新开的python.exe线程，不受gil限制。自己研究了一下：多核多线程比单核多线程更差，原因是单核下多线程，每次释放GIL，唤醒的那个线程都能获取到GIL锁，所以能够无缝执行，但多核下，CPU0释放GIL后，其他CPU上的线程都会进行竞争，但GIL可能会马上又被CPU0拿到，导致其他几个CPU上被唤醒后的线程会醒着等待直到切换时间结束后又进入待调度状态，导致线程颠簸，降低了系统效率。不知道这样解释对不对。望有人能指正