「Python 中的 GIL 将不复存在,这是人工智能生态系统领域中的巨大胜利。」PyTorch 中心维护者 Dmytro Dzhulgakov 感慨道。
GIL 是什么?GIL 的全称是 Global Interpreter Lock(全局解释器锁),它不是 Python 独有的,而是在实现 CPython(Python 解释器)时引入的一个概念。我们可以将 GIL 理解为一个互斥锁,用来保护 Python 里的对象,防止同一时刻多个线程实行 Python 的字节码,从而确保线程安全。
图源:https://realpython.com/python-gil/
然而,GIL 存在一个弊端,即在同一时刻只能有一个线程在一个 CPU 上实行,无法将多个线程映射到多个 CPU 上,使得 Python 并不能实现真正的多线程并发,从而降低了实行效率。
现在,Python 团队已经正式接受了删除 GIL 的这个提倡,并将其设置为可选形式,可谓是利好广大开发者。
做出这一贡献的是一位来自 Meta 的名叫 Sam Gross 的软件工程师,他花费了四年多的时候才完成这一工程。
在得知这一消息后,大家纷纷叫好,深度学习三巨头之一的 Yann LeCun 发文祝贺:没有了 GIL,现在,Python 代码可以自由的实行多线程了。
「Python 中终于没有 GIL 了!」
「这是一个里程碑式的决定,是编码社区所热切期待的。」
简直细节如何,我们接着看下文。
CPython 中心开发者 Thomas Wouters 撰文描述了 Python 中的无 GIL 细节,并对未来发展做了展望。
非常感谢一切人对无 GIL 提倡的反馈,整体上都持积极的反对态度。指导委员会打算接受无 GIL 提倡,并就以下简直细节与大家分享。
我们的基本设想是:
长期来看(大约 5 年以上),no-GIL 建立应是唯一的建立;
我们希翼非常谨慎地向后兼容。我们不希翼出现另一个 Python 3 的情况,一切适应 no-GIL 建立所需的任何第三方代码改动应只适用于 with-GIL 建立(尽管仍要解决更老 Python 版本的向后兼容性问题)。这不适用于 Python 4。我们仍在考虑对这两个建立的 ABI 兼容性和其他细节的要求,以及对向后兼容性的影响;
在我们承诺完全转向 no-GIL 之前,须要看到社区的反对。我们不能只是改动默许设置,更希翼社区弄清自己须要做什么工作来给予反对。我们中心开发团队须要获得新建立形式及相关一切内容的经验。我们要整理现有代码中的线程安全性,因而须要弄明白新的 C API 和 Python API。我们在获得这些洞见时还须要传达给 Python 社区的其他人,并确保自身想要做出的改动以及希翼他们做出的改动是可取的;
在我们默许 no-GIL 设置之前的任何时候,如果事实证明了,它的破坏性太大导致收益太少,我们希翼能够改变主意。这也就意味着我们会回滚一切工作,因此在我们确定要将 no-GIL 设为默许办法之前,特定于 no-GIL 的代码在某种程度上应是可识别的。
目前,我们认为未来的道路分为以下三个阶段:
短期内,我们会将 no-GIL 建立作为一种实验性建立形式,大概是在 3.13 版本(也有可能推迟到 3.14 版本)。之所以是实验性的,是因为我们中心开发团队虽然反对这一建立形式,但不期望整个社区都会反对它。我们须要时候弄清自己要做什么,至少在 API 设计以及打包和分发方面,从而得到社区的反对。我们也不鼓励 distributor 将实验性 no-GIL 建立作为默许解释器发布。
中期来看,在我们确信得到足够的社区反对并使 no-GIL 的生产使用可行后,我们将反对 no-GIL 建立,但不是默许办法,而是在某个目标日期或某个 Python 版本中使它成为默许办法。简直的时候将取决于很多因素,比如 API 改动最终兼容性如何、社区认为他们仍然须要做多少工作等。我们预计这至少须要一至两年的时候。一旦我们宣布反对,预计将有一些 distributor 会开始默许发布 no-GIL。
长期来看,我们希翼 no-GIL 成为默许办法,并删除 GIL 的一切痕迹(但不会不必要地破坏向后兼容性)。我们不希翼等待太长时候,毕竟两种常用的建立形式同时存在会给社区造成很大的负担(比如须要双倍测试资源和 debug 场景)。但是我们也不能急于求成。我们认为这一过程将须要花费五年的时候。
当然在整个过程中,我们整个开发团队将须要实时评估进程并对时候线进行调整。
评论区的小伙伴们,你们对 GIL 成为可选是什么看法呢?
参考链接:
https://discuss.python.org/t/a-steering-council-notice-about-pep-703-making-the-global-interpreter-lock-optional-in-cpython/30474
GIL in Python will be no more. Huge win for AI ecosystem. Congrats to @colesbury – it took 4+ years of amazing engineering and advocacy.
Many parts of @PyTorch could become simpler: DataLoader, Multi-gpu support (DDP), Python deployment (torch::deploy), …
Here’s why. 🧵 https://t.co/Sb7qi4YIEA
— Dmytro Dzhulgakov (@dzhulgakov) July 30, 2023