设为首页 - 加入收藏
广告 1000x90
您的当前位置:黄大仙救世网www78345 > 解释器 > 正文

尹立博:Python 全局解释器锁与并发 AI 研习社第 59 期猿桌会

来源:未知 编辑:admin 时间:2019-05-12

  原标题:尹立博:Python 全局解释器锁与并发 AI 研习社第 59 期猿桌会 雷锋网 AI

  原标题:尹立博:Python 全局解释器锁与并发 AI 研习社第 59 期猿桌会

  雷锋网 AI 科技评论按:作为排名靠前的最受欢迎和增长最快的编程语言之一,Python 是一种多用途、高级别、面向对象、交互式、解释型和对用户非常友好的编程语言,拥有卓越的可读性和极高的自由度。而为了能利用多核多线程的的优势,同时又要保证线程之间数据完整性和状态同步,Python 官方的、最广泛使用的解释器——CPython 往往会采取最简单的加锁的方式——全局解释器锁(GIL)。

  然而,GIL 的设计有时会显得笨拙低效,并对语言的并发性带来严重限制,但是此时由于内置库和第三方库已经对 GIL 形成了巨大的依赖,想改变 GIL 反而变得困难了。不过实际上,Python 生态系统中存在诸多工具可以解决这一问题。

  近日,在雷锋网 AI 研习社公开课上,毕业于澳大利亚国立大学的尹立博介绍了全局解释器锁(GIL)和提升并发性的不同思路。公开课回放视频网址:?=aitechtalkyinlibo

  尹立博:毕业于西澳大利亚大学和澳大利亚国立大学。现在堪培拉 Seeing Machines 公司担任数据分析师,日常使用 Python 数据工具对大量时序数据进行管理、分析与可视化开发。

  今天要跟大家分享的是 Python 全局解释器锁与并发。我会先介绍一下全局解释器锁 (GIL))的概念和影响;接下来会借助几个案例分析来展示 Python 通过多进程、多线程和异步、分布式计算来达成并发的几种方式;最后会介绍一套分布式计算工具——Dask。

  GIL 的概念用简单的一句话来解释,就是「任一时刻,无论线程多少,单一 CPython 解释器只能执行一条字节码」。这个定义需要注意的点包括:

  第一,GIL 不属于 Python 语言定义,而是 CPython 解释器实现的一部分;

  第三,GIL 并不是 Python 的专利。其他语言也有 GIL,尤其是动态语言,如 Ruby MRI。

  GIL 被加到 CPython 解释器中,是有其原因的。在 1992 年,单 CPU 是合理的假设!多核则是 2005-2006 年前后才普及,此外,GIL 的优势还包括:

  接下来可以进展到去除 GIL。这是很多 Python 用户十分期待的事情,但是短期内是不太可能实现的,它的难点包括:

  Gilectomy:尝试将 GIL 换成若干小锁,然而这种方案严重降低了 Python 的性能。首先,它会使得多线程竞争同一把锁。其次,它在将 GIL 换成若干小锁后,将严重降低缓存的命中率。

  PyPy:实验性分支支持软件事务内存 (STM),不过 STM 目前还是一个相对少见的机制,可解决当前很多问题,但是实现非常困难——尤其在像 Python 这种高度动态的语言当中。

  Starlark:这种方案并非去掉 GIL,而是一门兼容部分 Python 语法,并发执行字节码的新语言。它目前用于 Google Bazel 编译系统,我个人认为这是一个非常有意思的未来趋势。

  既然现在去除 GIL 的方案都有很多弊端,并且短期内我们也无法让 GIL 从 Python 中被去除,我们最常见的解决方案就是避开 GIL,主要通过两种手段实现:

  并发(concurrency):是指多个操作可以在重叠的时间段内进行,例如在第一个时间片内,线程 A 执行,线程 B 阻塞;第二个时间片内,线程 B 等待 I/O,而线程 A 执行;第三个时间片内,线程 A 执行,而线程 B 还在等待 I/O。

  并行(parallelism):是指多个操作在同一时间点上进行。无论在哪个时间片里,两个线程可能同时处于某一状态。例如在第一个时间片内,线程 A 执行,线程 B 执行;第二个时间片内,线程 A 等待 I/O,线程 B 也在等待 I/O ;第三个时间片内,线程 A 执行,而线程 B 也 执行。

  多线程意味着我们在使用并发这种线程模型,而多进程则是在使用并行这一线程模型,其各有利弊:

  多线程并发的优势为:可共享内存空间,方便交换数据;劣势为:会同时写入内存将导致数据损坏。

  多进程并行的优势为:内存空间独立(恰来自其劣势);劣势为:进程间交互需要序列化-通信-反序列化。

  接下来我们将通过一个案例来尝试 Python 并发的几种不同解决方案的案例:

  这就讲到多进程(multiprocessing)这一概念,它的适用场景包括:

  (关于多进程解决方案的案例讲解,请回看视频 00:23:25 处,?=aitechtalkyinlibo)

  之后要讲到多线程 (multithreading),多线程的使用场景包括:

  (关于多线程解决方案的案例讲解,请回看视频 00:33:25 处,?=aitechtalkyinlibo)

  再看一下 Python 多线程编程难点,下面这些难点有些针对 Python,有些是所有多线程共通的难题:

  第一,CPython 的线程切换可能在任意字节码之间发生,而 Python 指令不具有原子性

  接着讲一下异步 (async)。Python 中的异步是一种在单一线程内使用生成器实现的协程,比线程能更高效地组织非阻塞式任务。协程的切换由 Python 解释器内完成。当然,其他语言也有异步编程,比如 Go 语言的 goroutine,以及 Nginx 用 C 实现了异步编程。

  Dask 是一种基于运算图的动态任务调度器,可使用动态调度器扩展 NumPy 和 Pandas。左边这个图就是 Dask 的运算图。

  在 Dask 中,我们更关注的是 Distributed。它是 Dask 在异构集群上的扩展。它的网络结构遵循客户 – 调度器 – 工作节点这样的形式,因此要求所有节点拥有相同的 Python 运行环境。

  最后放上今天这堂课涉及到的内容的演讲,基本都能在 youtube 上进行观看。

本文链接:http://heargear.net/jieshiqi/36.html

相关推荐:

网友评论:

栏目分类

现金彩票 联系QQ:24498872301 邮箱:24498872301@qq.com

Copyright © 2002-2011 DEDECMS. 现金彩票 版权所有 Power by DedeCms

Top