腾讯云网站制作教程,网站开发专业职称有哪些,源码网站代理,网站做简介大家好#xff0c;在实际研究中#xff0c;即使是具有多个CPU核心的单处理器计算机#xff0c;也会给人一种能够同时运行多个任务的错觉。当我们拥有多个处理器时#xff0c;就可以真正以并行的方式执行计算#xff0c;本文将简要介绍Python分布式计算。
1.并行计算与分布…大家好在实际研究中即使是具有多个CPU核心的单处理器计算机也会给人一种能够同时运行多个任务的错觉。当我们拥有多个处理器时就可以真正以并行的方式执行计算本文将简要介绍Python分布式计算。
1.并行计算与分布式计算的区别
并行计算在现代计算中非常有用几乎是必需的目的是实现最大性能。开发者将运行时间较长的计算任务分成较小的块并将其分配给不同的处理器这种策略使开发者能够在相同的时间内进行更多的计算。对于构建基于GUI的应用程序总是需要对系统进行并行设计以便一个线程可以保持可用状态以更新GUI并响应用户输入。
并行计算和分布式计算的区别在于对于并行计算多个处理器位于同一主板上。分布式计算则使用多台计算机同时解决问题现代分布式系统能够在网络局域网/广域网上进行通信。分布式计算的优点在于其价格和可扩展性如果开发者需要更多的计算能力那么可以很轻松地添加更多的计算机。
从根本上讲并行计算和分布式计算的架构非常相似主要区别在于分布式计算使用的是分布式内存空间而不是共享内存空间。它具有能够为开发者的应用程序提供统一逻辑而不是物理内存空间的软件层可以帮助开发者将为并行计算编写的代码应用于分布式计算。下面将介绍如何使用开源Python库Ray来帮助开发者进行并行和分布式计算Ray将Pythonic函数和类转换为分布式设置中的任务和角色。
2.使用pip安装Ray
这将安装支持仪表板集群启动器的Ray
pip install ray[default]如果只想进行最小化安装
pip install -U ray
3.使用Ray进行并行计算任务
接下来执行一个示例该示例使用concurrent.futures并将其与使用ray执行相同任务的运行进行比较。
import time
import concurrent.futuresStime time.perf_counter()
tasks []
sleepTimes [0.1, 0.2, 0.1, 0.5, 0.7, 0.9, 0.5,0.4, 1.5, 1.3, 1.0, 0.3, 0.7, 0.6, 0.3, 0.8]
print(fTotal time of sleep: {sum(sleepTimes)} for {len(sleepTimes)} tasks)def my_awesome_function(sleepTime0.1):time.sleep(sleepTime)return fSleep time {sleepTime}all_results []
with concurrent.futures.ProcessPoolExecutor() as executor:tasks [executor.submit(my_awesome_function, sleep)for sleep in sleepTimes]for ff in concurrent.futures.as_completed(tasks):all_results.append(ff.result())print(fFinished in {time.perf_counter()-Stime:.2f})这将返回
$ python test_ray.py
Total time of sleep: 9.9 for 16 tasks
Finished in 1.65这项工作在顺序执行时需要9.9秒完成由于本文执行的是并行执行因此在示例中只用了1.65秒就完成了这项工作。请注意这个时间可能因为不同的计算机而有所不同。
现在使用Ray来完成同样的工作。本文首先使用ray.init()初始化Ray然后装饰器ray.remote将Python函数转换为可以异步远程执行的函数。它会立即返回N个可以并行执行的函数副本。
import time
import rayimport concurrent.futuresStime time.perf_counter()
tasks []
sleepTimes [0.1, 0.2, 0.1, 0.5, 0.7, 0.9, 0.5,0.4, 1.5, 1.3, 1.0, 0.3, 0.7, 0.6, 0.3, 0.8]
print(fTotal time of sleep: {sum(sleepTimes)} for {len(sleepTimes)} tasks)# 初始化Ray。
ray.init()ray.remote #convert to a function that can be executed remotely and asynchronously
def my_awesome_function(sleepTime0.1):time.sleep(sleepTime)return fSleep time {sleepTime}tasks []
for sleep in sleepTimes:tasks.append(my_awesome_function.remote(sleep))all_results ray.get(tasks)
print(fFinished in {time.perf_counter()-Stime:.2f})这将返回
Total time of sleep: 9.9 for 16 tasks
Finished in 3.18由于存在开销导致一点延迟但对于大型计算来说这种延迟可以忽略不计。
4.大规模计算的聚合值
Ray可以轻松地用于聚合多个值这对于构建需要跨多台机器进行计算的大型应用程序非常重要。对于大规模计算Ray可以将聚合的运行时间从线性改为对数。
接下来看一个示例
import time
import ray
import numpy as npStime time.perf_counter()ray.remote
def create_matrix(size):return np.random.normal(sizesize)ray.remote
def multiply_matrices(x, y):return np.dot(x, y)ray.remote
def sum_matrices(x, y):return np.add(x, y)m1 create_matrix.remote([1000, 1000])
m2 create_matrix.remote([1000, 1000])
m3 create_matrix.remote([1000, 1000])
m4 create_matrix.remote([1000, 1000])m12 multiply_matrices.remote(m1, m2)
m34 multiply_matrices.remote(m3, m4)a12_34 sum_matrices.remote(m12, m34)## 结果
MM ray.get(a12_34)print(fFinished in {time.perf_counter()-Stime:.2f})在上面的示例中本文首先创建了四个矩阵将它们分为两组对每组中的矩阵进行乘法运算然后对每组的乘法结果进行求和。在这里乘法运算是并行进行的然后将结果聚合以获得求和结果。
