重庆网站建设快速建站,网页制作培训上海,百度网站做pc自适应,网站建站建设公司原标题#xff1a;【Nature文章摘录】NumPy: 从单机到分布式并行计算点击上图#xff0c;查看详情本公众号的推送以互联网大数据技术为主#xff0c;是《互联网大数据处理技术与应用》《Python爬虫大数据采集与挖掘》等课程的配套号。内容涉及 大数据采集、存储、分析挖掘的…原标题【Nature文章摘录】NumPy: 从单机到分布式并行计算点击上图查看详情本公众号的推送以互联网大数据技术为主是《互联网大数据处理技术与应用》《Python爬虫大数据采集与挖掘》等课程的配套号。内容涉及 大数据采集、存储、分析挖掘的模型算法、隐私等技术问题其特色为原创性、技术性。NumPy开发团队在 Nature 上发表了 Review文章(Array programming with NumPy 2020.9.16)详细介绍了使用 NumPy 的数组编程。本文对其中主要内容进行了摘录和翻译主要包括Numpy的基本计算原理和NumPy对分布式并行计算的支持。1、Numpy的基本计算原理数组编程(array programming)为以向量、矩阵和高维数组的方式访问、操作和操作数据提供强大的语法。NumPy是Python语言的主要数组编程库在物理、化学、天文学、心理学、工程、金融和经济等领域的研究分析中发挥着重要作用。本文回顾了一些基本的数组概念以及如何形成一个简单而强大的编程范式来组织、探索和分析科学数据。Numpy的生态NumPy数组是一种能够高效存储和访问多维数组(也称为张量)的数据结构并支持各种科学计算。它能够运行在从嵌入式设备到超级计算机各种设备上性能接近编译语言。基本的概念包括 数据结构、索引(切片)、向量化、广播和规约。2、NumPy对分布式并行计算的支持现在各种大数据集规模都很大超过一台机器的存储容量需要存储在多台机器上或云中。同时由于需要加速深度学习和人工智能应用出现了各种专门的加速器硬件如图形处理单元(GPU)、张量处理单元(TPU)和现场可编程门阵列(FPGA)。由于其内存数据模型NumPy目前无法直接利用此类专用硬件。然而无论是分布式数据还是GPU、TPU、FPGA的并行执行方式都很符合数组编程范式。不管怎样现代硬件体系结构与利用其计算能力所需的工具之间存在差距。目前在缩短这一差距方面所做的努力有,包括 GPU数组、稀疏数组和分布式数组。每个深度学习框架创建了它们自己的数组PyTorch38、Tensorflow39、Apache MXNet40和JAX数组都能够以分布式方式在CPU和GPU上运行使用延迟求值来允许额外的性能优化。SciPy和PyData/Sparse都提供稀疏数组这些数组通常包含很少的非零值为了提高效率它们只存储在内存中。此外还有一些项目如Dask实现了分布式数组。但不管是哪种方式他们通常会为开发人员提供类似于Numpy的数组表示、操作和API以便开发人员能更快地适应。为此为了支持这些外部数组对象之间的数组操作NumPy添加了中央协调机制及其API的功能使得 NumPy数组、GPU数组、分布式数组等之间可以进行切换。这样用户就只需要编写一次代码。为了实现这种互操作性NumPy提供了一种“协议”允许将专门的数组传递给NumPy函数(图)。反过来NumPy根据需要将操作分派到原始库。包括Dask、CuPy、xarray和PyData/Sparse在内的流行库都实现了这些协议。因此用户现在可以使用Dask将他们的计算从单机扩展到分布式系统。通过这些协议也 允许用户在分布式、多GPU系统上大规模地重新部署NumPy代码。使用NumPy的高层API用户可以在具有数百万核的多个系统上利用高度并行的代码执行所有这些操作都只需进行最小的代码更改。【1】《Python爬虫大数据采集与挖掘》(清华大学出版社2020)一书配备教学PPT、案例和代码、讲解视频实践性强是学生非常喜欢的课程是大数据教学和研究必不可少的第一个环节。欢迎选做大数据相关专业的教材。()【2】《互联网大数据处理技术与应用》(清华大学出版社2017)互联网大数据的开放性更好、具备大数据的各种典型特征是学习大数据技术最好的切入点。本书包含了互联网大数据采集、信息提取技术、非结构数据的结构化、大数据语义技术、分析模型算法、大数据隐私保护等。()提供300分钟视频讲解教学大纲、课件、教案、习题答案、程序源码等配套资源。扫码优惠购书凡是在京东购书的用户可以将订单信息和评价发到itbook8163.com将会获取超值大礼包(包括案例源码超多的视频教程数据集等资源)返回搜狐查看更多责任编辑
