机器之心原创

2020/09/17 14:44

魔王、杜伟、小舟编辑

15年！NumPy论文终出炉，还登上了Nature

NumPy 团队撰写了一篇综述文章，介绍 NumPy 的发展过程、主要特性和数组编程等。这篇文章现已发表在 Nature 上。

NumPy 是什么？它是大名鼎鼎的使用 Python 进行科学计算的基础软件包，是 Python 生态系统中数据分析、机器学习、科学计算的主力军，极大简化了向量与矩阵的操作处理。除了计算外，它还包括了：

功能强大的 N 维数组对象。
精密广播功能函数。
集成 C/C++ 和 Fortran 代码的工具。
强大的线性代数、傅立叶变换和随机数功能

今日，NumPy 核心开发团队的论文终于在 Nature 上发表，详细介绍了使用 NumPy 的数组编程（Array programming）。这篇综述论文的发表距离 NumPy 诞生已经过去了 15 年。

论文地址：https://www.nature.com/articles/s41586-020-2649-2

NumPy 官方团队在 Twitter 上简要概括了这篇论文的核心内容：

NumPy 为数组编程提供了简明易懂、表达力强的高级 API，同时还考虑了维持快速运算的底层机制。

NumPy 提供的数组编程基础和生态系统中的大量工具结合，形成了适合探索性数据分析的完美交互环境。NumPy 还包括增强与 PyTorch、Dask 和 JAX 等外部库互操作性的协议。

基于这些特性，NumPy 为张量计算提供了标准的 API，成为 Python 中不同数组技术之间的核心协调机制。

接下来，我们来看这篇 NumPy 综述论文的详细内容。

论文摘要

数组编程为访问、操纵和计算向量、矩阵和高维数组中的数据提供了功能强大、紧凑且表达力强的语法。NumPy 是 Python 语言的主要数组编程库，它在物理、化学、天文学、地球科学、生物学、心理学、材料科学、工程学、金融和经济学等领域的研究分析中都起着至关重要的作用。例如，在天文学中，NumPy 是发现引力波和黑洞首次成像的软件栈中的重要部分。

这篇论文回顾了一些基本的数组概念，以及它们如何形成一种简单而强大的编程范式，使其能够用于组织、探索和分析科学数据。NumPy 是构建科学 Python 生态系统的基础。它的应用十分普遍，一些面向特殊需求受众的项目已经开发出自己的类 NumPy 接口和数组对象。

由于其在 Python 生态系统中的核心地位，NumPy 越来越多地充当数组计算库之间的互操作层，并且和其 API 一起提供了灵活的框架，以支持未来十年的科学和工业分析。

NumPy 的演变史

在 NumPy 之前，已经出现了两个 Python 数组包。Numeric 包开发于 20 世纪 90 年代中期，它提供了 Python 中的数组对象和 array-aware 函数。Numeric 是用 C 语言写的，并链接到线性代数的标准快速实现。其最早的应用之一是美国劳伦斯利弗莫尔国家实验室的惯性约束核聚变研究。

为了处理来自哈勃太空望远镜的大型天文图像，Numeric 被重实现为 Numarray，它添加了对结构化数组、灵活 indexing、内存映射、字节序变体、更高效的内存使用以及更好的类型转换规则的支持。

尽管 Numarray 与 Numeric 高度兼容，但这两个包之间的差异足以将社区开发者分为两类。而 2005 年，NumPy 的出现完美地统一了这两个包，它将 Numarray 的功能和 Numeric 的 small-array 性能及其丰富的 C API 结合起来。

如今，15 年过去了，NumPy 几乎支持所有进行科学和数值计算的 Python 库（包括 SciPy、Matplotlib、pandas、scikit-learn 和 scikit-image）。NumPy 是一个社区开发的开源库，它提供了多维 Python 数组对象以及对其进行操作的 array-aware 函数。由于其固有的简洁性，事实上 NumPy 数组已经成为 Python 中数组数据的交换格式。

NumPy 使用 CPU 对内存内（in-memory）数组进行操作。为了利用现代的专用存储和硬件，最近已经扩展出一系列 Python 数组包。与 Numarray–Numeric 之间存在较大差异的情况不同，现在的这些新库很难在社区开发者中引起分歧，因为它们都是建立在 NumPy 之上的。但是，为了使社区能够使用新的探索性技术，NumPy 正在过渡为核心协调机制，该机制规划了良好定义的数组编程 API，并在合适的时候将其分发给专门的数组实现。

NumPy 数组

NumPy 数组是一种能够高效存储和访问多维数组的数据结构，支持广泛类型的科学计算。NumPy 数组包括指针和用于解释存储数据的元数据，即 data type（数据类型）、shape（形状）和 strides（步幅），参见下图 1a。

图 1：NumPy 数组包括多种基础数组概念。

数据类型描述了数组中存储元素的本质。一个数组只有一个数据类型，数组中的每个元素在内存中占用的字节数是一样的。数据类型包括实数、复数、字符串、timestamp 和指针等。

数组的形状决定了每个轴上的元素数量，轴的数量即为数组的维数。例如，数字向量可存储为形状为 N 的一维数组，而彩色视频是形状为 (T, M, N, 3) 的四维数组。

步幅是解释计算机内存的必要组件，它可以线性地存储元素。步幅描述了在内存中逐行逐列移动时所需的字节数。例如，形状为 (4, 3) 的二维浮点数数组，它其中的每个元素均在内存中占用 8 个字节数。要想在连续列之间移动，我们需要在内存中前进 8 个字节数，要想到达下一行，则需要前进 3 × 8 = 24 个字节数。因此该数组的步幅为 (24, 8)。NumPy 可以用 C 或 Fortran 的内存顺序存储数组，沿着行或列遍历。这使得使用这些语言写的外部库可以直接访问内存中的 NumPy 数组数据。

用户使用「indexing」（访问子数组或单个元素）、「operators」（各种运算符）和「array-aware function」与 NumPy 数组进行交互。它们为 NumPy 数组编程提供了简明易懂、表达力强的高级 API，同时还考虑了维持快速运算的底层机制。

对数组执行 indexing 将返回单个元素、子数组或满足特定条件的元素（参见上图 1b）。数组甚至还可以用其他数组进行 indexing（参加图 1c）。返回子数组的 indexing 还可以返回原始数组的「view」，以便在两个数组之间共享数据。这就为内存有限的情况下基于数组数据子集进行运算提供了一种强大的方式。

为了补充数组语法，NumPy 还包括对数组执行向量化计算的函数，包括 arithmetic、statistics 和 trigonometry（参见图 1d）。向量化计算基于整个数组运行而不是其中的单个元素，这对于数组编程而言是必要的。这意味着，在 C 等语言中需要几十行才能表达的运算在这里只需一个清晰的 Python 表达式即可实现。这就带来了简洁的代码，并使得用户不必关注分析细节，同时 NumPy 以接近最优的方式循环遍历数组元素。

对两个形状相同的数组执行向量化计算（如加法）时，接下来会发生什么是很明确的。而「broadcasting」机制允许 NumPy 处理维度不同的数组之间的运算，例如向数组添加一个标量值。broadcasting 还能泛化至更复杂的示例，如缩放数组的每一列或生成坐标网格。在 broadcasting 中，单个或两个数组可以重叠（没有从内存中复制任何数据），使得 operands 的形状匹配（参见图 1d）。

其他 array-aware function（如加、求平均值、求最大值）都是执行逐元素的「reduction」，累积单个数组的一个、多个或所有轴上的结果。例如，将一个 n 维数组与 d 个轴进行累加，得到维度为 n − d 的数组（参见图 1f）。

NumPy 还包含可以创建、reshaping、concatenating 和 padding 数组，执行数据排序和计数，读取和写入文件的 array-aware function。这为生成伪随机数提供了大量支持，它还可以使用 OpenBLAS 或 Intel MKL 等后端执行加速线性代数。

总之，内存内的数组表示、紧密贴近数学的语法和多种 array-aware function 共同构成了生产力强、表达力强的数组编程语言。

科学 Python 生态系统

Python 是一个开源、通用的解释型编程语言，非常适合数据清洗、与 web 资源交互和解析文本之类的标准编程任务。添加快速数组操作和线性代数能够让科学家在一种编程语言中完成所有的工作。

尽管 NumPy 不是 Python 标准库的一部分，但它也从与 Python 开发者的良好关系中受益。在过去这些年中，Python 语言已经加入了一些新的功能和特殊的语法，以便 NumPy 具备更加简洁和易于阅读的数组表示法。但是，由于 NumPy 不是 Python 标准库的一部分，所以它能够规定自己的发布策略和开发模式。

从发展史、开发和应用的角度来看，SciPy 和 Matplotlib 与 NumPy 联系紧密。SciPy 为科学计算提供了基础算法，包括数学、科学和工程程序。Matplotlib 生成可发表品质的图表和可视化文件。NumPy、SciPy 和 Matplotlib 的结合，再加上 IPython、Jupyter 这类高级交互环境，为 Python 中的数组编程提供了坚实的基础。

如图 2 所示，科学 Python 生态系统建立在上述基础之上，它提供了多种广泛应用的专有技术库，而这又是众多领域特定项目的基础。NumPy 是这一 array-aware 库生态系统的基础，它设置了文档标准、提供了数组测试基础结构，并增加了对 Fortran 等编译器的构建支持。

图 2：NumPy 是科学 Python 生态系统的基础。

很多研究团队设计出大型、复杂的科学库，这些库为 Python 生态系统增添了特定于具体应用的功能。例如，由事件视界望远镜（Event Horizon Telescope, EHT）合作项目开发的 eht-imaging 库依赖科学 Python 生态系统的很多低级组件。而 EHT 合作项目利用该库捕获了黑洞的首张图像。

在 eht-imaging 库中，NumPy 数组在流程链的每一步存储和操纵数值数据。

基于数组编程创建的交互式环境及其周边的工具生态系统（IPython 或 Jupyter 内部）完美适用于探索性数据分析。用户可以流畅地检查、操纵和可视化他们的数据，并快速迭代以改善编程语句。然后，将这些语句拼接入命令式或函数式程序，或包含计算和叙述的 notebook。

超出探索性研究的科学计算通常在文本编辑器或 Spyder 等集成开发环境（IDE）中完成。这一丰富和高产的环境使 Python 在科学研究界流行开来。

为了给探索性研究和快速原型提供补充支持，NumPy 形成了使用经过时间检验的软件工程实践来提升协作、减少误差的文化。这种文化不仅获得了项目领导者的采纳，而且还被传授给初学者。NumPy 团队很早就采用分布式版本控制和代码审查机制来改善代码协同，并使用持续测试对 NumPy 的每个提议更改运行大量自动化测试。

这种使用最佳实践来制作可信赖科学软件的文化已经被基于 NumPy 构建的生态系统所采用。例如，在近期英国皇家天文学会授予 Astropy 的一项奖项中表示：「Astropy 项目为数百名初级科学家提供了专业水平的软件开发实践，包括版本控制使用、单元测试、代码审查和问题追踪程序等。这对于现代研究人员而言是一项重要的技能组合，但物理或天文学专业的正规大学教育却常常忽略这一点。」社区成员通过课程和研讨会来弥补正规教育中的这一缺失。

近来数据科学、机器学习和人工智能的快速发展进一步大幅提升了 Python 的科学使用。Python 的重要应用，如 eht-imaging 库，现已存在于自然和社会科学的几乎每个学科之中。这些工具已经成为很多领域主要的软件环境。大学课程、新手培训营和暑期班通常教授 NumPy 及其生态系统，它们也成为世界各地社区会议和研讨会的焦点。NumPy 和它的 API 已经无处不在了。

数组激增和互操作性

NumPy 在 CPU 上提供了内存内、多维和均匀键入（即单一指向和跨步的）的数组。NumPy 可以在嵌入式设备和世界上最大的超级计算机等机器上运行，其性能接近编译语言。在大多数情况下，NumPy 解决了绝大部分的数组计算用例。

但是现在，科学数据集通常超出单个机器的存储容量，并且可以在多个机器或云上存储。此外，近来深度学习和人工智能应用的加速需求已经促生了专用加速器硬件，包括 GPU、TPU 和 FPGA。目前，由于 NumPy 具有的内存内数据模型，它无法直接使用这类存储和专用硬件。

然而，GPU、TPU 和 FPGA 的分布式数据和并行执行能够很好地映射到数组编程范式，所以可用的现代硬件架构与利用它们的计算能力所必需的工具之间存在着差距。

社区为弥补这一差距做出的努力使得新的数组实现激增。例如，每个深度学习框架都创建了自己的数组。PyTorch、TensorFlow、Apache MXNet 和 JAX 数组都有能力以分布式方式在 CPU 和 GPU 上运行，其中使用惰性计算（lazy evaluation）实现额外性能优化。SciPy 和 PyData/Sparse 都提供有稀疏数组，这些数组通常包含很少的非零值，并只在内存中存储以提升效率。

此外，还有一些项目在 NumPy 数组上构建作为数据容器，并扩展相应功能。Dask 通过这种方式使分布式数组成为可能，而标记数组是通过 xarray 实现的。

这类库常常模仿 NumPy API，以降低初学者准入门槛，并为更广泛的社区提供稳定的数组编程接口。这反过来也会阻止一些破坏性分立（disruptive schism），如 Numeric 和 Numarray 之间的差异。

但是探索使用数组的新方法从本质上讲是试验性的，事实上，Theano 和 Caffe 等一些有前途的库已经停止了开发。每当用户决定尝试一项新技术时，他们必须更改 import 语句，并确保新库能够实现他们当前使用的所有 NumPy API 部件。

在理想状态下，用户可以通过 NumPy 函数或语义在专用数组上进行操作，这样他们可以编写一次代码，然后从 NumPy 数组、GPU 数组、分布式数组以及其他数组之间的切换中获益。为了支持外部数组对象之间的数组操作，NumPy 增加了一项充当核心协调机制的功能，并提供指定的 API，具体如上图 2 所示。

为了促进这种互操作性，NumPy 提供了允许专用数组传递给 NumPy 函数的「协议」，具体如下图 3 所示。反过来，NumPy 根据需要将操作分派给原始库。超过 400 个最流行的 NumPy 函数得到了支持。该协议通过 Dask、CuPy、xarray 和 PyData/Sparse 等广泛使用的库来实现。

得益于这些进展，用户现在可以使用 Dask 将自己的计算从单个机器扩展至多个系统。该协议允许用户通过 Dask 数组中嵌入的 CuPy 数组等，在分布式多 GPU 系统上大规模地重新部署 NumPy 代码。

使用 NumPy 的高级 API，用户可以在具有数百万个核的多系统上利用高度并行化的代码执行，并且需要的代码更改最少。

如下图 3 所示，NumPy 的 API 和数组协议向生态系统提供了新的数组：

现在，这些数组协议是 NumPy 的主要特征，它们的重要性预计也会越来越大。NumPy 开发者（很多也是这篇文章的作者）迭代地改善和增加协议设计，以改进实用性和简化应用方式。

论文最后对 NumPy 的现状和未来进行了总结和展望：

在未来十年中，NumPy 开发者将面临多项挑战。新设备将出现，现有的专用硬件将面临摩尔定律的收益递减，数据科学从业者将越来越多，类型也更加广泛。而他们中的大部分将使用 NumPy。

随着光片显微镜和大型综合巡天望远镜（LSST）等设备和仪器的采用，科学数据的规模将持续扩大。新一代语言、解释器和编译器，如 Rust、Julia 和 LLVM，将创造出新的概念和数据结构。

理论NumpyNature数据分析

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

数据分析技术

数据分析是一类统计方法，其主要特点是多维性和描述性。有些几何方法有助于揭示不同的数据之间存在的关系，并绘制出统计信息图，以更简洁的解释这些数据中包含的主要信息。其他一些用于收集数据，以便弄清哪些是同质的，从而更好地了解数据。数据分析可以处理大量数据，并确定这些数据最有用的部分。

来源：维基百科

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

Julia技术

Julia 是MIT设计的一个面向科学计算的高性能动态高级程序设计语言，项目大约于2009年中开始，2018年8月JuliaCon2018 发布会上发布Julia 1.0。据介绍，Julia 目前下载量已经达到了 200 万次，且 Julia 社区开发了超过 1900 多个扩展包。这些扩展包包含各种各样的数学库、数学运算工具和用于通用计算的库。除此之外，Julia 语言还可以轻松使用 Python、R、C/C++ 和 Java 中的库，这极大地扩展了 Julia 语言的使用范围。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

数据科学技术

数据科学，又称资料科学，是一门利用数据学习知识的学科，其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

来源：维基百科

规划技术

人工智能领域的「规划」通常是指智能体执行的任务/动作的自动规划和调度，其目的是进行资源的优化。常见的规划方法包括经典规划（Classical Planning）、分层任务网络（HTN）和 logistics 规划。

来源：机器之心

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

MXNet技术

MXNet是开源的，用来训练部署深层神经网络的深度学习框架。它是可扩展的,允许快速模型训练,并灵活支持多种语言（C ++，Python，Julia，Matlab，JavaScript, Go，R，Scala，Perl，Wolfram语言）

来源：Wikipedia

摩尔定律技术

摩尔定律是由英特尔创始人之一戈登·摩尔提出来的。其内容为：积体电路上可容纳的电晶体数目，约每隔两年便会增加一倍；经常被引用的“18个月”，是由英特尔首席执行官大卫·豪斯所说：预计18个月会将芯片的性能提高一倍。

来源：维基百科

线性代数技术

线性代数是数学的一个分支，它的研究对象是向量，向量空间（或称线性空间），线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题；因而，线性代数被广泛地应用于抽象代数和泛函分析中；通过解析几何，线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型，使得线性代数被广泛地应用于自然科学和社会科学中。

来源：百度百科

Jupyter技术

Jupyter Notebook（此前被称为 IPython notebook）是一个交互式笔记本，支持运行 40 多种编程语言。 Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等。

来源：百度百科

量化技术

深度学习中的量化是指，用低位宽数字的神经网络近似使用了浮点数的神经网络的过程。

来源：Medium