2021/03/06 21:41

魔王编辑

PyTorch 1.8发布，支持AMD GPU和Python函数转换

近日，PyTorch 团队发布了 PyTorch 1.8 版本。该版本整合了自去年 10 月 1.7 版本发布以来的 3000 多次 commit，提供了编译、代码优化、科学计算前端 API 方面的主要更新和新特性。值得一提的是，该版本新增了对 AMD ROCm 的支持。

此外，PyTorch 1.8 版本还为大规模训练 pipeline 和模型并行化、梯度压缩提供了特性改进。该版本的主要亮点如下：

支持 Python 函数转换；
添加或稳定化 API，以支持 FFT (torch.fft)、线性代数函数 (torch.linalg)；
添加对复杂张量 autograd 的支持；
多项更新用于提升 Hessian 与 Jacobian 矩阵计算的性能；
改进分布式训练，包括提升 NCCL 可靠性、支持 pipeline 并行化、RPC profiling，以及通过添加梯度压缩来支持通信钩子（hook）。

（注：从 PyTorch 1.6 版本开始，PyTorch 特性分为 Stable（稳定版）、Beta（测试版）和 Prototype（原型版）。

此外，PyTorch 团队还对多个 PyTorch 库进行了主要更新，包括 TorchCSPRNG、TorchVision、TorchText 和 TorchAudio。

新增和更新 API

通过 torch.fft 支持 NumPy 兼容的 FFT 操作

PyTorch 1.7 版本提出了这一特性的 Beta 版，而在 1.8 版本中该特性更新为稳定版。FFT 支持旨在完成 PyTorch 支持科学计算的目的。torch.fft 模块和 NumPy 的 np.fft 模块实现了同样的功能，并且支持硬件加速和 autograd。

通过 torch.linalg 支持 NumPy 式的线性代数函数

torch.linalg 模块类似于 NumPy 中的 np.linalg 模块，支持 NumPy 式的线性代数操作，包括 Cholesky 分解、行列式、特征值等。

使用 torch.fx 进行 Python 代码转换

这一 Beta 特性支持 Python 代码转换，开发者可以利用它做 Conv/BN 融合、图模式量化、实现 vmap 等。鉴于 torch.fx 提供 PyTorch 代码的图表示，开发者可以用 Python 写任意变换或分析。

分布式训练

pipeline 并行化

这一新增的 Beta 特性提供了一个易用的 PyTorch API，可将 pipeline 并行化作为训练 loop 的一部分。

DDP 通信钩子

DDP 通信钩子是一个通用接口，用于控制 workers 间的梯度通信。

此外，PyTorch 1.8 还增加了一些 prototype 特性：

ZeroRedundancyOptimizer：有助于减少每个线程的内存占用；
Process Group NCCL Send/Recv：该特性允许用户在 Python 层（而非 C++ 层）实现集合操作；
CUDA-support in RPC using TensorPipe：该特性为使用 PyTorch RPC 和多 GPU 机器的用户带来速度提升；
Remote Module：该特性允许用户像操作本地模块那样操作远程 worker 上的模块。

支持 PyTorch Mobile

此次版本更新发布了一组新的移动端教程，包括在 iOS 端和安卓端实现图像分割 DeepLabV3 模型。PyTorch 还发布了新的 demo app，包括图像分割、目标检测、神经机器翻译、问答和视觉 transformer。

此外，这次发布还包括 PyTorch Mobile Lite Interpreter，该解释器可降低运行时二进制文件大小。

性能优化

为了帮助用户更好地监控性能变化，PyTorch 1.8 版本支持 benchmark utils，并开放了新的自动量化 API——FX Graph Mode Quantization。

硬件支持

在硬件支持方面，PyTorch 1.8 版本新增了两个 Beta 特性：

扩展 PyTorch Dispatcher，使之适应新型 C++ 后端；

支持 AMD ROCm。

需要注意的是，PyTorch 1.8 仅在 Linux 系统中支持 AMD ROCm。

参考链接：

https://pytorch.org/blog/pytorch-1.8-released/

https://github.com/pytorch/pytorch

https://pytorch.org/

https://twitter.com/cHHillee/status/1367621538791317504

工程PyTorch

相关数据

图像分割技术

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。从数学角度来看，图像分割是将数字图像划分成互不相交的区域的过程。图像分割的过程也是一个标记过程，即把属于同一区域的像索赋予相同的编号。

来源：百度百科

神经机器翻译技术

2013 年，Nal Kalchbrenner 和 Phil Blunsom 提出了一种用于机器翻译的新型端到端编码器-解码器结构 [4]。该模型可以使用卷积神经网络（CNN）将给定的一段源文本编码成一个连续的向量，然后再使用循环神经网络（RNN）作为解码器将该状态向量转换成目标语言。他们的研究成果可以说是神经机器翻译（NMT）的诞生；神经机器翻译是一种使用深度学习神经网络获取自然语言之间的映射关系的方法。NMT 的非线性映射不同于线性的 SMT 模型，而且是使用了连接编码器和解码器的状态向量来描述语义的等价关系。此外，RNN 应该还能得到无限长句子背后的信息，从而解决所谓的「长距离重新排序（long distance reordering）」问题。

来源：机器之心

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

线性代数技术

线性代数是数学的一个分支，它的研究对象是向量，向量空间（或称线性空间），线性变换和有限维的线性方程组。向量空间是现代数学的一个重要课题；因而，线性代数被广泛地应用于抽象代数和泛函分析中；通过解析几何，线性代数得以被具体表示。线性代数的理论已被泛化为算子理论。由于科学研究中的非线性模型通常可以被近似为线性模型，使得线性代数被广泛地应用于自然科学和社会科学中。

来源：百度百科

动量技术

优化器的一种，是模拟物理里动量的概念，其在相关方向可以加速SGD，抑制振荡，从而加快收敛

来源：An overview of gradient descent optimization algorithms

Audi机构

奥迪是一间德国跨国豪华汽车制造商，主要从事豪华和高性能汽车制造业。总部位于德国巴伐利亚州的英戈尔施塔特。是大众集团的成员。奥迪与德国品牌宝马和梅赛德斯-奔驰一起，是世界上最畅销的豪华汽车品牌之一。

http://www.audi.com/

目标检测技术

一般目标检测（generic object detection）的目标是根据大量预定义的类别在自然图像中确定目标实例的位置，这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法，并已经为一般目标检测领域带来了显著的突破性进展。

来源：机器之心

AMD机构

超威半导体（中国）有限公司专门为计算机、通信和消费电子行业设计和制造各种创新的微处理器（CPU、GPU、主板芯片组、电视卡芯片等)，以及提供闪存和低功率处理器解决方案，公司成立于1969年。AMD致力为技术用户——从企业、政府机构到个人消费者——提供基于标准的、以客户为中心的解决方案。