2020/11/19 14:13

你的Mac有了专用版TensorFlow，GPU可用于训练，速度最高提升7倍

你的新 Mac 可能还在路上，但苹果表示，专为 Mac 优化的 TensorFlow 版本已经做好了，训练速度最高提升到原来的 7 倍。

对于开发者、工程师、科研工作者来说，Mac 一直是非常受欢迎的平台，也有人用 Mac 训练神经网络，但训练速度一直是一个令人头疼的问题。

上周，苹果发布了搭载 Arm 架构 M1 芯片的三款新 Mac，于是就有人想问：用它们训练神经网络能快一点吗？

今天，苹果发文表示：我们专门做了一版为 Mac 用户优化的 TensorFlow 2.4 框架，M1 版 Mac 和英特尔版 Mac 都能用。这一举动有望大幅降低模型训练和部署的门槛。

此前，在 Mac 上，TensorFlow 仅支持将 CPU 用于训练，但新的 tensorflow_macos 分支利用苹果的 ML Compute，能让 GPU 也被利用起来。苹果在博客中介绍说：「我们使用了更高级别的优化方法，比如熔合层，选择合适的设备类型，将图作为原语编译、执行并由 CPU 上的 BNNS 和 GPU 上的 Metal Performance Shader 加速。」

ML Compute 是苹果公司今年推出的新框架，可用于在 Mac 上进行 TensorFlow 模型的训练。现在，无论新的 M1 版 Mac 还是旧的英特尔版 Mac，其 CPU 和 GPU 都能用来加快训练速度。

M1 芯片包含新的 8 核 CPU 和最多 8 核的 GPU，并针对 Mac 的机器学习训练任务进行了优化。下面两张图表分别展示了针对 Mac 优化后的 TensorFlow 2.4 在不同模型训练中的性能提升：

上图展示了使用 ML Compute 分别在搭载 M1 和英特尔芯片的 13 英寸 MacBook Pro 上进行机器学习训练的情况。柱形的高度代表单批次的训练时长。可以看出，优化后的 Mac 版 TensorFlow 2.4 的训练速度得到了明显提升。在换成 M1 版的新 MacBook Pro 之后，提升就更为明显了，训练速度最高提升了 7 倍。

同样使用 ML Compute，在搭载英特尔芯片的 2019 Mac Pro 上进行常见模型的训练，性能提升也相当明显。

TensorFlow 官方表示，用户不需要对现有的 TensorFlow 脚本做任何更改，就可以使用 ML Compute 作为 TensorFlow 和 TensorFlow 插件的后端。

Mac 版 TensorFlow 2.4 的详细入门指南可以参见：https://github.com/apple/tensorflow_macos

M1 版 Mac 对机器学习用户的影响

苹果曾在发布会上介绍说，M1 芯片将苹果的神经网络引擎引入了 Mac，实现了 15 倍的机器学习任务加速。该神经网络引擎有 16 个核心，每秒运算速度可达 11 万亿次。除此之外，配置了 ML 加速器的 CPU 和强大 GPU（称霸集显，媲美部分独显）也使得整个 M1 芯片的机器学习能力得到巨大提升。

图源：https://medium.com/disruptive-nerd/how-is-the-apple-m1-going-to-affect-machine-learning-2d9da1beef86

性能的提升毋庸置疑，但软件兼容也是一个很大的问题。在 M1 版 Mac 发布之后，不少开发者都在问：我的 VS Code/Docker/Juypter Notebook…… 还能在新 Mac 上用吗？

VSCode：最快月底就能做出来

在苹果发布会之后不久，微软 VS Code 团队就发文表示，「VS Code 将支持 ARM 版 Mac，11 月底可能推出首个预览版。」

Mac/ARM64 试验版地址 https://code.visualstudio.com/insiders/#osx

此外，微软还宣布将发布一款新的通用版 Mac Office 2019，支持新版苹果处理器。

Docker：在安排，但还没准备好

在 11 月 16 日的一篇博客中，Docker 的开发者表示，他们还没有准备好让 Docker 在 M1 版 Mac 上运行，在这之前还需要做很多准备。

Docker 表示，「我们 Docker 的目标是在新的 Mac 上提供与今天在 Docker Desktop for Mac 上同样出色的体验，并使这种过渡尽可能地无缝。」「为我们的客户打造合适的体验意味着在我们推送一个版本之前，要把不少事情做好。虽然苹果已经发布了 Rosetta 2 转译器，以帮助将应用程序转移到新的 M1 芯片上，但这并不能让我们与 Docker Desktop 一路同行。」

至于 Juypter Notebook 等软件，目前还没有官方消息放出。不过，随着苹果不断将生态打通，正在有越来越多的软件开发商表示将开发适配 M1 版 Mac 的新产品。

参考链接：

https://machinelearning.apple.com/updates/ml-compute-training-on-mac

https://medium.com/disruptive-nerd/how-is-the-apple-m1-going-to-affect-machine-learning-2d9da1beef86

https://www.docker.com/blog/apple-silicon-m1-chips-and-docker/

产业TensorFlow苹果苹果M1

相关技术

推理网络 OpenCV

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

批次技术

模型训练的一次迭代（即一次梯度更新）中使用的样本集。

来源：Google ML glossary