2020/09/27 13:03

机器之心编译

20种小技巧，玩转Google Colab

Google Colab 给广大的 AI 开发者提供了免费的 GPU，你可以在上面轻松地跑 Tensorflow、Pytorch 等深度学习框架。但关于 Colab 的使用技巧你又掌握了多少呢？这篇文章将介绍 20 种 Colab 使用技巧，帮你提高使用效率。

1. 便签本 Notebook

当我们在 colab 上尝试一些临时的东西时，我们会创建一堆杂乱、没有标题的 Notebook。

为了解决这个问题，你可以把以下链接加入书签：https://colab.research.google.com/notebooks/empty.ipynb

这将打开一个特殊的 scratch notebook，并且你对该 notebook 所做的任何更改都不会保存到你的主目录中。

2. 单元计时

通常，我们手动计算一段代码的开始时间和结束时间之间的差值来衡量所花费的时间。Colab 提供了内置功能来执行此操作。在执行了一个单元（cell）之后，将鼠标悬停在单元运行图标上，你将获得代码执行时间的估计值。

3. 运行某个单元的一部分

你也可以运行某个单元的一部分，通过选择单元格并点击 Runtime 索引到 Run Selection 按钮或使用键盘快捷键 Ctrl + Shift + Enter。

4. Jupyter Notebook 快捷键

快捷键为编程带来了便利，但 Jupyter Notebook 中的快捷键不能直接在 Colab 中使用。不过，这里有一个关系映射表来解决这一问题。从中可以看出，你只需要在 Jupyter 的快捷键前面加上「Ctrl +M」就能在 Colab 中使用。此规则适用于大多数快捷键。

以下是一些特例，其快捷方式已完全更改或保持不变。

5. 跳转到类定义

与 IDE 相似，你可以通过按 Ctrl 键，然后单击一个类名来跳转到类定义。例如，在这里我们通过按 Ctrl 并单击 Dense 类名来查看 Keras 中 Dense 层的类定义。

6. 在 GitHub 中打开 Notebooks

Google Colab 团队提供了官方的 Chrome 扩展程序。使用 colab 时，可以直接在 GitHub 上打开 notebooks。

扩展程序下载地址：https://chrome.google.com/webstore/detail/open-in-colab/iogfkhleblhcpcekbiedikdehleodpjo

安装后，单击 GitHub notebook 的 colab 图标直接将其打开。

或者，你也可以手动打开 GitHub notebook，将 github.com 替换为 colab.research.google.com/github 即可。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://colab.research.google.com/github/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

甚至更简单的方法是用 githubtocolab.com 替换 github.com。

https://github.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

替换为

https://githubtocolab.com/fastai/course-v3/blob/master/nbs/dl1/00_notebook_tutorial.ipynb

7. 从 Colab 运行 Flask 应用

使用 flask-ngrok 库（https://github.com/gstaff/flask-ngrok），你可以轻松地将运行在 colab 上的 Flask Web 应用程序转换为一个 demo 原型。

首先，你需要安装 flask 和 flask-ngrok。

!pip install flask-ngrok flask==0.12.2

然后，你只需要将「flask app」对象传递给「run_with_ngrok」函数，它将在启动服务器时公开 ngrok 端点。

from flask import Flaskfrom flask_ngrok import run_with_ngrokapp = Flask(__name__)run_with_ngrok(app)@app.route('/')def hello():    return 'Hello World!'    if __name__ == '__main__':    app.run()

8. 在 Tensorflow 版本之间切换

你可以很容易地在 Tensorflow 1 和 Tensorflow 2 之间切换。

要切换到 Tensorflow 1.15.2，请使用以下命令：

%tensorflow_version 1.x

要切换到 Tensorflow 2.2，请运行以下命令：

%tensorflow_version 2.x

你需要重新启动才能生效。出于性能考虑，Colab 建议使用预安装的 Tensorflow 版本，而不是用 pip 命令安装它。

9. Tensorboard 集成

Colab 还提供了一个命令，可以直接从 notebook 使用 Tensorboard。你只需要使用 --logdir 设置日志目录位置。

你可以从官方 notebook 学到它的使用方法：https://colab.research.google.com/github/tensorflow/tensorboard/blob/master/docs/tensorboard_in_notebooks.ipynb。

%load_ext tensorboard%tensorboard --logdir logs

10. 查看资源限制

Colab 为他们的免费版本和专业版本提供了以下规格。根据自己的情况，如果你需要更好的运行时间、GPU 和内存，你可以以每月 10 美元的价格切换到专业版本。

可以通过运行以下命令查看你已经被分配到的 GPU：

!nvidia-smi

有关 CPU 的信息，可以运行此命令：

!cat /proc/cpuinfo

此外，你还可以通过运行以下命令查看 RAM 容量

import psutilram_gb = psutil.virtual_memory().total / 1e9print(ram_gb)

11. 使用交互式 shell

Colab 中没有内置的交互终端。但是可以使用 bash 命令以交互方式试用 shell 命令。只需运行此命令，你将获得交互式输入。

!bash

现在，你可以在给定的输入框中运行任何 shell 命令。

要退出 shell，只需在输入框中键入 exit。

12. 当前的内存和存储使用情况

Colab 提供了 RAM 和磁盘使用情况的指示器。如果将鼠标悬停在指示器上，将弹出一个窗口，其中包含当前内存和存储使用情况和总容量。

13.「Open in Colab」标志

你可以使用如下 markdown 代码在 README.md 或 jupyter notebooks 中添加「Open in Colab 」标志。

在这段代码中，我们正在加载 SVG 图片，然后将其链接到 colab notebook。

[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/notebooks/basic_features_overview.ipynb)

14. Pandas 交互表

Colab 提供了一个 notebook 扩展，用于向 pandas dataframes 添加交互式排序和过滤功能。要使用它，请运行以下代码。

%load_ext google.colab.data_table

在加载下面的扩展之后，你可以看到常规的 pandas dataframe 和交互式 dataframe。

15. 设置 Conda 环境

如果将 miniconda 用作 python 环境管理器，你可以通过在 notebook 顶部运行以下命令，在 colab 上对其进行设置。

# Download Miniconda installation script!wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh# Make it executable!chmod +x Miniconda3-latest-Linux-x86_64.sh# Start installation in silent mode!bash ./Miniconda3-latest-Linux-x86_64.sh -b -f -p /usr/local# Make conda packages available in current environmentimport syssys.path.append('/usr/local/lib/python3.7/site-packages/')

执行完单元后，你可以照常使用 conda 安装软件包。