Linux 因为其稳定性获得了不少开发者的青睐,同时也成为大多数服务器的操作系统,对于机器学习开发来说,使用 Mac/Linux 系统几乎是必须的。然而因为上手难度较大,很多人对其望而却步。本文将介绍一些 Linux 常用指令以帮助你快速上手。
随着软件系统的不断发展,今天,不同的操作系统对应着不同的适用人群:Windows 面向办公室和商用,Mac 面向创意人群,而 Linux 面向软件开发者。对于操作系统提供商而言,这种市场分割大幅度简化了产品技术需求、用户体验和产品方向上的投入。然而,这也加剧了兼容性问题,让不同业务进入了狭窄、互不相容的领域:商务人士无法对创意提供洞察力,而开发者也无法深入商务决策中去。
在现实中,知识和技能是流动的,跨越多个学科和领域。与其说「你只能擅长一件事」的理念是迈向精通的路线图,还不如说一种过早优化的方法。一旦从社会中采样大量的任务,你就只能知道你擅长什么,也许你还发现自己擅长它们中的很多。
对于现代的业务分析师,弥补业务与软件之间的鸿沟尤其重要。业务分析必须是「双重平台」,能够利用仅在 Linux(或 OS X)上可用的命令行工具,但是仍然受益于 Windows 的 Microsoft Office。可以理解的是,Linux 会使具有商学学位的人感到恐惧。幸运的是,正如大多数事情一样,你只需 20% 的任务即可完成 80% 的工作。下面是我的 20%。
业务分析是基于数据的,而机器学习正是强大的数据分析工具。我们利用机器学习模型分析数据最好的环境却恰恰是 Linux 系统,这不仅是因为它支持广泛的 Python 机器学习库,同时在于环境配置与管理的简单明了。因此,本文将为机器学习读者梳理 Linux 系统的基本特性与命令。
为什么机器学习分析师需要了解 Linux
由于其开源的底层,Linux 从不断从数以万计的开发者贡献中受益。他们构建的程序和工具不仅使其工作更简单,也简化了跟随他们的编程人员的工作。结果,开源开发带来了一种网络效应:在平台上构建工具的开发者越多,能够利用这些工具立刻编写其程序的其他开发者就越多。
结果就是 Linux 中编写的 Linux 程序和实用工具(统称为软件)的扩展套件——其中很多从未用于 Windows。一个示例是被称作 git 的流行的版本控制系统(VCS)。开发者本可以编写这一在 Windows 工作的软件,但是却没有。他们让其在 Linux 命令行上工作,因为生态系统已经提供全部所需的工具。
具体来说,Windows 上的开发有两个主要问题:
1. 基本任务,比如文件解析、工作调度和文本搜索比运行命令行工具更为重要。
2. 编程语言(比如 Python、C++)及其相关代码库会引发错误,因为它们期望特定的 Linux 参数或文件系统定位。
这意味着若想在 Windows 上进行开发,我们需要花费更多的时间来重写 Linux 中已有的基本工具,并排除操作系统兼容性错误。这并不令人意外——Windows 生态系统当初并没有考虑软件开发设计的需求。
借助这个 Linux 开发案例,让我们从最基本的开始。
Linux 的基本单元:「shell」
「shell」(也被称为终端、控制台或命令行)是一个基于文本的用户界面,通过它把命令发送给机器。在 Linux 中,shell 的默认语言是 bash。与主要在 Windows 内部进行点击操作的 Windows 用户不同,Linux 开发者坚持使用键盘把命令输入到 shell。对于那些没有编程背景的人来说,这种转变一开始也许会不自然,但是在 Linux 中开发的好处很容易超过最初的学习投资。
学习几个重要的概念
和成熟的编程语言相比,bash 只需要学习几个主要的概念。这一步完成之后,之后 bash 的学习就只剩下记忆了。更清楚地说就是:要学好 bash,只需要记住 20—30 个命令(command)以及其中最常用的参数(argument)就可以了。
对于非开发者而言,Linux 很令人费解,因为开发者似乎能随意且不费力地使用深奥的终端命令。其实是因为他们只记住了少量的命令—对于更复杂的问题,他们(和所有普通人一样)也需要谷歌一下。
以下就是 bash 中的主要概念。
命令语法
bash 中的命令是区分大小写的,且遵循 {命令}{参数} 的语法结构。
例如,在『grep-inr』中,grep 是命令(搜索文本的一个字符串),-inr 是标记(flag)或参数(随 grep 默认运行而变化)。理解这个命令的唯一方法是使用谷歌搜索,或输入『man grep』命令。我推荐同时学习命令和其中最常用的参数,否则单独学习每一个标记的作用是很费力的。
目录相对地址
当前目录:.
上一级目录的上一级目录:..
用户的主目录:~
文件的系统根目录:/
例如,为了从当前目录换到上一级目录,需要输入:「cd..」。类似地,为了复制位于「/path/to/file.txt」文件到上一级目录中,需要输入「cp /path/to/file.txt.」(请注意命令末尾的点)。这些例子中使用的都是相对路径,可以使用绝对路径替换。
标准输入(STDIN)/标准输出(STDOUT)
任何输入和提交(通过键入 ENTER)到窗口的命令都被称为标准输入(standard input,STDIN)。
任何程序打印(print)到终端的东西(例如,一份文件中的文本)都被称为标准输出(standard output,STDOUT)。
管道(PIPING)
1 |
一种管道,其左方是一个命令的 STNOUT,将作为管道右方的另一个命令的 STDIN。
例如:echo 『test text』 | wc -l
2 >
大于号,作用是取一个命令 STDOUT 位于左方,并将其写入/覆写(overwrite)入右方的一个新文件。
例如:ls > tmp.txt
3 >>
两个大于号,作用是取一个命令 STDOUT 位于左方,并将其追加到右方的一个新的或现有文件中。
例如:date >> tmp.txt
通配符(WILDCARDS)
这类似于 SQL 中的% 符号,例如,使用「WHERE first_name LIKE 『John%』」搜索所有以 John 起始的名字。
在 bash 中,相应的命令是「John*」。如果想列出一个文件夹中所有以「.json」结尾的文件,可以输入:「ls *.json」。
TAB 键自动完成
如果我们输入一个命令并按下 TAB 键,那么 Bash 将自动完成该命令。但是,我们也应该使用一些如 zsh 或 fish 工具来自动完成,因为我们很难记住各种命令及它们的参数。更准确地说,这些工具会基于我们的命令行历史自动完成命令语句。
退出
有时候我们会卡在一些程序中并不知道如何退出它们。这在 Linux 新手中是很常见的问题,这也会大大损害新手的积极性。一般来说,退出命令会和字母「q」有一些关系,所以记住以下的退出命令或快捷键就十分有用了。
- Bash
CTRL+c
q
exit
- Python
quit()
CTRL+d
- Nano: CTRL+x
- Vim: <Esc> :q!
常用 Bash 命令
以下是在 Linux 中最常用到的指令,在使用新系统进行开发时,记住这些指令对于快速上手非常重要。
- cd {directory}:转换当前目录
- ls -lha:列出目录文件(详细信息)
- vim or nano:命令行编辑器
- touch {file}:创建一个新的空文件
- cp -R {original_name} {new_name}:复制一个文件或目录(包含内部所有文件)
- mv {original_name} {new_name}:移动或重命名文件
- rm {file}:删除文件
- rm -rf {file/folder}:永久删除文件或文件夹(小心使用)
- pwb:打印当前工作目录
- cat or less or tail or head -n10 {file}:文件的标准输出内容
- mkdir {directory}:创建一个空的目录
- grep -inr {string}:在当前目录或子目录的文件中搜索一个字符串
- column -s, -t <delimited_file>:在 columnar 格式中展示逗号分隔文件
- ssh {username}@{hostname}:连接到远程机器中
- tree -LhaC 3:向下展示三级目录结构(带有文件大小信息和隐藏目录信息)
- htop (or top):任务管理器
- pip install --user {pip_package}:Python 安装包管理器,安装包到~/.local/bin 目录下
- pushd . ; popd ; dirs; cd -:在堆栈上 push/pop/view 一个目录,并变回最后一个目录
- sed -i "s/{find}/{replace}/g" {file}:替代文件中的一个字符串
- find . -type f -name '*.txt' -exec sed -i "s/{find}/{replace}/g" {} \;:替换当前目录和子目录下后缀名为.txt 文件的一个字符串
- tmux new -s session, tmux attach -t session:创建另一个终端会话界面而不创建新的窗口 [高级命令]
- wget {link}:下载一个网页或网页资源
- curl -X POST -d "{key: value}" http://www.google.com:发送一个 HTTP 请求到网站服务器
- find <directory>:递归地列出所有目录和其子目录的内容
高级&不常用的指令
保留一个有用命令列表以备不需也是非常必要的,即使这些情况不常发生(如某个进程阻塞了几个网络端口)。以下我们将列出几个不常用命令:
- lsof -i :8080:列出打开文件的描述符(-i 是网络接口的标记)
- netstat | head -n20:列出当前打开的 Internet/UNIX 接口(socket)以及相关信息
- dstat -a:输出当前硬盘、网络、CPU 活动等信息
- nslookup <IP address>:找到远程 IP 地址的主机名
- strace -f -e <syscall> <cmd>:跟踪程序的系统调用(-e 标记用于过滤某些系统调用)
- ps aux | head -n20:输出目前活动的进程
- file <file>:检查文件类型(例如可执行文件、二进制文件、ASCII 文本文件)
- uname -a:内核信息
- lsb_release -a:系统信息
- hostname:检视你的机器的主机名(即其他电脑可以搜索到的名称)
- pstree:可视化分支进程
- time <cmd>:执行一个命令并报告用时
- CTRL + z ; bg; jobs; fg:从当前 tty 中传递一个进程到后台再返回前台
- cat file.txt | xargs -n1 | sort | uniq -c:统计文件中的独特字(unique words)数量
- wc -l <file>:计算文件的行数
- du -ha:在磁盘上显示目录及其内容的大小
- zcat <file.gz>:显示压缩文本文件的内容
- scp <user@remote_host> <local_path>:将文件从远端复制到本地服务器,或反过来
- man {command}:为一个命令显示 manual(说明文档),但是通常这样不如谷歌搜索好用