开发人员亲自上场：Julia语言搞机器学习和Python 比，哪个好用？

2022 年，你会选择哪种编程语言呢？

前几年就流传着这样一种说法：Julia 会替代 Python，成为新的最受欢迎的编程语言之一。我们暂且对这种说法持观望态度，但作为科学计算方面的强大工具，Julia 优势已然显现，这意味着程序员的选择又多了一种。

在数据科学、人工智能等领域，仔细对比 Julia 和 Python，我们会发现：相同的任务，只要 Python 能实现的的，Julia 都可以做，而且效率高得多，语法也简洁优雅，只是在传播度上，名气还不如 Python。

近日，reddit 上的一则热帖引来广大网友的讨论，这个帖子提到，最近，一些 Julia 语言包的开发人员讨论了 Julia 中 ML 的当前状态，并将其状态与 Python ML 生态系统进行了比较。

原贴地址：

https://www.reddit.com/r/MachineLearning/comments/s1zj44/r_julia_developers_discuss_the_current_state_of/

来自乌得勒支大学的 JordiBolibar 认为，「 Julia 确实在机器学习方面拥有巨大的潜力，但它目前的状态有点喜忧参半。更具体地说，我在 SciML 中坚持使用 Julia 的主要原因是，DifferentialEquations.jl 库工作得非常好，但在 Python 中没有发现任何类似的东西。然而，对于我的研究来说，真正痛苦的是 AD 部分。自从我开始使用 Julia ，我在 Zygote 中遇到了两个错误，这使我的工作速度减慢了几个月。但我仍然认为 Julia 是 SciML 的最佳选择，但这些库（及其文档）应该优化的更加用户友好。」

网友 @jgreener64 表示：「Julia 中的 ML 在某些领域应用非常强大，Julia 一切皆有可能。Julia 面临的问题是：Julia 中的 ML 需要大量现有知识或大量时间搜索 / 反复试验。在个人层面上，我目前正在用 Julia 开发新颖的可微分算法。」

除了网友的热烈讨论外，Julia 软件包开发人员 Christopher Rackauckas 围绕以下 7 个问题，解答了网友比较关心的内容。Rackauckas 是 MIT 和马里兰大学的数学家和药理学家，主要用 Julia 进行编程。Rackauckas 为 Julia、数学和随机生物学开了专门博客，来介绍相关内容，并且 Rackauckas 在 Julia 中开发了一些库，包括（但不限于）DifferentialEquations.jl 和 Pumas。

Christopher Rackauckas

问题包括：

今天 Julia 中的 ML 在哪些地方真正大放异彩？在不久的将来该生态系统在哪些方面优于其他流行的 ML 框架（例如 PyTorch、Flax 等），为什么？
目前 Julia 的 ML 生态系统在功能或性能方面存在哪些缺点？Julia 在这些领域变得具有竞争力的时间节点在哪？
Julia 的标准 ML 包（例如深度学习）在性能方面与流行的替代方案相比如何（更快、更慢、相同数量级）？
有没有重要的 Julia 实验，可以针对流行的 ML 替代方案进行基准测试？
如果一家公司或机构正在考虑创建职位来为 Julia 的 ML 生态系统做出贡献，有没有最佳案例？为什么他们应该这样做？哪些贡献最有影响力？
为什么与其他框架合作的独立开发人员应该考虑为 Julia 的 ML 生态系统做出贡献？
对于某些特定任务，Julia 开发人员倾向于使用哪些软件包？Julia 开发人员希望添加目前不存在的哪些内容？

下文中我们挑选了几个大家比较关心的问题进行报道：

问题 3：Julia 在「标准 ML」中的表现如何？

Julia 的内核速度很好：在 CPU 上，我们做得非常好，在 GPU 上，每个人都只是调用相同的 cudnn 等；Julia 的 AD 速度也很好。不过 Zygote 可能会有一些开销，但与 Jax/PyTorch/TensorFlow 相比，Zygote 在大多数情况下速度是很快的。具体来说，PyTorch 开销要高得多，在标准 ML 工作流程中甚至无法测量。一个足够大的矩阵乘法会解决分配问题或其他 O(n) 问题；Julia 不融合内核，因此在大多数基准测试中，如果用户查看它，就会发现它没有融合 conv 或 RNN cudnn 调用。

问题 4：我们应该跟踪哪些重要的实验和基准？

XLA 的分布式调度器非常好。当我们考虑扩展时，我们应该忽略 PyTorch，去考虑 DaggerFlux 与 TensorFlow/Jax。XLA 有更多的灵活性来改变操作，所以我认为 XLA 才是赢家，我们需要使用 e-graphs 技巧来匹配它。另一件需要注意的事情就是「自动微分中缺少中间部分」，这种情况还需要解决。

问题 7：有什么推荐的软件包？

我倾向于在需要时使用 Flux，但大家还是尽量使用 DiffEqFlux。就现有内核而言，Flux 是最完整的，但它的风格让我感到厌烦。我希望有一个 Flux 不使用隐式参数，而是使用显式参数。我希望这些参数由 ComponentArrays 表示。

更多内容请参考：https://discourse.julialang.org/t/state-of-machine-learning-in-julia/74385

工程编程语言PythonJulia

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

调度技术

调度在计算机中是分配工作所需资源的方法。资源可以指虚拟的计算资源，如线程、进程或数据流；也可以指硬件资源，如处理器、网络连接或扩展卡。进行调度工作的程序叫做调度器。调度器通常的实现使得所有计算资源都处于忙碌状态，允许多位用户有效地同时共享系统资源，或达到指定的服务质量。 see planning for more details

来源：维基百科

Julia技术

Julia 是MIT设计的一个面向科学计算的高性能动态高级程序设计语言，项目大约于2009年中开始，2018年8月JuliaCon2018 发布会上发布Julia 1.0。据介绍，Julia 目前下载量已经达到了 200 万次，且 Julia 社区开发了超过 1900 多个扩展包。这些扩展包包含各种各样的数学库、数学运算工具和用于通用计算的库。除此之外，Julia 语言还可以轻松使用 Python、R、C/C++ 和 Java 中的库，这极大地扩展了 Julia 语言的使用范围。

来源：维基百科

人工智能技术

在学术研究领域，人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体（intelligent agent）

来源：Russell, S., & Norvig, P. (2003). Artificial Intelligence: A Modern Approach.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

数据科学技术

数据科学，又称资料科学，是一门利用数据学习知识的学科，其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术，包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。