![](https://cdn.jiqizhixin.com/assets/code-modal__close-c158a550a9982aa92801c046548d72945aa912de6f2a012513132fdc02dfc379.png)
Auto Byte
专注未来出行及智能汽车科技
![](https://cdn.jiqizhixin.com/assets/auto-byte__qr-code-89b58c6d2398c12b7def0f2538cac5ff08727062918f9bad97f25b1d61aac000.png)
微信扫一扫获取更多资讯
![](https://cdn.jiqizhixin.com/assets/code-modal__close-c158a550a9982aa92801c046548d72945aa912de6f2a012513132fdc02dfc379.png)
Science AI
关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展
![](https://cdn.jiqizhixin.com/assets/science-ai__qr-code-a12e4635c8d3968645bd2b6371981b65b0d21058c5a2c216aef80015b4eb7e43.png)
微信扫一扫获取更多资讯
强势入驻Kaggle,却什么奖牌都没拿到怎么办?Notebooks Grandmaster第一名:我也很苦恼
参与 Kaggle 竞赛却没有拿到奖牌,我应该怎么办?
很多参与 Kaggle 竞赛的人都希望能够通过构建具有竞争力的算法来提升自己的水平,但对于绝大多数参与 Kaggle 竞赛的同学来说,在一番努力之后没有拿到任何奖牌显然是大概率事件。参加 Kaggle 竞赛屡屡败北后,Kaggle 社区 Notebooks Grandmaster 第一名 Andrew Lukyanenko 总结了自己的经验:![](https://image.jiqizhixin.com/uploads/editor/53038ec3-290c-4165-87e1-292a6dfe0295/image__4_.png)
孟加拉语是全球使用人数第五的语言。Kaggle 上有一个孟加拉语识别挑战赛。这种语言拥有 49 个字母和 18 个变音符号,这意味着它存在很多种字位(书写语言的最小单元)。在「Bengali.AI Handwritten Grapheme Classification」挑战中,参赛者需要使用机器学习方法来预测这些字位的三个独立部分——字位根、元音变音符号和辅音变音符号。看起来有点超纲了?这样一个可能有些小众的比赛,吸引了超过两千支队伍参赛。起初我只是单枪匹马前来参加,但很快就找到了四个志同道合的网友组成了团队。我们在这场比赛中花费了大量时间和资源……最终却只名列第 254 位,没有获得任何奖牌。![](https://image.jiqizhixin.com/uploads/editor/e3e0516f-9979-4673-bb3f-f6cdf42549ef/image__5_.png)
失败后我究竟做了些什么?在这之后,我对自己所做的事情进行了反思,阅读了高阶团队的解决方案,并吸取了一些经验教训。本文中有很多可以分享的东西,它们适用于所有数据竞赛类型,大致可以分成几类话题:思维方法和一般方式、代码实践、需要提前准备的东西。工欲善其事,必先利其器:软件环境
![](https://image.jiqizhixin.com/uploads/editor/4b211269-ba5e-42a5-bc90-9a71ed9289b1/image__6_.png)
正如大多数机器学习实践,训练模型是 Kaggle 竞赛的主要部分。Kaggle Notebook 看起来很美好,但是它给的 GPU 算力远远不够,只有每周 30 个小时。按照目前的经验看,想要好成绩都要将算法运行在自己的机器或者其他云服务上。首先我们需要设置工作环境,这项工作用 pip、conda 等方法就可以实现。你最好在 Kaggle 上检查各个库的版本,并在自己的环境中安装同样的版本——不同版本的组件可能意味着不同的 API 或逻辑。硬件设备
![](https://image.jiqizhixin.com/uploads/editor/dd816f9c-7998-45fd-b83d-dacffa1e2ba8/image__7_.png)
另一个重要的因素当然是硬件本身。如果我们有大量数据要处理(如这项 Kaggle 竞赛),那么在单显卡上训练单个模型就得花费一天甚至更长时间。并且,运行实验通常要比训练最终模型花费的时间更多。所以我们需要尝试不同的硬件。我的 Windows PC 上配置有双路英伟达 Geforce GTX 1080TI,但这显然不够。我在 Google Cloud 上多次租用 GPU,但忒贵了,所以我开始尝试新的方法。最近我听说了 Hostkey(一家高级网络服务提供商),你可以租用他们的服务器。以下是 Hostkey 的 promo program:We offer free GPU servers to the winners of grants at large competition venues for their use in further competitions, for training or for personal projects related to data science.
但作为交换,参赛者必须在社交媒体上分享他们的反馈和经验。最开始,我得到了一台配备 4 路 1080ti 的服务器。所以设置环境没遇到什么问题,并很快开始训练模型。在单个 GPU 上的训练取得了非常好的进展,于是我开始逐渐增加 GPU 数量。结果证明,2、3 个 GPU 也能运行良好,但使用 4 个 GPU 时却失败了。技术支持很快给出反馈,并在几天内查明了问题所在。原来服务器本身存在一些问题,处理器无法跟上 4 路 1080ti 的全功率运行。所以,我改用了另一台配备双路 2080ti 的服务器。但由于电源供应不够强大,刚开始的时候遇到一个小问题。然后工程师增加了一个电源,问题也就迎刃而解了。此后,我在这台服务器上运行了很多模型,结果都很不错。所以接下来我还会选择租用 Hostkey 的服务器。设计运转良好的工作流程
![](https://image.jiqizhixin.com/uploads/editor/3f8c6e0e-fabf-4b4d-a3fc-6067572ab6e7/image__8_.png)
优秀的工作流程至关重要。这里的「流程」(pipeline)指的是用来准备训练数据、训练和推断的代码。这里你可以使用一些高级的框架,但从头开始自己写代码也是不错的选择。使用高级框架的主要优势在于可以快速改变,并确保基础层面正常运转,这样你就可以专心于高级功能了。在竞赛中,我先使用 Catalyst 的 Jupyter API,但由于出现问题便很快停止了。过了一段时间后,我决定听从队友的建议转向 Catalyst 中的 Config API。这个 API 更适合我,但需要很长时间才能适应。对此,我得到的经验是:选择一个方法(特定的框架或工作流程)并坚持下去可能是更好的做法。无法直视的代码
![](https://image.jiqizhixin.com/uploads/editor/53ef6e81-0892-48cc-9708-59f1b6fc37c8/image__9_.png)
很多人说 Kaggle 竞赛参与者写的代码惨不忍睹……事实经常如此,其主要原因是对快速迭代的需求,因此相对于写更好的代码,尝试新想法是更加实用的做法。不过我并不认同这一说法。有时候,稍微进行代码优化会产生非常大的影响。大家可以看一下上面的截图,代码优化可以让推断速度提升 30 倍。训练过程也变得更快,因此把事情做好非常重要。不要盲目相信论坛或 kernel 中的代码和想法
![](https://image.jiqizhixin.com/uploads/editor/ff411159-11c4-4ed9-9d24-67cd62e90d48/image__10_.png)
Kaggle 是个很不错的平台,拥有大量可用的优秀 notebook,还有可以找到酷炫想法的论坛。然而,事实并不尽然。这里当然有很多高质量的 notebook,论坛上也有许多不错的想法,但同时它也存在很多问题:因此,如果你想使用现成的代码和想法,请确保先进行检查和验证。不断寻找新的 idea,并进行尝试
![](https://image.jiqizhixin.com/uploads/editor/dd5f952b-936b-4390-8d54-cca101652c7c/image__11_.png)
参加 Kaggle 竞赛最酷的体验之一是,参赛者会不断追求新的 SOTA 结果。而为了获得最佳成绩,参赛者必须尝试新事物。所以他们需要阅读大量 arxiv 论文,搜寻好的博客文章等等。但值得注意的是,仅仅阅读查找新方法远远不够,还必须进行尝试。虽然有时为一些新的 idea 编写代码非常困难,但这是学习新事物的绝佳方式。最后,即使一些 idea 不 work,你依然积累了有用的经验。避免过度调参
![](https://image.jiqizhixin.com/uploads/editor/5bc4a747-8085-44ea-be2e-d3a00d6acbd6/image__12_.png)
过度调参是一种常见的误区(我自己也栽过几次)。有些人认为调参能帮助他们取得好成绩,这种观点有一定的道理,但并非完全正确。在 tabular 竞赛中,有必要执行两次调参,分别在竞赛的开始和结束阶段。调参在竞赛的初始阶段很重要,因为梯度提升以及必须针对不同的问题对其他模型进行调参。不同的目标和深度、叶节点的数量以及其他参数在不同问题中会导致不同的分数。但当你发现一些好的参数之后,修复它们并在竞赛临近结束的时候再 touch。此外,当你添加一些新特性或尝试新 idea 时,保持超参数不变,这样你就可以对实验结果进行比较。当你穷尽所有的 idea 时,你可以再次进行超参数调优,以小幅提升分数。在涉及深度学习时,情况则有些许不同。这时,超参数空间很大:你可以对架构、损失、数据增强、预/后处理以及其他参数进行调整。这样一来,你就不得不花费大量时间进行优化。最后,需要牢记的一点是,好的 idea 比调参更能提升分数。