SOTA,全称「state-of-the-art」,用于描述机器学习中取得某个任务上当前最优效果的模型。例如在图像分类任务上,某个模型在常用的数据集上取得了当前最优的性能表现,我们就可以说这个模型达到了 SOTA。
在 2021 年度的学术论文中有超过 2 万篇自称「SOTA」(最为先进)的工作——自称「SOTA」的工作就一定是先进的吗?对广大 AI 开发者来说,什么样才是先进的技术工作?是思路具有启发性?还是跑出的实验分数高?是易于实现,对数据资源、计算资源的需求可控?还是放出的代码实现即插即用,可用性强?
2022 年初,在开展了为期 6 天的「Pop SOTA! List for AI Developers 2021」AI 开发者社区线上技术工作评价后,基于千余份来自 AI 开发者社区对 2021 年发表的 SOTA 技术工作「引领性」、「启发性」和「应用可行性」的评价,机器之心形成了一份具有代表性的 2021 年度最受 AI 开发者认可的技术工作价值名录,暨「Pop SOTA! List for AI Developers 2021」,并于2月26日在于临港新片区举办的 WAIC 2022 上海人工智能开发者大会现场进行线下发布。
以“构建融通开放新生态”为主题,WAIC 2022上海人工智能开发者大会在上海临港新片区创晶科技中心顺利举办。本次大会旨在助力人工智能上海高地建设,顺应城市数字化转型战略,延续上海人工智能技术生态建设,切实解决人工智能开发者真实需求。
作为WAIC开发者系列活动,本次大会保持了世界人工智能大会品牌一贯的高水准、高质量。大会坚持以需求引领发展,聚焦基础研究和基础设施强化、技术创新、人才培养等核心议题,为人工智能开发者们提供学术交流、技术探讨和沟通合作的平台,输出前沿、硬核、热点内容为人工智能转型升级再聚力。
在本次大会的主论坛期间,WAIC开发者生态发起人、机器之心创始人兼CEO赵云峰代表WAIC开发者生态为部分名录入选工作研发团队代表现场颁发 WAIC 开发者生态荣誉贡献证书 ——
华为 · CANN 团队:华为昇腾 CANN 团队更新 AI 异构计算架构 CANN 5.0 版本,针对不同模型进行智能优化,300+ 模型平均可获得 30% 性能收益。
MSRA · Swin Transformer 研究课题组:微软亚洲研究院 Swin Transformer 课题组 2021年的 Swin Transformer 将重要视觉先验引入 Transformer 模型,并提出移位窗口技术,刷新了诸多计算机视觉任务,获得了 ICCV 2021 年马尔奖。
NVIDIA:来自英伟达等的研究人员提出了 StyleGAN3,它从根本上解决了StyleGAN2 图像坐标与特征粘连的问题,实现了真正的图像平移、旋转等不变性,大幅提高了图像合成质量。
上海人工智能实验室:来自上海人工智能实验室、商汤科技、香港中文大学和上海交通大学的研究人员联合发布通用视觉体系“书生”( INTERN),帮助开发者显著降低通用视觉模型的开发门槛和成本,并贡献了大规模精标数据集,预训练模型和首个通用视觉评测基准,推动 AI 技术的规模化应用。
昇思 MindSpore 团队:昇思 MindSpore 团队更新 MindSpore 1.5 版本,新版本继续在自动分布式训练上给出新的成绩, 32 块卡就能训练 2420 亿参数量的稀疏模型。
循环智能 · AI 算法团队:来自清华大学、北京智源研究院和循环智能等的研究人员开源首个支持 PyTorch 框架的 MoE 系统 FastMoE,相比直接使用 PyTorch 实现的版本,提速 47 倍。
一流科技 · OneFlow 团队:一流科技 OneFlow 团队更新了深度学习框架 OneFlow 0.5 版本,在易用性上实现了四大技术特性,包含一行代码实现 OneFlow 与 PyTorch 切换等。
亚马逊云科技:来自亚马逊云科技等的研究人员对 10 个主流机器学习数据集的测试集展开了研究,发现它们的平均错误率高达 3.4%。
字节跳动:来自字节跳动的研究人员提出了适用于视觉处理任务的大规模预训练方法 iBOT,该方法在十几类任务和数据集上刷新了 SOTA 结果记录。
AI 技术的应用开发是一个复杂的过程,涉及算法思路、数据、模型、开发工具、基准的选取,在实际应用中,还需考虑工程限制、性能需求、把控部署、调试及运维等诸多方方面面的环节。在 AI 技术高速发展的今天,AI 开发者们需要时刻保持对各个方面先进技术的追踪。在大会现场“智能时代的 AI 生活”嘉年华系列活动——紧随 SOTA!的 AI 开发者中,开发者们通过现场展示,了解在过去的一年里各个方面的重要进展(暨 SOTA,State-of-the-the-Art)AI 技术工作。
新技术从实验室走进产业的过程,也是解决技术工程化课题的过程;新 AI 技术从论文到在现实世界中赋能产业升级的过程中也同样存在诸多工程问题,需要工程开发者与科研团队合力解决。
「Pop SOTA!for AI Developers」WAIC开发者大会线上分论坛在本次峰会期间通过 WAIC 官方网站与开发者们首次见面,并将持续开展至 7 月的 WAIC 世界人工智能大会期间。在此期间,分论坛将持续、连贯地邀请 2021 年度最受 AI 开发者社区欢迎的 "State-of-the-Art" AI 模型 TOP 128 名录入选的优秀工作的核心研发者通过线上论坛,向 AI 社区的开发者一手解读 2021 年 AI 开发者所关注的新模型的设计思路、实现技巧,探讨应用过程中的工程优化方法,围绕 2022 年度 AI 技术工程化方面的趋势性主题展开探讨,展望未来趋势。