在屏幕上隔空作画是近来新兴的一种有趣应用,其中涉及复杂的手部跟踪技术,这类技术成熟之后可用于提升应用程序的交互体验。此前机器之心曾报道过可以隔空写字、绘图的有趣项目「air-drawing」,该项目利用深度学习工具使得用户在配有摄像头的电脑端就可获得自己的手势姿态估计成像图。近日,又一个具有相似功能的开源项目在 reddit 上大火,该项目名为 YoHa——Your Hand Tracking。项目地址:https://github.com/handtracking-io/yoha网站:https://handtracking.io/这里我们也实际操作了一下,又 get 一项新技能:YoHa 是一种基于 TensorFlow 框架的手部跟踪引擎,围绕用户和开发人员认为有用的特定手势而开发。YoHa 旨在为使用手部跟踪的应用程序提供更多实质性价值,以构建新的多功能解决方案,提升应用程序的交互体验,其最终目标是成为支持任何手势的通用手部跟踪引擎。YoHa 从设计之初就考虑了实用性能,它能够在各种笔记本电脑和台式机上提供实时用户体验。目前 YoHa 在移动设备上的性能欠佳,后续将随着 TensorFlow.js 等推理框架的发展而改进。npm install @handtracking.io/yoha
Demo 地址:https://handtracking.io/draw_demo/不同于大多数用指尖操纵绘制的手部跟踪引擎,YoHa 的使用需要捏合并操纵一个「光标点」。这个操作有点像用粉笔写字,需要一点技术。首先屏幕上有一个会随着拇指和食指位置移动的光标点,用这两只手指做一个捏合姿势来控制光标点,移动光标点即可进行绘画。https://www.reddit.com/r/MachineLearning/comments/q9hhqt/p_yoha_a_practical_hand_tracking_engine/https://pythonrepo.com/repo/handtracking-io-yoha-python-deep-learning