Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

隔空作画,握拳清屏,这个手部跟踪项目火了,在线可玩

在屏幕上隔空作画是近来新兴的一种有趣应用,其中涉及复杂的手部跟踪技术,这类技术成熟之后可用于提升应用程序的交互体验。此前机器之心曾报道过可以隔空写字、绘图的有趣项目「air-drawing」,该项目利用深度学习工具使得用户在配有摄像头的电脑端就可获得自己的手势姿态估计成像图。

近日,又一个具有相似功能的开源项目在 reddit 上大火,该项目名为 YoHa——Your Hand Tracking。

图片


项目地址:https://github.com/handtracking-io/yoha
网站:https://handtracking.io/

用 YoHa「隔空作画写字」的效果如下图所示:

图片

x
这里我们也实际操作了一下,又 get 一项新技能:

图片


YoHa 是一种基于 TensorFlow 框架的手部跟踪引擎,围绕用户和开发人员认为有用的特定手势而开发。YoHa 旨在为使用手部跟踪的应用程序提供更多实质性价值,以构建新的多功能解决方案,提升应用程序的交互体验,其最终目标是成为支持任何手势的通用手部跟踪引擎。

YoHa 从设计之初就考虑了实用性能,它能够在各种笔记本电脑和台式机上提供实时用户体验。目前 YoHa 在移动设备上的性能欠佳,后续将随着 TensorFlow.js 等推理框架的发展而改进。

使用方法

首先只需一行代码就能轻松安装 YoHa:

npm install @handtracking.io/yoha


也可以在 Demo 网页上下载使用:

图片



Demo 地址:https://handtracking.io/draw_demo/

不同于大多数用指尖操纵绘制的手部跟踪引擎,YoHa 的使用需要捏合并操纵一个「光标点」。这个操作有点像用粉笔写字,需要一点技术。

图片



首先屏幕上有一个会随着拇指和食指位置移动的光标点,用这两只手指做一个捏合姿势来控制光标点,移动光标点即可进行绘画。

图片



只需握拳就可清除画布:

图片



感兴趣的小伙伴快去试一试吧!

参考链接:
https://www.reddit.com/r/MachineLearning/comments/q9hhqt/p_yoha_a_practical_hand_tracking_engine/
https://pythonrepo.com/repo/handtracking-io-yoha-python-deep-learning

工程
2
暂无评论
暂无评论~