「我们知道杨靖的 app 是在食品领域中的,但我们假设它的实现基于手机摄像头,」HBO《硅谷》第四季中硅谷的投资人这样说道。「比如,你给食品拍照,应用会返回食品的营养成分、食谱或它的来源。」
杨靖是《硅谷》剧中巴赫曼「孵化器」中的一名程序员,他开发了一个名叫「Seafood」的应用,并把它拿到风险投资人的面前。杨靖的想法来自于奶奶的章鱼食谱,但在会谈中,Seafood 的初衷很快遭到了风投公司的误解。会议结束后,杨靖的 app 成了「See Food」——Shazam 的食物版,从而得到了风投公司的青睐,即使相关的技术在谈判结束时压根就不存在。(Shazam 是「听音识曲」软件的鼻祖,可以通过手机麦克风接收声音片段的方式识别出乐曲、电影、广告和电视剧)
剧情在这里变得搞笑起来。其实,有一个真实的食物识别应用在 2011 年就发布了。
它叫「Meal Snap」,用户可以通过拍照来识别食物信息,实时获取卡路里数字,是的,它就是「Shazam 的食物版」。
创造 Meal Snap 的公司是 Daily Burn,它构建了一整套食物追踪和保持身材的应用群。在其中,这个神奇的食物识别技术看起来尤为特别。「如果再快一点,准确性再提高一点,Meal Snap 可以成为一个神级应用,」那时的 CNET 是这样评价 Meal Snap 的。
而在《硅谷》中,仓促上阵的杨靖和巴赫曼最终提出了一个自动化食物标签系统。问题在于,它只能区分「热狗」和「不是热狗」,如果想要识别更多种类的食品,这个系统需要大量来自网络中带有标记的图片作为机器学习模型的训练数据(巴赫曼在剧中试图骗斯坦福大学计算机科学的学生免费来做)。这在今天看起来很有可能成功,不幸的是,在 2011 年,让人工智能实时识别食物对于 Meal Snap 团队而言是一件难以逾越的挑战,即使你的公司拥有再多的天才也无济于事。
Google Brain 团队在 2012 年才发表了著名的「识别猫论文」,展示了神经网络对于未标记数据的分析能力。而训练这个神经网络用到了 16,000 个计算机处理器,和 1000 万个 Youtube 上的视频。
谷歌大脑「识别猫论文」:《Building High-level Features Using Large Scale Unsupervised Learning》,作者包括著名学者 Jeff Dean 与吴恩达。
在 Meal Snap 的网站中,图像识别技术被称为「魔法」。虽然该公司的 CEO Andy Smith 在采访中曾提到这项技术涉及了人工参与,但没有在透露更多细节。今天,Meal Snap 的秘密早已被人们发现:在用户照相之后,应用会转接到亚马逊众包平台 Mechanical Turk 上,由大量进行数据标注的人手动识别这些照片里的食物,而应用端则接收他们识别出的食物名字,利用数据库计算出卡路里的数量。
Meal Snap 并没有火起来,因为它的收费方式让人望而却步——按识别次数收费。今天,设计这个 App 的公司 Daily Burn 运营的主业是在线形体课,按照订阅收费。「我不看《硅谷》,」当 Smith 被问及这部流行美剧时说道。「它的故事和我的生活太近了,看起来令人筋疲力尽。」
随着《硅谷》第四季第四集的播出,杨靖与巴赫曼的应用「Not Hotdog」也同期在 iTunes 上线了。在 HBO 的造势中,这款应用可以通过手机摄像头准确识别「热狗」和「不是热狗」,准确度和速度已得到了很多用户的肯定。而剧中的开发者杨靖甚至接受了彭博社的专访。
于是我们也下载了「Not Hotdog」,并进行了简单的测试。
看起来它的准确度不错。在 Hacker New 上,人们对 Not Hotdog 展开了热烈的讨论,一些网友表示这样的应用(需要用到卷积神经网络)在 TensorFlow 上经过约 15 万张图片的训练即可实现。而 Not Hotdog 的制作者在 Github 中宣称他们只用到了著名图像数据集 ImageNet 中 1857 张不同热狗的图片,以及 4024 张不是热狗的图片进行训练。在图像识别技术高速发展的今天,昔日的梦想已变得触手可及。今天,看完这集《硅谷》,我们可以轻松一笑了。
「Not Hotdog」APP 下载链接(不好意思,安卓版暂时没有):https://itunes.apple.com/app/not-hotdog/id1212457521
「Not Hotdog」Github 链接(Keras):https://github.com/kmather73/NotHotdog-Classifier
谷歌「识别猫」论文:https://static.googleusercontent.com/media/research.google.com/zh-CN//archive/unsupervised_icml2012.pdf
参考内容:https://qz.com/983809/silicon-valleys-see-food-was-a-real-app-called-meal-snap-that-launched-in-2011/