6 月 5 日开幕的 WWDC 2017 开发者大会上,苹果正式推出了一系列新的面向开发者的机器学习 API,包括面部识别的视觉 API、自然语言处理 API,这些 API 的背后都有 Core ML 机器学习框架的身影。苹果软件主管兼高级副总裁 Craig Federighi 在大会上介绍说,Core ML 致力于加速在 iPhone、iPad、Apple Watch 等移动设备上的人工智能任务,支持深度神经网络、循环神经网络、卷积神经网络、支持向量机、树集成、线性模型等。这一框架的易用性如何?大会之后,开源社区中很快就出现了有关 Core ML 的实现。
MobileNet 在 Core ML 上的实现
MobileNet 是谷歌在 2017 年 4 月发表的一项研究,它是一种高效、小尺寸的神经网络架构,适用于构建手机/移动设备上的低延迟深度学习应用,并可以完成多种不同任务。
- Core ML 实现链接:https://github.com/hollance/MobileNet-CoreML
本实现是论文《MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications》中神经网络架构 MobileNet 的苹果 CoreML 框架实现。它使用了 MobileNet-Caffe 中的预训练内容。
想使用这个 app,请在 Xcode 9 中打开 MobileNetCoreML.xcodeproj,并在 iOS11 系统或同版本的模拟器中运行。目前,它只能用于识别猫的图片,实时视频的识别将在稍后加入(可以看看 Forge:https://github.com/hollance/Forge,一个用于 iOS10 的 Metal 神经网络工具包,和 MobileNet 共同使用可以处理视频)。
模型迁移
这个版本已经包含了完整的 MobileNet.mlmodel,所以你不必遵循这一章节的所有步骤。当然,如果你希望尝试,以下是如何将原版 Caffe 模型转换到.mlmodel 文件中的方法:
1. 从 Caffemodel 文件中下载模型,放到本项目中的根目录下。(注意,你不必下载 mobilenet_deploy.prototxt,它在本项目中已经存在。该实现作者还在尾部加入了一个原版缺失的 Softmax 层)
原 Caffe 实现连接:https://github.com/shicai/MobileNet-Caffe
2. 在终端加入如下代码:
$ virtualenv -p /usr/bin/python2.7 env
$ source env/bin/activate
$ pip install tensorflow
$ pip install keras==1.2.2
$ pip install coremltools
使用/usr/bin/python2.7 设置虚拟环境非常重要,如果你在使用其他版本的 Python,则转换脚本会崩溃——Fatal Python error: PyThreadState_Get: no current thread;同时,你需要使用 Keras 1.2.2 版本,而不是更新的 2.0 版。
3. 运行 coreml.py 脚本进行转换:
$ python coreml.py
这会生成 MobileNet.mlmodel 文件。
4. 通过禁止 virtualenv 进行清理:
$ deactivate
论文:MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications
论文链接:https://arxiv.org/abs/1704.04861v1
摘要
我们提出了 MobileNets:一种用于移动端和嵌入式视觉应用的新模型。它基于一种流线型架构,使用深度可分离卷积方法来构建轻量级深度神经网络。我们引入了两个简单的全局超参数,可以在延迟和准确性之间找到平衡点。这些超参数允许模型开发者针对应用面临的局限性选择正确尺寸的模型。在 ImageNet 分类任务中,我们的模型具有资源消耗和精度的平衡性,并展示了颇具竞争力的性能。我们也展示了 MobileNets 在多种不同应用中的有效性,其中包括物体检测、粒度分类、面部属性和大规模地理定位。
MobileNets 可以应用于多种识别任务,让设备实现智能化