Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

张秋玥、狗小白、蒋宝尚编译

机器学习竞争其实是一场数据上的竞争

人工智能的三大发展要素已经是老生常谈了。算法、算力和数据对机器学习的重要性和声望不亚于“谦哥”的喝酒、烫头和抽烟。

那些热衷竞争实施机器学习的公司现在惊讶地发现,其实,实施一些算法使机器变得对某一数据或问题更加智能并不困难。毕竟,这年头“即插即用”又很稳健的算法编程解决方案简直“烂大街了”。例如,从开源机器学习框架谷歌TensorFlow,到微软Azure Machine Learning以及亚马逊SageMaker,应有尽有。

所以,数据已逐渐成为了机器学习竞争中最关键的区分点。一个原因是高质量数据并不常见;另一原因是数据尚未商品化,公司企业之间存在着信息不对称。

希望借助AI一臂之力的企业需要寻求外部数据源,甚至这样的数据甚至可能需要他们自己创建。

有用的数据:有价值、又很稀少

数据逐渐变成竞争中的区分点是因为许多公司根本没有他们需要的数据。尽管几十年来,公司都在使用通用的会计准则这样的系统化方法来评估自己,但是这种评估方法一直关注于实体资产与金融资产,也就是实物和钱。2013年甚至给资产定价理论颁了一个诺贝尔奖,强化了已有的对实体或金融资产重要性的认知。

但是,今天最有价值的那些公司贸易对象是软件或网络,而不仅仅是实体或金融资产。在过去的40年内,资产类型的重心有了很大的变化:1975年,83%的有形资产占整个市场绝大部分份额;而2015年时市场中84%的资产是无形资产。今天的公司巨头们不再生产咖啡壶也不再售卖洗衣机,他们转而提供应用程序,软件等等。这样的转变造成了会计记账的对象和实际产生价值的对象极其不匹配。

结果就是有用数据的缺少已经成为了一个问题。市面价值与账面价值的差别越来越大。公司们正在试图利用机器学习辅助重要的商业决策来改善这一差别。有时,机器学习甚至会取代一些昂贵的咨询顾问们,而最后他们经常会意识到算法所需的数据压根不存在。所以实际上,那些闪瞎人眼的先进AI系统最后依旧只是在同样老旧的数据上试图实施新技术。

和人类一样,除非有人教,机器学习系统并不会精通任何领域。不过比起人类,机器会需要更多的信息来进行学习,并且它们确实比人类读取数据的速度更快。因此,表面上公司间会互相竞争谁拥有更好的机器学习程序员以及谁先启动AI项目,在幕后其实是对于数据新颖度和广泛度的竞争。

比如说在金融领域,可供选择的数据来源远远超过了传统证券交易报告以及投资者展示等。数据还可以来源于社交网络情感分析或者获批专利数量等。

这些数据源的重要性主要基于两点原因。首先,传统数据局限于传统资产,在当今无形资产当道的时代,覆盖面上远远不够。第二,并没有任何必要在市场上所有人都在分析的数据上使用机器学习方法。所有对此感兴趣的人都早已经尝试过分析产业趋势、利润率、增长率、息税前利润、资产周转率以及资产回报率和其它上千个常见的变量与股东回报率之间的相关性。

在所有人都在分析的数据上试图发现相关性并不会帮助公司取胜。相反,希望使用AI取胜的公司需要寻找新数据集之间的联系,因此他们可能必须自己创建那些新数据集来评估无形资产。

谨慎思考:你想知道什么?

创建数据比仅仅把销售点与顾客信息两个表聚合到一起然后丢进数据库复杂得多。大多数企业错误地相信通过这样一种权宜的方法能够预测或区分出他们关心的信息:把所有能找到的数据都大费周章地聚合到一起然后指望能够找到一丝希望之光。

尽管机器学习有时会突然发现某些从未有人意识到的事物从而使所有人都大吃一惊,但它并不能够持续稳定提供这样的洞察。这并不意味着这项工具很垃圾,这意味着我们需要更明智地使用它。但说起来容易做起来难:比如,在我们研究外部数据市场时,我们发现大多数新数据提供者依旧在关注实体与金融资产。

许多企业遗漏的一步是提出一项真正重要的假设。机器学习真正体现优越性之处在于,它们能够通过采用人类已经拥有的见解,这可以来自于经验法则、广泛认知或者几乎完全不被理解的相关性,来建设一种速度更快、更易于理解、更易于扩展且更低错误率的方法。

为了这样使用机器学习方法,不应向系统塞进任何你能找到的数据。你仅仅输入被谨慎思考过的一组信息,希望它能够学习并拓展,得到比人类掌握的更多的信息。

有意义的机器学习来自于不同的数据

以下是为希望搭建有影响力、有价值的机器学习应用的公司提出的三点建议:

1.成功的AI在于与众不同的数据。在你的竞争对手都已经掌握的数据上你是得不出什么新颖信息的。审视企业内部,找出只有你们知道并理解的信息并以此创建一个独特的数据集。机器学习算法确实需要大量的数据支持,但这并不意味着模型需要考虑大量变量。你应当把关注点放在企业已经具有独特之处的数据上。

2.有意义的数据比全面的数据好。你可能就某问题上拥有大量详尽数据,但它们可能压根没什么用。如果你的公司根本不会在决策过程中随时使用这些信息,那这样的数据八成对机器学习也没有什么价值。专业的机器学习工程师会询问许多困难的问题来找出什么才是真正重要的领域,以及那些领域将如何对该应用程序输出结果产生影响。如果这些问题对你太难了,那么你并没有为得到实际价值而仔细思考。

3.应当从你已知的信息出发。最善于利用机器学习的公司会从一个独特的视角出发,来找到与他们重要决策最为相关的因素。这将会指导他们去收集何种数据以及使用何种技术。就基于你们团队已经拥有的一部分知识之上进行拓展这个问题来着手是比较简单的,这也将为你企业创造更多价值。

很明显这个时代已经是“软件吃掉了整个世界”了(这个形容来源于软件工程师Marc Andreessen)。但它们依然很饥饿!软件们需要一份包含崭新数据与科技的食谱来持续创造价值。

没有人希望落后于这样的洞察、机器与外部数据的转变。那么,请从内部审视企业开始,去发掘你独特的见解以及你可以而且应该得到的有价值的外部数据来源。通过这些步骤,你才能够发现保持企业竞争力的相关洞见。

相关报道:https://sloanreview.mit.edu/article/the-machine-learning-race-is-really-a-data-race/

大数据文摘
大数据文摘

秉承“普及数据思维,传播数据文化,助⼒产业发展”的企业⽂化,我们专注于数据领域的资讯、案例、技术,形成了“媒体+教育+⼈才服务”的良性⽣态,致⼒于打造精准数据科学社区。

产业机器学习数据集
3
相关数据
Amazon机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
Microsoft机构

微软是美国一家跨国计算机科技公司,以研发、制造、授权和提供广泛的计算机软件服务为主。总部位于美国华盛顿州的雷德蒙德,最为著名和畅销的产品为Microsoft Windows操作系统和Microsoft Office办公室软件,以及Xbox的游戏业务。微软是美国《财富》杂志2015年评选的世界500强企业排行榜中的第95名。

https://www.microsoft.com/en-us/about
机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

TensorFlow技术

TensorFlow是一个开源软件库,用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品,如语音识别、Gmail、Google 相册和搜索,其中许多产品曾使用过其前任软件DistBelief。

数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

推荐文章
暂无评论
暂无评论~