最近，谷歌研究员，深度学习库 Keras 作者 François Chollet 对 Facebook 事件发声，阐述了自己对于 AI 发展的担忧和建议。
社交网络服务正越来越多地控制我们消费的信息，我们从新闻流中看到的东西已经变成了算法的「策划」。社交媒体算法会越来越多地决定我们阅读哪些文章、看到哪些电影预告片、我们保持联系的对象，以及我们收集到的，表达意见的反馈。——François Chollet
声明：这些是我个人的观点，不是替我的雇主发言。如果你引用这篇文章，请如实地陈述这些观点：它们是个人的、推测性的，是非对错请自行评判。
如果你出生在 20 世纪 80 年代和 90 年代左右，可能还记得现在已经绝迹的「电脑恐惧症」，在 21 世纪初的一段时间，我亲眼目睹过这一现象——随着个人电脑进入我们的生活，出现在工作场所和家里，很多人都表现地很焦虑、恐惧甚至出现攻击行为。虽然我们中的一些人被计算机所吸引，并对它们潜在的潜力充满敬畏，但大多数人并不了解它们。他们觉得它们很奇怪和深奥，在许多方面会受到威胁。人们担心会被技术取代。
我们中的大多数人对技术转变很反感，甚至很恐慌。或许任何变化都会导致这种现象。但很明显，我们担心的大部分事情最终都不会发生。
一晃几年过去，电脑反对者已经学会了生活在电脑的时代并享受它们带来的便捷。计算机并没有取代我们，也没有引发大规模的失业——现在我们不能想象没有笔记本电脑、平板电脑和智能手机的生活。可能会「带来威胁」的变化已经转变成为带来舒适的现状。但与此同时，由于我们不再担心，电脑和互联网的出现对我们产生了威胁，这些威胁几乎没有人在 20 世纪 80 年代和 90 年代警告过我们。无处不在的大规模监视，黑客对我们设备或个人数据追踪，社交媒体的心理异化，我们耐心和专注能力的丧失，易受影响的政治或宗教激进化的思想，敌对的外国实力通过社交网络对西方民主国家的破坏。
如果我们大部分的恐惧都被认为是荒谬的，相反地，过去由于技术变化而发生的真正令人担心的发展都是发生前大多数人的不担心造成的。一百年前，我们无法真正预测到我们正在发展的运输和制造技术会导致一场新形式的工业战争，在两次世界大战中摧毁数千万人。我们并没有早早意识到收音机的发明会促成一种新的大众宣传形式，促进了意大利和德国的法西斯主义的兴起。20 世纪 20 年代和 30 年代理论物理学的进展并没有伴随着关于这些发展如何能够形成核武器，使世界永远处于即将毁灭的威胁之下的报刊文章。而现在，即使数十年来关于我们这个时代最严重的问题——气候——已经迫在眉睫，美国大部分的公众（44%）仍选择忽视它。作为一个文明，我们似乎很难正确识别未来的威胁并对它们有合理的担心，正如我们似乎非常容易因荒谬的恐惧而出现恐慌一样。
现在，与过去很多次一样，我们正面临着一场根本性变革的新浪潮：认知自动化，可由关键字「AI」大致概括。就像过去很多时候一样，我们担心这种新技术会伤害我们——人工智能会导致大规模失业，或人工智能会有自己的力量，变成超人，并选择摧毁我们。
图片来源： facebook.com/zuck
但如果我们担心错误的事情，就像之前我们每次担心的一样呢？如果人工智能的真正危险远远不是许多人今天惊慌的「超级智能」和「奇点」观点呢？在这篇文章中，我想提高人们对人工智能真正担心的问题的认识：人工智能所实现人类行为的高效、高度可扩展的操纵，以及企业和政府的恶意使用。当然，这不是认知技术发展产生的唯一的有形风险——还有很多其他的，特别是与机器学习模型在害偏见有关的问题。其他人比我对这些问题更加警惕。我选择写有关关于大规模人口操纵的文章是因为我认为这种风险很迫切而且不甚明显。
现在这种风险已成为现实，并且在接下来的几十年里，一些长期的技术趋势将会进一步放大这种风险。随着我们的生活越来越数字化，社交媒体公司越来越了解我们的生活和思想。与此同时，他们越来越多地通过行为控制向量，特别是通过算法新闻，控制我们的信息消费。这将人类行为变成了一个优化问题，一个人工智能问题：社交媒体公司可以迭代调整其控制向量以实现特定行为，就像游戏人工智能会迭代改进其游戏策略来得分升级。这个过程中唯一的瓶颈是循环中的算法智能，正如发生的这样，最大的社交网络公司目前正在投入数十亿美元进行基础人工智能研究。
我来详细解释一下。
社交媒体作为心理学监狱
在过去的 20 年，我们的私人和公共生活已经向网上转移。我们每天花更多时间盯着屏幕，世界正在转向数字信息消费、修改或创造的阶段。
这种长期趋势的副作用是公司和政府正在收集有关我们的大量数据，特别是通过社交网络服务。我们与谁交流，我们说了什么，我们一直在消费什么（图像、电影、音乐和新闻），我们在特定时间的心情。最终，几乎我们感知的所有东西和我们所做的一切都会记录在某个远程服务器上。
理论上这些数据使收集它的对象为个人和团队建立非常准确的心理模型。你的观点和行为可以与成千上万的类似的人交叉关联，使你对你选择的内容产生不可思议的理解，可能比通过单纯的反思可实现的预测性更强（例如，Facebook 通过算法评估出的你的个性比你的朋友更准）。这些数据可以提前几天预测你何时开始新的关系（以及和谁），以及何时结束当前的关系。或谁有自杀的危险。或你在一个选举中即使在犹豫不决的情况下最终会投哪一方。而且这不仅仅能对个人级别进行分析，而且对大型群体更有预测性，因为平均行为会排除随机性和个人异常值。
数字信息消费作为一种心理控制向量
这并不会停留在被动的数据收集消费。社交网络服务正越来越多地控制我们消费的信息，我们从新闻流中看到的东西已经变成了算法的「策划」。不透明的社交媒体算法会越来越多地决定我们阅读哪些文章、看到哪些电影预告片、我们保持联系的对象，以及我们收集到的，表达意见的反馈。
通过多年的曝光，我们消费信息的算法处理使算法对我们的生活掌握了相当大的权力，包括我们是谁，我们成为了谁。如果 Facebook 长时间决定你看的新闻（真实的或假冒的），你看的政治地位的变动，以及看你新闻的人，那 Facebook 就会实际控制你的世界观和政治信仰。
Facebook 的业务根基在于影响人心，也就是向客户推销服务——广告，包括政治广告。因此，Facebook 已经建立了一个微调算法引擎来实现。这款引擎不仅能够影响你下一次购买哪个品牌的智能音箱，还可以影响你的情绪，通过调整给你呈现的内容来随意地让你生气或快乐。它甚至可以改变选举。
人类行为作为优化问题
总之，社交网络公司可以同时了解我们的一切，并控制我们的消费信息。这个趋势正在加速，当你可以接触感知和行动时，那就是 AI 问题。你可以开始建立一个针对人类行为的优化循环，在这个循环中，你可以观察目标的状态并不断调整提供给你的信息，直到开始观察你想要查看的选择和行为。人工智能领域的一大部分，特别是「强化学习」，是尽可能有效解决这些优化问题的算法研究方向，趋向于闭环流程，对手头的目标进行完全控制，也就是对我们进行完全控制。通过把我们的生活转移到数字领域，我们更容易受到人工智能算法的影响。
人类行为的强化学习循环
由于人类的思想非常容易受到社交操作的简单模式的影响，所以这一切变得更加容易。例如，考虑以下的攻击向量：
身份强化：这是历史上最早的广告就开始利用的老技巧，仍和之前的效果一样好，包括将给定的看法与您确定的标记相关联（或希望你做了），从而让你自动掌握目标的想法。在人工智能优化社交媒体消费的背景下，控制算法可以确保你只能看到它希望你看到的和你自己的身份标记共同出现的观点，相反地，它不希望你看到算法不想让你看到的观点。
消极的社交强化：如果你发表了一篇文章，表达了控制算法不希望你持有的观点，系统可以选择只将你的帖子呈现给那些持有相反观点或极度批判这些观点的人（可能是熟人，陌生人或机器人）。反复多次，这种社会反弹可能使你偏离你的初始观点。
积极的社交强化：如果你发表了一篇文章，表达了控制算法希望传播的观点，那么它可以选择将它只呈现给「喜欢」它的人（甚至可能是机器人）。这会使你的信念加强，让你觉得你是支持大多数人的一部分。
取样偏差：算法也可能向你呈现你朋友（更可能是媒体）发布的支持算法希望你持有的观点的帖子。置身于这样一个信息泡沫中，你会觉得这些观点获得的支持比实际更多。
参数个性化：该算法可能会观察将特定的内容呈现给某些心理属性与你相近的人，导致它想要的观点上的转换。然后，它可能给你呈现一些对于具有你的特定观点和生活经验的人而言会最有效的内容。长期如此，该算法甚至可以从头开始生成这些最有效的内容，尤其对于你来说。
从信息安全的角度来看，你会称这些漏洞为：可用于接管系统的已知漏洞。就人类头脑来说，这些漏洞永远不会被修补，它们只是我们工作的方式，存在于我们的 DNA 中。人类的思维是一个静态的、易受攻击的系统，会越来越多地受到更加聪明的人工智能算法的攻击，这些算法将同时查看我们所做的和相信的所有事情，并完全控制我们消费的信息。
当前的情况
值得注意的是，将人工智能算法放在我们的信息饮食中引起的大规模人口操纵，特别是政治控制，不一定需要非常先进的人工智能。你不需要自我意识，超级人工智能是一个可怕的威胁——即使目前的技术可能就已经足够了。社交网络公司已经研究了几年，并取得了显著的成果。虽然他们可能只是试图最大化「参与」并影响你的购买决定，而不是操纵你的世界观，但他们开发的工具已经被敌对国家为了政治目的而劫持——如 2016 年英国脱欧公投或 2016 年美国总统选举。这已经是现实，但如果现在大规模人口操纵已经成为可能，那理论上来说，为什么世界还没有被颠覆呢？
简而言之，我认为这是因为我们对人工智能的了解还不够，但可能马上就不是这样了。
直到 2015 年，业界的所有广告定位算法都只是在逻辑回归上运行。事实上，很大程度上现在仍然如此，只有最大的玩家转向了最先进的模式。Logistic 回归出现在计算时代之前，是用于个性化的最基本的技术之一。这就是为什么你对网上看到的这么多广告都不感兴趣的原因。同样，敌对国家用来影响公众舆论的社交媒体机器人几乎没有用 AI。目前它们都非常原始。
近年来机器学习和人工智能取得了飞速的进展，才刚刚开始部署针对算法和社交媒体机器人。2016 年机器学习才开始进入新闻传播和广告网络，谁也不知道接下来会发生什么。Facebook 在 AI 研究和开发方面投入了大量资金，它明确的目标是成为该领域的领导者，这一点非常惊人。当你的产品是社交新闻推送时，自然语言处理和强化学习有什么用呢？
我们正在看着一家这样的公司，该公司可为近 20 亿人类构建细致的心理特征模型，作为其中许多人的主要新闻来源，运行大规模的行为操纵实验，旨在开发目前为止的最佳人工智能技术。对我来说，它令我害怕，而且我认为 Facebook 甚至可能不是最令人担心的威胁。许多人喜欢假装大公司是现代世界的全能统治者，但他们拥有的权力与政府相差甚远。如果对我们的思想进行算法控制，政府可能会成为最差的行为者，而不是公司。
现在，我们能做些什么呢？我们如何保护自己？作为技术人员，我们做什么才可以通过我们的社交新闻推送来避免大规模操纵的风险？
硬币的另一面：AI可以为我们做什么
重要的是，这种威胁的存在并不意味着所有的算法策略都不好，或者说所有的目标广告都不好。相反，这两者都可以起到有价值的作用。
随着互联网和人工智能的兴起，将算法应用于我们的信息获取路径不仅仅是必然的趋势，而且是一个理想的趋势。随着我们的生活越来越数字化和互联，信息越来越密集，我们需要人工智能作为我们与世界的接口。长远来看，教育和自我发展将是人工智能最有影响力的应用之一，这将是动态的，这些动态变化几乎完全反映了试图操纵你的恶意 AI 支持的新闻推送。算法信息管理帮助我们的潜力很大，使人们更好地发挥他们的个人潜力，并帮助更好地管理社会。
这个问题不是 AI 本身，问题在于控制。
我们不应该让新闻推送算法操纵用户实现不透明的目标，比如动摇他们的政治观点，或者极大地浪费他们的时间，而应该让用户控制算法优化的目标。毕竟，我们谈论的是，关于你的新闻、你的世界观、你的朋友、你的生活，技术对你的影响应该由你自己来控制。信息管理算法不应该是为了服务与我们自身利益相反的目标而设计的神秘力量；相反，他们应该成为我们手中的工具，一种可以实现我们目的的工具，比如教育和个人而不是娱乐。
这里有一个想法——任何大规模采用的算法新闻采访应该：
透明地传达推送算法目前优化的目标，以及这些目标如何影响你的信息获取。
给你设定这些目标的直观工具，例如，应该可以配置新闻源在特定的方向最大限度地提高学习和个人成长。
具备始终可见的特性，测量你在 Feed 上花费的时间。
具备工具可以控制在优化 Feed 上花费的时间，例如每日的时间目标，算法将通过此目标设计让你脱离优化 Feed。
在保持控制的同时用 AI 加强自己
我们应该建立人工智能来为人类服务，而不是为了利润或政治利益来操纵它们。如果新闻算法不像赌场运营商或宣传人员那样运作，事情会变成什么样？如果它们更接近一位导师或一个好的图书管理员，通过对你的心理以及其他数百万其他人员的心理的敏锐理解，向你推出一本最能引起你共鸣并使你成长的一本书。一种你生活的导航工具——人工智能可以引导你通过体验空间的最佳路径到你想去的地方。你能想象经历过数百万生命的系统的镜头来看待自己的生活吗？或者与一个读过每本书的系统一起写书？又或者与一个能看到当前人类知识全部范围的系统合作研究？
在完全控制与你交互的 AI 产品中，更复杂的算法而不是威胁，将会是一个积极的方面，它可以让你更有效地实现自己的目标。
构建反脸书
总的来说，，未来人工智能将成为我们与数字信息组成的世界的接口。这同样赋予个人更大的生命控制权，甚至可能完全没有机构。不幸的是，今天的社交媒体正在走一条错路，我们很久之后才能扭转局面。
而业界需要开发激励使影响用户的算法受用户控制，而不是通过人工智能利用用户的思想来获取利润或政治利益的产品分类和市场。我们需要努力实现反脸书（anti-Facebook）的产品。
在遥远的未来，这些产品可能会是 AI 助手的形式。数字导师编程帮助你，使你控制与它们交互时想要达到的目标。在目前，搜索引擎可以被看作是 AI 驱动信息界面的早期的、更原始的例子，它为用户提供服务而不是试图绑架他们的心理世界。搜索是查找特定目标时特意用的工具，而不是被动地让你接收选举人向你推荐的东西。你应该辨别它可以为你做什么。搜索引擎应该尝试最小化从发生到解决，从问题到答案的时间，而不是最大化地浪费你的时间。
你可能会想，因为搜索引擎仍然是我们和我们消费的信息之间的 AI 层，它是否可以使它的结果更倾向于试图操纵我们？是的，每种信息管理算法都存在这种风险。但与社交网络形成鲜明对比的是，这种情况下的市场激励实际上与用户需求一致，使搜索引擎尽可能相关和客观。如果它们不能最大限度地发挥作用，那么用户转向竞争产品基本没有阻碍。重要的是，搜索引擎比社交新闻的心理攻击范围小的多。我们在这篇文章中描述的威胁需要产品中出现 以下大部分特点：
感知和行动：产品不仅应该控制显示给你的信息（新闻和社交更新），还应该能够通过「喜欢」、聊天信息和更新的状态来「感知」你当前的心理状态。没有感知和行动，就不能建立强化学习循环（reinforcement learning loop）。作为古典传播的潜在渠道，只读优化推送有害无益。
我们生活的中心性：产品应该是至少一部分用户的主要信息来源，典型的用户应该每天花费几个小时在上面。辅助和专业性的推送（feed）（如亚马逊的产品推荐）不会是一个严重的威胁。
社会的组成使心理控制向量（特别是社会强化）更广泛和有效，客观的新闻推送只占我们思想的一小部分。
业务激励意在操纵用户并使用户在产品上花费更多时间。
大多数 AI 驱动的信息管理产品都不符合这些要求。另一方面，社交网络是风险因素可怕的组合。作为技术专家，我们应该倾向于那些不具备这些特征的产品，抵制将它们结合在一起的产品，只要因为他们有可能发生危险的滥用行为。建立搜索引擎和数字助理而不是社会新闻源，使你的推荐引擎透明、可配置、富有建设性，而不是像投币口一样的机器——最大限度地提高「参与度」，浪费人们的时间。公司应该将精力投资在用户界面、用户体验和人工智能专业知识上，为你的算法构建好的配置面板，使你的用户能够按需使用你的产品。
重要的是，我们向用户普及这些问题，防止他们拒绝操纵产品，导致足够的市场压力使技术行业的激励机制与消费者的激励机制被迫调整。
结论：前方路上的岔路口
社交媒体不仅足够了解我们，可以为个人的团队建立强大的心理模型，还越来越多地控制我们的信息饮食。它有一系列有效的心理疗效，可以操纵我们相信的东西，我们的感受以及我们的所作所为。
一个足够先进的人工智能算法，可以连续循环访问我们的心理状态的感知和行动，可以用来有效地劫持我们的信仰和行为。
让 AI 作为我们的信息接口本身不是问题。这样人工智能交互界面，如果设计的好，有可能为我们所有人带来巨大的利益。关键是：用户应该完全控制算法的目标，将其用作实现自己目标的工具（与使用搜索引擎的方式相同）。
作为技术专家，我们有责任推销抵制不可控产品，并致力构建使用户控制的信息界面。不要将 AI 用作操纵用户的工具；相反，使 AI 作为用户的工具，使其在很多情况下获得更多的代理权。
一条路通向让我十分害怕的地方，另一条会通向更人性化的未来。我们仍有时间选择更好的一条。如果你使用这些技术，请牢记一点，你可能没有邪恶的意图，你可能根本不在乎，或你可以仅仅评估自己的受限股权（RSU），而不关注我们共同的未来。但是无论你是否在意，你掌握了数字世界的基础设备，所以你的选择会影响我们所有人。你最终必须向所有这些负责。
原文链接：https://medium.com/@francois.chollet/what-worries-me-about-ai-ed9df072b704
