Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

李雷、jiaxu、张秋玥、杨威、茶西、夏雅薇编译

我拿到了斯坦福、UCL、CMU、NYU的offer,关于博士申请你需要知道的一切

我曾深入研究过如何成功地申请博士学位,并得到了不错的结果:获得了斯坦福大学,华盛顿大学,伦敦大学学院(UCL),卡耐基梅隆大学(CMU)和纽约大学(NYU)的录取。

这篇文章是关于如何从零开始申请博士学位的一篇大杂烩,讨论了什么重要什么不重要,还论述了申请材料,如动机函(SoP)以及如何理解这些申请材料。

这篇博文主要着重于深度学习及相关领域(如自然语言处理计算机视觉强化学习深度学习的其他子领域)的博士学位申请。本文给出建议的前提是你已经拥有了相对较好的个人条件,这意味着你在你的领域可能已经发表了不止一篇文章,并且你曾与多人进行合作研究。本博文旨在帮助你提升成功申请到顶级专业学位的机会。

在这篇文章中,首先定义博士申请中的重要内容。然后深入研究申请材料以及如何理解这些内容。之后将谈谈申请流程。最后将讨论学校的选择。

怎样做出一份有竞争力的博士学位申请

任何研究型大学录取的最重要决定因素是做科研的潜力:你有多大可能成为一名优秀的研究人员?主要的直接相关指标如下(按重要性排序):

1、推荐信:要有受人尊敬的教授给你高度评价,因此私人关系很重要。

2、研究经历:你之前做过成功的研究成果,根据发表的文章数量,是否第一作者,以及这些出版物发表场合(研讨会)的权威性来衡量。

其他间接因素如果很优秀有时也可能有所帮助,但通常只有前面两个因素(推荐信和研究经验)起决定意义。以下间接因素按其重要性排序:

1、申请人本科就读的大学:某些大学对此比较在意,其他大学则不一定。

2、雇主:被录取的学生通常曾在金融行业或像Google,Facebook这样的公司工作过。

3、聪明:完美的GPA成绩和GRE与智力是有一定关联的(或至少与你学习和理解的速度有关)。

4、勇气/责任心:你在持续被拒,和遭受失望和失败打击的情况下依然做得很好。如果你遇到并克服过某些困难,你可以把这些故事写进入动机函中。

5、成就:你赢得的数学或计算机科学(CS)比赛。

6、获奖:你获得的知名奖学金或学术奖金。

7、擅长数学或工程学:你开发过开源项目或者为开源项目做过贡献。你写过的研究代码。

8、家庭背景:父母是教授。

理解申请所需的材料

推荐信

对于推荐信,可以分为四等:优,良,弱和差。请注意,录取委员在推荐信中寻找的主要因素是研究潜力。本章节的主要目的是让你了解什么是有力的推荐信,这些信息可以使你更好地选择推荐信的作者。

差推荐信的特点:

1、你的推荐信作者认识你,且写了你的坏话。尤其是在美国,即使最轻微的批评都会很糟糕。

2、你的推荐信作者不认识你(你上过她的课,但你没有给她留下任何印象)。

3、你的推荐信过于简短,只说你在课堂上表现很好。

弱推荐信的特点:

1、你的推荐信作者只是从课堂上认识你。

2、你的推荐信写的不错,但作者只写了课堂上的成就:课内项目做得好; 课堂上有生动有趣的讨论。

3、推荐信作者对你的研究没有发表评论。

4、录取委员会或潜在的新生指导教授都不知道推荐信作者是谁。

良好推荐信的特点:

1、动机函中提到的新生指导教授中至少有一位了解推荐信作者的名字和工作。

2、推荐信作者与你一起做过研究。

3、推荐信作者在轶事中提到了你出色的研究能力,这些轶事证明了你的创造力,担当,毅力和研究技巧。

4、推荐信作者提到你是怎样发表研究报告的。

5、推荐信作者对你额外做的研究做出了评论。

优秀推荐信的特点:

1、美国式的推荐信:你的成就遍布整篇推荐信。每件小事都做得很完美就已经很了不起了。

2、推荐信作者英语水平极佳。

3、评审员至少有一位教授私底下认识推荐信作者。

4、推荐信作者因善于推荐而闻名(之前推荐的学生成绩非常好)。

5、推荐信作者在轶事中提到了你出色的研究能力,这些轶事证明了你的创造力,担当,毅力和研究技巧。

6、推荐信作者提到了你的间接助力研究的能力(工程技能,演讲能力,人际关系技能),并将这些能力包含在轶事中。

7、推荐信作者对你做过的其他研究做出了评论。

有几点需要注意一下:

  • 轶事很重要,因为这体现了推荐信作者真的了解你。而且轶事也更适合阅读,毕竟故事比流水账要有趣得多。

  • 推荐信并不需要列明每件事是“坏”还是“好”。写推荐信是门技术活。

  • 如果有多封推荐信,那么最好每封信都有一定的差异。一封关于研究技巧的优秀推荐信,外加一封关于关于工程技能(实习经验)的良好推荐信,以及一封关于课堂或项目工作表现的良好推荐信是一个很好的组合。这种组合胜于三封分别为优、良、弱的研究能力推荐信。

了解论文发表

作者顺序

发表的论文是你科研经验和能力的直接证据。如果你以第一作者发表论文,大家会知道你做了大部分的工作。如果你以第二作者发表论文,大家会知道你的贡献也不少(25%-50%)。如果你的名字在第三作者或以后,你的贡献将大打折扣,但你有可能参与了从研究到文章发表的全部过程并且获得了大量的研究经验。如果你以第一作者身份发表过一些文章,再有一篇以第三作者发表的文章会很加分:这表现出你的团队合作能力。

会议的威望

如果你在高水平会议上发表过文章,这意味着1.你的工作质量很高;2.你的工作内容有可信度;3.你现有的研究能力足以让你在高水平会议上发表文章;4.你具备在高压下保持高效的能力。

假如从潜在导师的视角出发:如果你有两个学生,一个已经发表文章在NeurIPS(A级),另一个发表在B级会议上。你会得知第一个学生可能已准备好参与明年针对NeurIPS的研究项目。第二名学生还需要进一步的准备,如在进入NeurIPS之前,在研讨会或竞争较少的A级会议上发布文章。对于第二个学生而言,他可能需要一年多的时间才能获得在A级会议上发表文章所需的研究技能。将学生推向NeurIPS可能会给导师带来压力,所以与已具备必要研究技能的人合作更容易。如果导师和学生之间的压力较小,那么就更容易建立强大的专业关系,这使得彼此合作更流畅愉悦。因此,导师根据你发表文章的会议级别进行选择是很有道理的。

创造力,引用,及其他

其他指标对于申请的影响就不大了。你的工作可能很具有创造性,但你并没有证据证明你是个有创造力的研究员。你可能只是运气好。

文章的影响力随时间的推移会产生变化。如果你的文章在博士申请前不久才发表,将意味着文章被引用次数或者影响力较小。如果短时间内你的引用次数较高,可能会是个加分项,但有可能是运气原因或者你擅长营销。通常来说,过去1-3年内的引用次数并无法作为研究潜力的参考,因而可以被忽略。如果你的文章有5年以上引用历史那就不同了。但这种情况并不适用于大多数申请者。

了解动机陈述

对多数研究机构而言,动机陈述会帮助他们筛掉那些没时间对其陈述进行精加工的人。你的写作内容反映了你怎样思考,怎样推荐自己以及怎样阐述问题,但同时也会反应出你有多懒,对细节有多不重视。它也可以反映出你甚至没有花时间去Google一个简单模板来教教你怎样写(或者不要怎样写)这种简单的正式文件。对于一些研究机构而言,动机陈述是重要的(卡内基梅隆大学),但其中的具体内容并没有那么重要。

除了一般内容之外,动机陈述里你可以为你在某些课程上的不良表现做出解释。例如,你可以阐述你在研究生期间所遇到的困难,或者解释一下在某一学期某些课程方面的表现为何不尽如人意。动机陈述的结构如下:

1、介绍你的研究兴趣点,并附带一些引入语吸引读者往下阅读(一段)。这是最重要的一点:如果你不能在此处吸引你的读者,你很难使他们在阅读文章剩余部分是集中精力。

2、直到研究生期间你的研究经历

3、阐述你未来希望从事的研究

4、阐述你希望合作的人并表明原因

5、(选择性)在适当的时候解释下情有可原的情况。

在某些情况下,动机陈述可能对你的申请非常重要。 如果你能展现出良好的叙述潜力,虽然不是特别突出或糟糕,并且你克服了许多困难在做研究。

如果你的申请内容太强势并且记录了这个过程有多么不易,那么这很有可能会疏远你的读者(自大);如果你的申请太弱势也可能造成你读者的情感疏远(他们会觉得你是一个爱发牢骚的失败者)。你的申请内容中性偏好这才是最合适的度(展现出一个聪明人克服了重重困难)。举个例子,日字旁我有个特殊经历,我被禁止大学入学,那么此时我的动机陈述就非常重要,我可以解释在这些情况下我遇到了哪些困难。

然而,展现你所遇到的困难和你的弱点 – 如学习障碍和精神疾病 – 有时是一把双刃剑:你既有可能疏远你的读者,也有可能使他们对你产生同情从而欣赏你在困难中的坚持。如果你要披露这些事实,你的动机陈述一定要写得刚刚好并且要好好精修。如果没有有经验的写手指导,最好不要轻易尝试。但有些被社会广泛接纳的故事就不需要专家反馈了:你写一个故事讲述你如何在极度贫困的条件下上到大学现在意识到了自己读博的潜力,这种故事很容易打动别人;但你写一个故事讲述你如何克服了精神分裂和双向紊乱,这就不那么容易说服别人了。

如果你没有经历那些困难,一定不要编造毫无意义的故事:“作为美国上流社会的白人男性,我从小就被我所拥有的特权困扰,我的学习成绩因此受到了严重影响。”与其写成这样,不如把重点放在研究经历上。

了解 GRE,托福, 绩点

GRE托福考试和绩点都被用作筛选条件。一个很高的绩点会表明“一些能力”,并作为推荐信和发表文章的佐证。但如果你绩点全满却没有任何文章且推荐信不好的话-这样反而会更糟,因为这表明你的注意力都在课程而不是研究上。GRE托福考试就是纯粹的筛选条件:如果你的分数还可以,你就不会被筛掉。如果你的GRE成绩特别好,可能会有一点帮助,但是不如一个很高的绩点来得有用。GRE成绩不需要特别高:我凭借以下成绩拿到了3所美国前五的计算机项目offer:GRE 词汇部分159 (81%), 数量部分 163 (86%), 写作 5.0 (93%),托福120/120,绩点8.1/10.绩点3.5以上就可以了,再高不会有太大帮助,如果是4.0的话可以提一下。

了解简历该怎么写

直白地说,简历就是列出你所做过的事情。内容的确很重要,但内容取决于你之前所做过的已经无法更改的事情。不要试图通过用听起来漂亮的词语来或通过别出心裁地美化设计来改进你的简历——这只是浪费时间。只需要列出你所做的事情即可。

申请流程

如何向你的教授要推荐信

你要写两封邮件:(1) 问你的目标教授能不能给你写一封有力的推荐信。有丰富写推荐信经验的教授如果觉得不能给你写一封有力的推荐信,他们会直接拒绝你。这种情况下,我们只能换个目标下手了。(2) 如果你的推荐人同意为你写信,他们一般会要求你提供一些信息。你需要给他们提供你的履历表——要写成比较有趣的风格,举个例子:

  • 可以这么写:“有次开会时你告诉我,多做一些额外的工作的话,我们可以赶在NeurIPS截止日期前就完成研究。在接下来的两周内,我开发了一个改进的深层网络架构并开始撰写调查结果。其后的一周内,Jane完成了一项额外的任务,扩展了我的代码。然后我们就有了足够的研究成果来提交给NeurIPS。”

  • 不要这么写:“Jane和我在NeurlPS上发表了我们的研究。”

轶事还可以来自与博士和博士后们的交流,再举个例子:

“我与Tom一起开发了一个研究库,这项研究后来作为我们在NeurlPS上发表论文的主要框架。我花了大约一周时间来开发这个库,Tom告诉我说这个库的设计与后期表现都非常的好。”

你的老板随后就会去找那些博士或者博士后学生问更多问题,写出如下的描述:

“我的博士生Tom是我最精通工程学的学生之一。他与Jane一起做过一项研究项目。我们需要在开始研究之前开发语言建模的代码库。Tom把这个任务交给了Jane,估计需要3个星期。Jane在一周内完成了它。Tom告诉我,他在代码审查环节中检查了Jane的代码之后发现      Jane的工程能力与他自己的工程能力相当,甚至超过了他自己 - 代码质量非常高还闪电一般快。Jane的工程技能有助于研究思路的快速推进。因此,研究项目像在公园里散步一样从容。Jane在NeurIPS2020上发表了她的工作成果.....”

如果你有封信处于“好”的级别或之上,你应该考虑让你的字母更加多样化。例如,我使用了一封学术信,一份工业实验室信,以及一位知道我研究的讲师的一封信。

动机函(SoP,Statement of Purpose)

尽早开始准备,并向有经验的人寻求建议。如果你照我说得做就应该没什么问题。如果你想谈及读研之路上遇到的困难,你需要花很多时间在动机函上。实际上,动机函将在你所有的申请材料中占用最多的时间。

尝试重复利用一份动机函来申请不同的大学。为大学定制动机函太花费时间了。我在动机函中为申请不同大学唯一作出改变的部分就是我想与相应老板合作的内容。

在线申请

尽早开始填写在线申请表。有些表格设计不合理,需要花很长时间来填写,如果你能尽早把它搞定放在一边,专注于推荐信、大学选择和你的动机函,那就太棒了。你应当准备足够的钱来做这些申请。整个过程可能花费高达1000美元。如果钱不够,尽早向一些亲朋好友寻求帮助。

如何选校

我可以考上顶尖院校吗?

许多读这篇文章的人可能怀有就读斯坦福大学、麻省理工学院、伯克利或卡耐基梅隆大学等顶尖学校的梦想,但这个真的很困难。有些课程非常挑人。我整理了一所顶尖学校的入学统计数据,以及满足要求的申请人比例:

前2名本科学校:38%

前4名:52%

前20名:73%

每个国家的顶尖学校:84%

排名前三的硕士院校:89%

顶级会议至少4篇论文:93%

顶级会议至少3篇论文+最佳教师/青年科学家奖:98%

如何解读这些数据:满足每一条件的申请人占满足当前或之前条件的比例。例如,来自顶尖学校、前20名、前4名或前2名本科院校的人中有84%来自每个国家的顶尖学校。请注意,顶尖本科课程的学生通常也会附上论文和有力的推荐信。因此,如果你的本科学位不在前20所学校并且不是所在国家最好的学校,并且你在顶级会议上的论文少于3篇,那么你进入上述学校的先验概率约为2%。

如何进入顶尖院校?

上述统计数据并不意味着你肯定会被这些学校拒掉,但这意味着如果你的申请资料太弱,你应该再花一年时间来增强你的背景实力。例如,我将我的硕士学位延长了一年,以便进行一年的研究实习。没有这个,我就永远不会进入这些学校。如果你的梦想是进入这些顶级学校之一,这是目前最好的选择。即使你不一定想进入顶尖学校,研究实习也非常值得拥有。

研究实习将为你提供:

  • 更高的研究技能,使你可以更轻松地开始攻读博士学位。

  • 测试博士项目或某个研究方向(比如自然语言处理(NLP)vs 计算机视觉 vs 系统)是否适合你。

  • 一份有力的推荐信(实习时间越长越好)。

  • 发表文章。

找研究实习说起来容易做起来难!你该如何找到一份研究实习呢?

我的下一篇博文将详细介绍如何为明年申请季、增强你的申请实力。

一份切实可行的选校策略

你应该申请大约10-15所大学。如果你申请更多,那你可能会面临没有足够时间来真正改善申请材料的实际问题。如果你申请不足,就可能面临没有offer。

你应该有1-2所成功概率高于75%的保底院校。通常,你已经就读的大学就是一个很好的备选,因为招生办八成会认识你的推荐信作者。申请所有有希望(> 10%成功概率)入学的顶尖大学。剩下的其他大学选择成功概率可能有25-33%的院校——你应该申请至少3所这样的大学。这些大学通常是推荐信作者与你潜在未来老板有个人联系的大学。

请注意,最好的导师不一定都在顶尖学校。你也可以在前20名以外的许多学校获得极好的读博机会。但是,如果你考虑到学术生涯,那么学校的级别将非常重要,你应该尝试在顶尖学校找到一名导师。

选择大学主要是根据潜在的导师。确保每所大学都有多个你想要合作的导师。不要申请仅有一位优秀导师的大学。如果你的导师列表太小,请拓宽你感兴趣的领域。例如,如果你想从事深度学习自然语言处理(NLP),但找不到合适导师,请考虑计算机视觉或其他领域的一些导师。

常规问答

4年制英国博士学位 VS 6年制美国博士学位

在美国读博的前1-2年,你必须完成不少的课程,这是因为美国博士学位是面向本科生的。相反,英国博士学位课程面向已经拥有(1年)硕士学位的学生,课程较少;所以,在英国读博士你可以一开始就从事科研工作,这可能是一个很好的优势。

美国博士:

  • 面向本科生

  • 1-2年制课程. 课程脱离于科研。

  • 入学有资金保证,即你有担任科研助理或助教职位的机会。

英国博士:

  • 面向科研生

  • 0.25-0.5年制课程, 你可以自始至终专注于科研

  • 读博费用通常取决于你的导师。这就是为什么在申请之前与潜在导师取得联系(搞好关系)非常重要。

如果你不那么有声望(在大多数情况下),在获得博士学位后想在学术机构供职是非常困难的。由于偏见,获得展示或最佳论文奖等都将更困难

当然还要考虑地方效应。如果你在美国学习,你就会进入美国的科研圈。同样你在欧洲或亚洲学习也是如此。例如,欧洲的科研人员了解世界范围内“著名”的科研人员,但除此之外,比起一般的美国大学,他们了解更多的欧洲大学(例如Stony Brooks大学 vs谢菲尔德大学)。其他地方也是如此。如果你渴望加入欧洲学术界,且进不了美国顶尖学校,这样的话就应该申请大多数欧盟大学。

申请博士需要硕士学位吗?

在欧洲大陆,学士学位通常为3年,你需要取得硕士学位才能获得博士学位。在美国和英国,学士学位通常为4年,你可以在取得学士学位之后立即攻读博士学位。

工作经验重要吗?

如果你有在著名机构(谷歌,Facebook,麦肯锡,高盛等)的工作经历,那将非常有用。其他与软件工程相关的工作经验虽然都可以帮到你,但对你来说,还是科研经验(科研实习)更具优势。如果你只是有一份好工作而没有科研经验,这些工作经验对你并没有什么帮助。

如何选择导师?

查看最近的发表文章,以寻找具有相同“兴趣”(相似科研方向)的潜在导师。避免与最近没有发表论文的学者共事。无需与你目前的研究内容重叠,但你必须对导师正在进行的科研工作感兴趣。

查看毕业的学生名单以及他们现在的位置。如果你找不到毕业的学生名单这是一个危险的信号(或者这是个新教师)。毕业生名单是你获得建议和了解培训质量的良好指标。

导师有创业经历吗?导师有多少学生?这些因素的组合是一个很好的指标,可以知道可以占用导师多长时间。根据你在科研方面的经验,你再选择需要一个时间多还是少的导师。

同一部门是否有后备导师选择?有时候人际关系无法解决问题。通过第二导师作为备胎来保护自己。

每个人都应该读博吗?

如果你想在学术机构工作,你需要具备博士学位。

在工业界,一切事情都受供需关系的制约。未来几年,人工智能科研人员的供给将急剧增加。如果AI炒作泡沫破灭,需求将会减少。

这种情况可能与数据科学家在2018年面临的情况非常相似:公司只接受经验丰富的申请人,因为供大于求。在这种情况下,如果你想要换工作或晋升,博士学位将会产生很大的影响。你现在可能没有博士学位,但仍然会被雇用;但没有博士学位,如果你想转到另一个科研实验室,你可能会遇到问题(因为有技能的博士供给较多,而需求则很少)。

如果AI炒作没有破灭(不太可能),那么你可以在没有博士学位的情况下轻松找到并换工作。然而,晋升机会仍然更加困难,与科研相比,你可能需要做更多的“科研工程工作”。如果你对科研工程师的职位感到满意,那么博士学位对你来说可能毫无用处。

如果为了上述原因,没必要攻读博士学位。如果你不想做科研,也不要攻读博士学位。

需要在申请前请联系导师吗?

在美国不要这样做。但在欧盟,有时需要在申请前联系潜在的导师。如果你需要这样做,请私下尝试从一些认识你潜在导师的人那里了解,例如,你的学士或硕士论文导师。如果你与导师没有私交,建议你写一封电子邮件:

  • 介绍一下你当前的导师

  •  一句话描述你过去的工作(可选:你在哪里发表的文章?)

  • 描述一下你将来可能与导师能一起合作的四个点,用一句话解释这四个想法

如果你和导师没有私交,他不太可能阅读或回复你的邮件。如果你没有私教还申请了欧盟(英国)大学,那么再申请一些别的地方的学校作备选。

如何为你的研究计划选择课题?

研究计划的课题并不紧要。没有人会日后真的要求你做研究计划中描述的课题。你可以根据对应不同学校申请的普适程度来选择你的研究计划。如果不需要为申请重写计划的话,可以帮你节省大量时间。还有一件事:你对某个科研主题越熟悉,就越容易写出好的研究计划。

如果你想获得更多关于博士生入学的综合信息,建议你阅读Academia StackExchange网站上所有最高投票的问题和答案。还有其他重要文档,如“计算机科学专业博士课程申请指南”,这是卡耐基梅隆大学(CMU)发布的完整录取过程的详细说明。类似的但更简洁些的文章(针对已经条件不错但还没达到杰出的申请人),如也是出自CMU的博文“关于计算机科学(CS)研究生招生的反思”。

StackExchange网站:https://academia.stackexchange.com/questions?sort=votes

计算机科学专业博士课程申请指南:http://www.cs.cmu.edu/~harchol/gradschooltalk.pdf

算机科学(CS)研究生招生的反思:https://da-data.blogspot.com/2015/03/reflecting-on-cs-graduate-admissions.html

相关报道:http://timdettmers.com/2018/11/26/phd-applications/

大数据文摘
大数据文摘

秉承“普及数据思维,传播数据文化,助⼒产业发展”的企业⽂化,我们专注于数据领域的资讯、案例、技术,形成了“媒体+教育+⼈才服务”的良性⽣态,致⼒于打造精准数据科学社区。

入门博士CMUUCL斯坦福大学
4
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

先验概率技术

在贝叶斯统计中,某一不确定量p的先验概率分布是在考虑"观测数据"前,能表达p不确定性的概率分布。 它旨在描述这个不确定量的不确定程度,而不是这个不确定量的随机性。 这个不确定量可以是一个参数,或者是一个隐含变量(英语:latent variable)。

人工智能技术

在学术研究领域,人工智能通常指能够感知周围环境并采取行动以实现最优的可能结果的智能体(intelligent agent)

数据科学技术

数据科学,又称资料科学,是一门利用数据学习知识的学科,其目标是通过从数据中提取出有价值的部分来生产数据产品。它结合了诸多领域中的理论和技术,包括应用数学、统计、模式识别、机器学习、数据可视化、数据仓库以及高性能计算。数据科学通过运用各种相关的数据来帮助非专业人士理解问题。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

自然语言处理技术

自然语言处理(英语:natural language processing,缩写作 NLP)是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言;自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

强化学习技术

强化学习是一种试错方法,其目标是让软件智能体在特定环境中能够采取回报最大化的行为。强化学习在马尔可夫决策过程环境中主要使用的技术是动态规划(Dynamic Programming)。流行的强化学习方法包括自适应动态规划(ADP)、时间差分(TD)学习、状态-动作-回报-状态-动作(SARSA)算法、Q 学习、深度强化学习(DQN);其应用包括下棋类游戏、机器人控制和工作调度等。

暂无评论
暂无评论~