人工智能读博路

刘春花

本科遇到人生导师

你有没有在小时候就渴望去远方，想看看世界是什么样子的？这个想法我一直有，一直想实现它。所以我一路从重庆乡里的小学考到县里的初中，再到区里的高中，又到北京的大学。现在我在墨尔本。

依旧记得2012年的夏天，我收到大学录取通知书时心里的不情愿。我填报的36个志愿里没有一个是计算机专业，却唯独被调剂到这个专业。带着对数学的害怕，对计算机的陌生，对未来所要从事行业的迷茫和无知，我踏入了大学校园，想着读完大一后立刻转专业。大一结束后，我却发现自己逐渐喜欢上了这个专业，也感受到这是一个就业前景很好的专业。随着人工智能的热度不断上升，行业所需的人才远远不够。

更重要的是，我遇见了一个对我影响深远的导师。

他就是我本科时的班主任和硕士时的导师——于东副教授，大家都亲切地称他为东哥。如果说高考被调剂是被老天安排的，那么后来我选择继续学习计算机专业，以及选择读研、读博，则都深深受到于东老师的影响。

大二暑假里，我跟着东哥一起参加了一个评测比赛。比赛的要求是构建一个人物属性抽取的系统，能够将维基百科文本中包含的人物出生、死亡日期，以及地址、家庭关系等25种人物属性抽取出来，最终将无结构的文本转换为结构化的知识。由于官方不提供训练语料，所以我们要手动对训练语料进行标注，之后才能进行模型的搭建。

最终，我们的模型赢得了评测的第二名。赛后总结时，我们发现由于比赛时间有限，很多工作都做得不够细致，比如当时采取的做法是对每一种类别的属性分别训练分类器，但其中有些属性之间是存在关联或交叉的，比如人物的组织机构隶属、职称、头衔等，往往会在文中同时出现。因为我们的分类器是针对单个类别进行训练的，所以当职称和头衔同时出现时，有可能出现一个能抽取出来，一个不能抽取出来的问题。

我不止一次听别人说，读博是他们从未后悔过的一件事情，也不止一次听别人说，读博很艰难。但我想，这就是我想要做的事情，即使困难，也得去做。不然，以后连后悔都来不及。

针对这一问题，大三开学后，我跟着东哥继续在这个课题上深入，我们希望模型可以精准地抽取人物的属性信息。在5个月的实验过程中， 有时候因为一个小bug要调很久代码，有时候在想法实现后发现并不奏效，每当我灰心丧气时，东哥总会对我说：“再坚持一下，希望就在前方。”并会给我及时的帮助和中肯的建议。在不断地尝试后，最终，针对人工标注的训练语料不够的问题，我们发现在百度百科人物页面的信息框里，存储着很多人物的属性信息，通过信息框中的属性值去文本中检索，便可获得大量的训练语料;针对属性的共现问题，我们通过分析组织机构之间的句法依存关系，同时提取出了两个属性类别。 最终，与评测比赛时的模型相比，改进后的模型在职衔履历属性上的性能提升了60%。

在这个过程中，为了赶上一个会议的截稿日期，东哥和我们一起写论文、补实验，经常工作到深夜。相对于提升实验性能，将核心思想精准地用文字表述出来，是一件更有挑战的事情。每次对比自己和东哥写的内容，我都会发现无论是在章节的框架构思，还是文字表达方面，自己依然存在不少问题，还需要更多的磨练。这就是我第一次接觸科研的真实体验。

为更多地了解计算机领域的科技前沿，在东哥的建议下，我选修了自然语言处理 （Natural Language Processing， NLP） 课程。NLP是人工智能领域的一个重要方向，它是一门融合语言学、计算机科学和数学的学科，旨在让计算机理解人类的语言。通过这门课程，我对NLP的基础任务有了不少新认识。很多人类觉得很简单的任务，如情感分析，常识问题等，对机器来说却是非常困难的事情。比如人可以很容易理解“吉姆安慰了凯文，因为他太伤心了”中的“他”指的是“凯文”而不是“吉姆”，因为一般都是被安慰的人情绪不好。又比如人能够凭直觉判断出“他把大象放进冰箱里”是一种反常识的行为，而“他把火鸡放进冰箱里”却是一件很正常的事情，因为大象比冰箱大，不可能直接放进去。但机器却很难理解哪种行为是日常生活中会发生的，哪些行为不太可能发生。再结合之前为数不多的科研经验，我觉得NLP是一个非常有用也很有挑战的方向。要想深入钻研它，本科学到的知识是远远不够的，所以读硕士选专业的时候，我毫不犹豫地选择了NLP方向。

对我而言，东哥是我专业的领路人，更是人生的导师。不论是学业上的问题，还是未来的规划，甚至是感情上的困扰，只要找东哥，他都会耐心倾听，并用他的方式来帮助我。在他的影响下，我不仅认定了计算机专业，还渐渐有了一个目标，就是要成为一名像他一样优秀的导师，把科研的、生活的知识传递给需要的人。

爱上做科研的感觉

读研期间，我享受讨论时思想不断碰撞的过程，学会了承受实验的失败，更重要的是，我爱上了做科研的感觉。当我看到别人发表的有趣的工作成果时，会特别兴奋;看到自己的想法被别人抢先实现时，也会特别激动。

然而，我研究生阶段的第一个科研工作却困难重重。从课题选择到论文的发表，经历了整整一年。在明确了科研方向要和推理相关，并阅读了大量论文后，我决定聚焦在自然语言推理任务上。这个任务需要首先给出一个前提句子和一个假设句，然后通过构建一个模型，来判断假设句能否根据前提句子推理得出。比如，前提句是“孩子们正从学校往家里走。” 我需要通过模型，判定能否推理出假设句——“孩子们在放学回家的路上。”或者“孩子们在教室上课。”如果可以推出，两个句子就是蕴含关系;如果不能推出，两个句子就是矛盾关系。

在刚开始的四个月里，我一直在尝试复现一个当时最好的模型，但无论如何都和论文中报告的结果相差了3个百分点。我也尝试过不以这个模型为基础，在别的模型基础上进行各种各样的改进，但效果始终没有第一次的模型性能好。几个月的时间都没有得到正面的反馈，我几乎都快放弃了。

直到两个月后某一天，我认识了我所复现模型论文的作者。在重新阅读他论文的过程中，我注意到一个细节，作者说他模型中有两部分的参数是共享的，而我的代码中这两部分参数并不共享，这就意味着我增加了将近一倍的训练参数，最终导致模型的性能达不到他所描述的效果。更正代码后，我终于看到了理想中的结果。

紧接着，我还要对这个模型进行改进。接下来的三个月，又是一轮阅读论文、和导师讨论可行性、做实验、观察结果、如果性能没有提升，继续思考和尝试下一个想法的循环。第十个月，我终于用模拟人类在推理过程中对两个句子中的相同部分和不同部分分开处理的机制，提升了模型的性能。

实验完成后，我决定写一篇论文投到一个自然语言处理的国际顶级会议上。第一次写专业论文，我没有一点儿经验，只好先一字一句总结别人在每个章节里每句话都说了什么，再想自己应该怎样写。同时，全英文的表达对我来说也是一个极大的考验。就这样，直到截稿前一分钟，我的第一篇论文才被投递出去。

两个月后，论文的评审结果出来了，三个评审里有一位评审选择接收，一位评审给了一个边界分数，一位评审拒绝。就这样，我的第一次投稿以失败告终。仔细想想，这个结果说明我的工作做得还不到位，所以我没有丧气。仔细参考了评委们给出的宝贵意见后，我开始进行论文的修改和实验的补充。一个半月后，我把论文投到国内的一个计算机自然语言处理会议上，并被顺利接收，主办方还邀请我做一个正式的发言。做完报告后，我拿到了优秀论文奖。

在这个过程中，我发现自己面对实验的失败、论文的拒收，内心都很平和并怀有希望。这个实验失败了，那就继续思考和尝试;这次论文被拒了，那就找原因，接着提高模型的性能，完善实验设计，修改文字表达。我始终没有放弃，是源于自己对科研的热爱，这种热爱在我感知到它之前似乎就已存在。

读研究生的三年，我真实感受了完整的科研流程，初步学习了做科研的方法，这更加坚定了我读博的想法。虽然博士阶段做科研的难度更大，对我们思考问题、发现问题、解决未知问题的能力有着更深一层的考验，但我并不害怕，因为这些能力正是我们人生重要的组成部分。我渴望通过读博对自然语言处理领域有更深入的了解，找到自己感兴趣的科研方向，成为一名独立的科研工作者，见识更加广阔的世界，结识更加优秀的人。

我不止一次听别人说，读博是他们从未后悔过的一件事情，也不止一次听别人说，读博很艰难。但我想，这就是我想要做的事情，即使困难，也得去做。不然，以后连后悔都来不及。

申博的考验

读硕第三年，我开始申请读博士。

关于读博，学校的选择固然重要，但我觉得更重要的是选择导师。自己与导师的研究兴趣是否一致，导师的能力是否足以指导我，以及导师在学界的影响力，是我着重考虑的。

导师的选择是一个漫长的过程，从2018年3月起，我就开始联系读博的导师。当时有一个我特别喜欢的导师，他对自然语言推断、因果推理、常识推理等方向都很感兴趣，他的科研方向和我硕士阶段的工作以及我未来想做的工作也非常吻合。很快，他发邮件给了我正面的回复，说他会在夏天来中国，帮我找一个实习的地方指导我的工作。当时我特别开心，也就没有再去找其他导师了。可一转眼暑假都过去了一半，导师才告诉我他实在太忙，没有时间处理我的事情。本以为未来已经明朗，却忽然回到原点，加上当时我的TOEFL和GRE都还没考，时间一下子变得十分紧张。

2018年9月，我开始准备考英语。身处语言大学的我，本来的计划是第一个月考完TOEFL，第二个月考完GRE，结果却发现自己太天真了。最终，一个月的TOEFL变成了两个月，到十一月时，很多学校的申请都快截止了。这下我才发现，不仅论文是重要的，英语成绩同样重要。不要对自己的英语水平过于自信，一定要留出足够的时间。

与此同时，我联系导师的事也一直没有进展。

一天，我忽然想起暑假期间在墨尔本开会的时候，跟一位名叫Trevor Cohn的老师聊得挺好。Trevor是澳大利亚墨尔本大学的一名副教授，他的研究方向主要是自然语言处理和机器学习。他的博士生也告訴我，这是一个特别好的导师，不仅学术能力很强，而且对学生很负责。于是我打开Trevor的个人主页，上面说如果要联系他读博士，需要将自己的研修计划和简历一起发给他。虽然难度不小，但我决定无论如何也要尝试一下。不过，要想写出一个自己看得过去，老师也能点头的研修计划是不容易的，最难的一点莫过于要找到自己研究领域的空白。

第一周我完全没有动笔，取而代之的是不断地阅读论文、总结前人工作、积极和东哥讨论，尝试找到哪一部分是别人没有研究过，并且还是有意义的。最终，研修计划的主题延续了我做过的自然语言推断的任务。前人的工作都是判断能否根据一个句子推出另一个句子，那么，为什么模型能够做出这样的判断呢？我的研修计划就是从探究这个“为什么”的角度入手的。

写完四页的研修计划后，2018年12月13日晚，我把所有材料发送给了Trevor。一觉醒来，我惊喜地发现Trevor给我回信了。他对我提出的科研内容非常感兴趣，还说澳洲是双导师制的，他需要看看是否还有别的导师愿意和他一起指导我。

假期结束后，Trevor发邮件告诉我，有一位Lea老师也愿意当我的指导老师，还建议我申请国家留学基金委和墨大的合作奖学金。之后我便开始一系列的网申，并在2019年5月底收到了墨大的奖学金申请通过通知。知道结果的一瞬间，我是内心是喜悦的，因为我小时候的愿望终于要实现了。

挣扎与希望并存

到今天，我的博士生涯已有五个多月了。

都说万事开头难，读博最难的就是选题。一个好的选题可以让四年的博士研究事半功倍。刚开始，我尝试继续之前感兴趣的常识阅读理解方向，却找不到合适的切入点。在我不知如何向前的时候，Trevor和Lea给我推荐了一些认知常识方面的论文，里面讲到认知科学家们是如何对概念进行建模的。其中有一个方向是基于属性认知的概念理解，比如人们对 “自行车”这个概念的认识，是通过它的各种属性掌握的，例如它的外观属性有“两个轮子”或“两个手把”，它的功能属性有“可以骑”“可以当作交通工具”“可以健身”等。我发现这是一个很好的切入方向，它依然属于常识理解的课题范围下，但做的是更加基础的工作，能直接影响更高层级的常识阅读理解、常识问答等一系列任务。

在这个过程中，导师一直很关心我是否喜欢自己正在做的事情，每次在讨论课题方向的时候，总会问我“你对这个课题是否感兴趣？”“做这个课题让你感到开心吗？”这些话总是让我莫名地感动。两位导师开放的思维，看待问题独到的眼光，对学术的热情，对新事物的好奇心，对学生平等的态度，无一不在感染着我。在与Trevor和Lea的十三次讨论后，我们终于确定目前阶段的研究方向是让计算机利用常识属性学习概念表示。

站在澳大利亚的土地上，我依然在思考，是什么让我站在这里，是什么促使我来到墨尔本大学读计算机专业的博士？

“念念不忘，必有回响！”

正是这个来自内心的声音，鼓励着我不断前行。我是一个长到25岁，依然坚定地相信有付出就会有回报的人。如果有想要做的事情，那就勇敢地去做吧！

责任编辑：曹晓晨