师生研究聚焦:奔跑吧,机器人

学生:陈昕玥(2022届)

教师:工程与计算机科学部主任Keith Ross教授

在来上海纽约大学就读之前,2022届学生陈昕玥没有任何编程或编码的基础。但在大一结束时,这个上海姑娘就修完了为高年级学生开设的计算机课程“机器学习”。这门课由上纽大工程与计算机科学部主任Keith Ross教授执教,竞争十分激烈。陈昕玥还加入了Ross教授的本科生科研基金(DURF)项目团队。过去这10个月里,她与团队的另外三名本科生和几名博士生就编程编码展开合作研究,并开展了模拟机器人实验。

 

寒假自学线性代数

陈昕玥:机缘巧合之下,我第一学期修读了“计算机编程入门”课。这门课我投入了很多精力,而且发现自己还挺擅长编码的,写起代码来感觉很轻松。于是,大一下学期我决定挑战一门更高阶的计算机科学课程,尝试Ross教授的“机器学习”课。虽然我的学业顾问和朋友都不建议我上这么高难度的课,但我还是决定勇敢一试。

Keith Ross:大部分学生都是大四时来上我的机器学习课,但昕玥大一就来了。她治学严谨认真,勤勉刻苦,对研究和学业充满热情。

昕玥:我知道学习这门课对我来说很有挑战,因为需要有线性代数的基础。所以我在春季学期开始前的寒假找了一本线性代数的教材开始自学。后来,“机器学习”刚刚开课几周,我就已经有很多问题想请教Ross教授,其中一个是想问他手下有没有我可以参加的研究机会。Ross教授当时非常鼓励我的学习热情,并邀请我加入了他的DURF项目小组。这对我这个大一新生来说是非常宝贵的学习机会。

 

在暑期DURF项目研发算法

Keith:我们目前的课题来源于去年夏天开始的DURF项目,研究人工智能的一个分支——“深度强化学习”。该领域实际上是深度学习和强化学习这两个子学科的结合。深度学习是当下的热门话题,通过实现面部识别、自然语言处理、翻译、无人驾驶汽车、物体识别(确保无人驾驶汽车不会撞树)等一系列技术突破,将人工智能推上了话题巅峰;强化学习则是人工智能的另一个领域。我们目前正在研究如何将深度强化学习应用于机器人技术,但由于没有实体机器人,我们在实验中使用的是模拟机器人。

昕玥:前半个夏天,我们学习了与研究主题相关的材料,后半期便开始开展研究、做实验、写代码。

Keith:我们的目标是训练计算机模拟机器人执行跑步等各项任务。基于深度强化学习,我们提出了不同的算法和方法,尝试解决这些基准问题,让机器人快速学习。

昕玥:我们先构思算法, 然后通过编码实现它。实验的第一阶段是测试这个想法,看代码在模拟环境中能否运行。我们根据想法写出算法,并在模拟环境中测试,结果几乎都失败了。但不论做任何实验,失败几次总是在所难免。我们认真找出失败的原因,然后对算法进行了修改。

 

Keith Ross

图片来自海报:2022届陈昕玥和2020届周子鉴制作的“深度强化学习中的最佳动作模仿学习”。在MuJoCo物理模拟环境中用算法演示走路、跑步等连续式任务。

 

让机器人跑得更快

Keith:有几支竞争队伍也在使用和我们相同的基准,包括伯克利的一支大队伍和谷歌的几支队伍。这些队伍实力都很强,所以竞争十分激烈。他们正在尝试用不同算法,尽可能加快机器人的学习速度。我们目前也在朝这个方向努力。刚开始,机器人甚至不能正常站立,需要靠外部施力。机器人身上有许多不同的关节,你需要对不同的身体部位施加不同的力它才有可能动起来。但算法本身对此一无所知。它只知道机器人的运行速度或者机器人是否在站立,以及机器人可以执行不同的任务,而且会得到一定的奖励。

昕玥:如果机器人高速运行,我们便认为它表现不错并给予较高的奖励;如果它的运行速度慢,得到的奖励就会比较少;如果它无法正常运转或是没有在学习如何运转,得到的奖励便非常少。所以奖励的多少反映了机器人智能体处理任务的情况,这也是深度强化学习的推广应用。

Keith:这就是强化学习的理念:算法只是尝试不同的事物,随着时间的推移,它会开始学习正确的做法。

昕玥:我很幸运能在做实验时发现,由我设计的一个算法运行良好且很有潜力。Ross教授也给予了我鼓励与肯定。他说,“我觉得这个算法很有潜力,我们应该在此基础上继续研发。”于是我们在DURF项目之余又花时间研究这个算法,获得了单独的运行结果。直到现在,我们还一直在钻研。

xinyuechen 
正在单独做研究的陈昕玥

平衡个人研究与团队任务

Keith:目前我们项目团队共有六人:我、昕玥、另一名计算机科学和荣誉数学专业大四学生周子鉴、我的两名博士生和一名在纽约的荣誉数学专业本科生。因为学生们秋季学期要上课,所以我们当时的研究速度有所放缓。但春季学期我们又开始了新一轮的合作研究。

昕玥:记得夏天时,我们每周都会见面两三次,一起在学校会议室讨论算法的研究进展,以及是否要调整或继续某个具体的研究方向。

Keith:讨论结束后,学生们便会各自回去编代码、做实验。我们常常使用学校的高性能计算系统,本科生们也会用这个系统运行实验——写些程序并展示运行结果,然后我们一起讨论、修改这些算法。

昕玥:我们每次的见面讨论都很热烈。讨论时间至少有一小时,有时甚至达到三小时。比如,我们上午十点碰头,有时会一直讨论到下午一点。结束后去食堂吃午饭时,菜品几乎所剩无几了。

Keith:除了集体讨论外,学生们也会互相交流,或是来找我单独讨论。他们大概有80%的时间是在单独写代码、做实验,其他20%的时间则是在开会和讨论。我们也会用邮件交流,甚至还有一个微信群。几个学生大多是利用课余时间进行课题研究。

昕玥:Ross教授研究团队的气氛很好。有时他会要求我们做一个幻灯片展示,以此了解我们对某篇文章或某个概念的理解情况。在其他同学的鼓励下,我的展示能力有了很大的提高。我真心感谢团队的每位成员,尤其是两位计算机科学专业的博士生王澈和吴艳秋。包括我在内的几个同学并没有DURF项目经验,但他们很热心地帮助我们从头开始,一步步学习。

Keith:上纽大的师生团体小而精,使本科生们开展学术研究具备一大优势。在这里,学生更容易与教授建立关系,班级规模比纽约大学还要小,使得每位学生可以享受更多的资源。学生们也可以有更多的机会与教授交流、参与研究。

昕玥:我觉得上纽大为本科生学术研究提供了很好的平台与机会。Ross教授非常开明,他常说,如果我们有任何建议或是觉得他的某个想法有误,就要毫不犹豫地说出来。我们团队的每个人都有过“挑战”他的经历,而且每次不论我们的观点是对是错,他都很高兴我们能够主动发现问题。

Keith:除了实践我教给他们的内容,几个学生也都有自己的想法,而且愿意表达出来与大家分享;有时候与我意见相左也会毫不犹豫地提出,所以我们团队的研究氛围非常好。上纽大致力于培养学生的批判性思维,这一点在几个学生身上得到了充分的体现,也给他们的科研工作带来了积极的推动与影响。