APP下载

徜徉在数学的无边海洋

2021-09-25户万

科学中国人·上半月 2021年7期
关键词:神经网络深度理论

户万

数学对于很多人来说,或许是一门“枯燥难懂”“高深莫测”的学科。香港城市大学讲座教授、数据科学学院副院长、刘璧如数学科学研究中心主任周定轩却将其视为让自己毕生快乐的源泉。函数论、小波分析、学习理论、深度学习的数学理论……在近40年的时间里,周定轩执着于“热爱自己的热爱”,他徜徉在数学的无边海洋里,驰骋在科研的无尽道路上,怀着对数学的赤子之心,解决了一个又一个数学猜想,完成了一次又一次从应用到数学理论的升华。

立志成为“了不起”的数学家

1967年,周定轩出生于浙江绍兴市,尽管在农村家庭长大,但聪明好学的周定轩从小就喜欢数学,立志长大后要做一名数学家。“我喜欢做数学题的过程,坐在那里慢慢地思考、重新规划,把一个非常复杂的问题弄成一个很简单的问题。”在周定轩看来,数学与科学和文学一样,是人类文化的瑰宝。

20世纪70年代的浙江,农村小学师资力量仍十分薄弱,几个年级常混在一起上课,同一个老师给一、二年级的学生上完课,然后再给三、四年级的学生上课。有一次,数学老师上完课后布置作业,先让四年级的学生回答题目,但几天下来,四年级的学生还是未能回答出,而上二年级的周定轩却都回答出来了。对于数学,周定轩一直有着自己的执着。读小学三年级时,老师将周定轩的一道数学题目批改错了。晚上睡觉前,他跟父亲说了这事,父亲不相信,认为老师应该是对的,但周定轩坚持自己的想法,他拿出试题重新查对,结果证明他是对的。1984年,周定轩上高三,正逢浙江大学在“文革”后首次招收32名保送的学生,他们挑遍了十几所浙江省内的重点高中,作为绍兴一中的年级第一名,周定轩顺利被保送至浙江大学数学系。

数学系仿佛从来都是大学里一座孤独的城堡,数学系的学生也通常被视为“异类”,他们聪明、低调,却又充满神秘。20世纪80年代的中国,对于数学系学生有着更高的期待。对这群“最聪明的人”,高校在学科培养上也更加严格。在大学的殿堂里,周定轩终于找到了自己的人生坐标,他把陈省身、丘成桐视为学习榜样,对数学近乎痴迷,做一个“了不起的数学家”成为扎根在他心里的梦想。在名师的指导下,他如饥似渴地学习着数学。有一些课程,他提前参加考试并通过之后,就用其他的多余时间去钻研更为艰深的数学问题。

扎实的积累使得周定轩在本科阶段就崭露头角,在《数学研究与评论》杂志发表了一篇抽象代数相关的研究论文。“当时老师让我们读一篇有着创新概念的论文,这个创新能够帮助理解环的结构,但我读了之后却不是很理解。”有一天扫地的时候,周定轩突然萌生了一个想法,可以证明那个概念存在的范围很窄,他进而得出了一个反面性的结论。在老师的鼓励下,周定轩就这样写下了自己在数学研究领域的第一篇论文。“一路走来,我都是很幸运的,因为碰到了很多好老师。在大学,我最大的收獲是能够将学习过的数学讲出来,把数学和语言统一起来。”周定轩说。凭借多年积累,到硕士博士研究生阶段,仅用了3年,周定轩就拿到了博士学位。在此期间,他还用自己出色的科研功底,解决了一位加拿大数学学者提出的一个逼近论猜想。

从函数逼近论,到小波分析和调和分析,再到小波分析和多元逼近论,周定轩的数学之路步步深入,他的步伐也从浙江走到北京,从北京飞到德国,又从德国转到加拿大。1991年,周定轩在浙江大学应用数学系博士毕业后,导师希望他能够留下,但是,周定轩却有了更远大的目标,他受邀到中国科学院数学研究所进行博士后研究。1993年,他又获得了国际上声誉极高的“洪堡”奖学金,应邀到德国进修。“洪堡”奖学金一般只给予那些极富才能且有望将来在其本土成为研究领域领导人的青年学者,每年全世界只有600人获此殊荣。最让他开心的是,可以和世界上的名家一道开展数学研究。在德国进修的两年时间里,周定轩又解决了另一位国际学者提出的关于箱样条的猜想,由此获邀赴加拿大进行博士后研究。

对于屡次解决业内顶尖数学家提出的猜想,周定轩却从未骄傲,在他看来,“这并不能称之为了不起,只能说是功夫还可以”。那个时候,周定轩的目标是自己提出一个方向,让别人跟着做。随着研究的深入,他逐渐将自己的研究领域转向调和分析,这是现代核心数学的重要组成部分之一,其思想和方法几乎渗透到数学的所有领域。自20世纪70年代以来,现代调和分析在理论上有许多突破性的进展,调和分析理论上的进展对偏微分方程、多复变函数论、小波分析等领域的发展产生了深刻影响。在国外4年的博士后研究让周定轩受益匪浅,经过持续不断的努力,他在相关领域的学术积累突飞猛进,学术研究论文多次发表在国际著名期刊上,收获了不错的反响。

从应用到理论研究的重大突破

1996年,周定轩放弃了美国知名大学的工作邀请,来到了即将回归祖国的香港,到香港城市大学数学系任教。对于周定轩来说,香港城市大学是一个完全陌生的环境。一个内地城市成长起来的学者,要在香港的大学立足,需要付出比常人更多的努力。刚开始的时候,香港城市大学给他开出的是一个3年期的合同,职位不高,工资水平也低。但应承下来之后的周定轩却完全没有“后悔”的概念。尽管合同年限短,但好处是教学量减半,周定轩有更多的时间做研究。时任香港城市大学数学系主任曾对他说,学校考察人的标准只有一个,那就是学术声誉。利弊都清楚地摆在眼前,周定轩所能做的,就是朝着自己的学术目标不断前进。

机会也总是垂青有准备的人。周定轩到香港城市大学深入研究一年多后,就解决了美国科学院院士、工业与应用数学学会主席Gilbert Strang有关小波分析的疑难问题,与数学界最高奖项菲尔兹奖获得者Stephen Smale合作发表的有关学习理论的一系列论文也在国际上引起了学术界的轰动。

Strang教授曾给周定轩出了一个问题,他凭借自己多年的经验,几经验证,在几天内就解决了这一问题,获得了对方的高度认可,两人由此展开了多个研究项目的深度合作。在研究文章的写作上,周定轩也深受对方的影响。“我记得很清楚,有一次我去麻省理工访问他的时候,我们合作写一篇文章,他说我们这篇文章写得太长了,他说你应该leave something for graduate students,就是不能把自己能做的都做完,一些比较简单的东西,文章里只列一个框架性的东西,留给研究生做就行了。”这句话对周定轩的触动很大,也让他更加清楚该如何带自己的学生。

1999年,周定轩开始就机器学习的数学理论进行钻研,他与这一领域的顶尖专家进行了深入合作,并逐渐在国际上建立了机器学习数学理论的基础。从事机器学习和深度学习的数学理论并不容易,刚开始甚至被人误认为是研究学生该“如何学习”。“我读书的时候研究的是逼近论,去了国外之后开始做小波分析,到了香港之后开始就慢慢做机器学习的数学理论,最近六七年就做深度学习的数学理论。”周定轩说。

从机器学习的数学理论转向深度学习的数学理论,源自在德国举行的一次计算机科学方向会议。一位意大利学者向周定轩建议,深度学习在计算机视觉等领域非常热门,但当时完全没有数学理论,且对这一领域有些指導意义的相关经典理论都比较艰涩难懂,希望周定轩能填补这一空白。“我回来之后好好地搜索了一下有关的论文,这里面明显有很多数学问题需要解决,而当时已经做出来的还很少。”周定轩说,特别是关于如何搭建起深度学习的理论框架,他花了四五年时间进行了比较深入的思考,并在最近两三年里写了一系列深度学习理论的研究论文。

深度学习不像纯粹的数学猜想一样,一个人可以慢慢研究,很多人甚至把它形容为一个劳动密集型研究,需要用大量的博士生或者博士后去编程序,尝试各种各样的算法。深度学习提供了各种模型和算法来像生物神经系统或神经反应一样有效地处理数据。它基于深度神经网络结构,这些结构为在实际应用中获得数据特征和功能表示带来了必要的工具。

比如在自动驾驶过程中,车辆相机和传感器拍摄了多张照片,计算机视觉智能系统要很快地进行判别是否存在危险。深度学习在语音识别、计算机视觉等领域取得了快速发展,但其理论体系远远落后于成功的应用。原因是30年前发展起来的经典神经网络理论只局限于全连接神经网络,无法解释深度卷积神经网络等带有结构的神经网络所产生的深度学习方法的强大学习或泛化能力。由于深度学习在各种实践领域的成功应用,人们非常需要为结构化深度神经网络建立一个坚实的理论基础,从而为深度学习在更多实际领域的应用提供理论指导和设计方法。

近年来,周定轩在这一领域取得了诸多重大突破,他证明了一个深度卷积神经网络是普适的,这意味着当神经网络的深度足够大时,它可以用来以任意的精度逼近任何连续函数。“这回答了深度学习理论中的一个开放问题。我们的定量估计,严格地根据要计算的自由参数的数量,验证了深度卷积神经网络处理大维数据的效率,也证明了卷积在深度中枢神经网络中的作用。”

为了克服对卷积引起的宽度线性增大的网络进行理论分析的困难,周定轩引入了一个下采样算子来减小复杂度,证明了下采样的深度卷积神经网络可以很好地学习脊函数,这暗示了这些结构化网络在学习或建模方面的一些优势。他和团队还证明了任何多层全连接神经网络的输出可以由一个带有同阶自由参数的下采样深度卷积神经网络来实现。他们通过给出流形上的函数逼近定理,证明了深度卷积神经网络可用于学习数据的流形特征。

如今,周定轩正带领团队继续从事深度学习的研究,运用神经网络处理信号跟图像。与此同时,针对处理自然语言这一更为复杂的领域,他也致力于开发处理自然语言的深度学习算法,并将相关的研究数学化、理论化。

但行其事,莫问前程

从3年期的合同制研究助理教授,到担任香港城市大学数学系系主任、讲座教授,周定轩用成果证明了自己的实力,也赢得了业界的尊重。如今,周定轩还担任着刘璧如数学科学中心主任及新组建的香港城市大学数据科学学院副院长,也曾兼任香港研究资助局(RGC)理科组专家成员。除了活跃于香港各类学术活动,周定轩参与组织了内地、国外多种学术会议,包括计算调和分析系列国际会议和德国黑森林数学研究中心的学习理论与逼近系列工作坊。2014年至2017年,他被评为高被引科学家之一;2021年,他被斯坦福大学评为世界前2%的科学家。

对于自己近年来在国际数学界取得的成就,周定轩用打趣自己来回应,他说自己是“后劲足”,虽然“起跑比别人慢,但未必就一定会落后”。近年来,周定轩在国际核心数学期刊上,发表了100多篇SCI论文。

周定轩任职的香港城市大学刘璧如数学科学研究中心成立于1995年,首任主任为加拿大皇家科学院院士王世全教授。20多年来,刘璧如研究中心致力于推动具世界顶尖学术水平的应用数学及计算数学的研究和发展,如今已经成为具有一定领导地位的亚太区数学研究中心。该中心经常邀请来自世界各地的著名学者交流访问,同时定期举办国际性的学术会议、工作坊、座谈会等,并积极深入探讨及解决市场上如工业及金融领域中涉及数学及计算的难题。2008年,该中心设立了William Benter应用数学大奖,授予世界杰出的应用数学家,以表彰其研究成果对科学、商业、金融、工程学等方面的重要影响。与此同时,刘璧如数学科学研究中心也是世界一流的数学学术期刊 Analysis and Applications的创办者和编辑部所在地,该期刊过去5年的影响因子高达1.835。

“刘璧如数学科学研究中心主要从事应用数学的研究,既包括由好奇心驱动的问题,又有具强烈应用背景的研究课题,比如做统计就跟数据有关,做金融技术就跟金融有关,研究中心接触的是方方面面的应用数学,属于香港城市大学一级的研究中心。”身兼刘璧如数学科学中心主任一职,周定轩对该中心在应用数学研究领域所展现出来的巨大推动潜力充满了期许,所以即使再忙,他都会带领团队全力以赴。

除了与国外专家学者开展数学科研上的合作外,周定轩还依托与内地高校的合作研究资源,获得了国家自然科学基金委与香港研究资助局的支持。此外,他与中国科学技术大学、复旦大学、中山大学、武汉大学等内地知名学校连续多年开展博士生的联合培养,不少学生已经成为知名大学的正教授或副教授。

“学生其实对我影响很大,作为一个团队,我们可以一起把事情做好。我觉得除了科研,教授对学生有两种贡献:一种是做好的榜样,一种是给他们指导。上课很重要,要用心教,教不好怎么能当教授呢?”周定轩会把学生当成是自己的朋友和战友,这样的相处方式其实源于他在浙江大学读书时的导师郭竹瑞教授带给他的影响,“导师对我的培养极其用心,无论是科研上还是生活上,关心无微不至”。如今,周定轩也希望给自己的学生带去同样的感受。

“我记得在浙大读书的时候,每个星期六导师就带我去爬山,一边爬山一边聊数学,爬完山就去他家吃饭。要知道,那时候学生穷,在食堂的伙食也不太好,师母就煮饭、烧菜给我吃,几乎每周如此。直至今日,我为人师多年,却也无法做到像导师一样,但我还是会将导师当成自己的榜样,对学生提供尽可能多的关心和帮助。”

在科研上,周定轩认为作为导师要给学生建立信心信念,同时倡导要给学生多一些灵活性,这样的方式深受学生喜爱。在香港城市大学,学生给周定轩授课的评分一直很高。也有很多学生会给他评语称“谢谢你教这门课”。他时常会用自己的经历去鼓励学生“数学研究需要能挨,挨过最艰苦的时候,就能迎来曙光”。“做数学研究,是但行其事,莫问前程,干自己喜欢的事情本身就是一种享受。”周定轩说。

专家简介

周定轩,香港城市大学讲座教授、数据科学学院副院长、刘璧如数学科学研究中心主任。1991年在浙江大学获得博士学位,毕业后先后到中国科学院、德国和加拿大从事博士后研究工作。1996年到香港城市大学任教,曾任香港城市大学数学系系主任、香港数学学会副会长、香港研究资助局(RGC)理科组专家成员。2005年获杰出青年基金, 2014—2017年被评为高被引科学家,2021年被斯坦福大学评为世界前2%的科学家。兼任浙江大学竺可桢学院香港院友会会长、SCI杂志Analysis and Applications主编和Applied and Computational Harmonic Analysis、Journal of Approximation Theory、Complex Analysis and Operator Theory, Journal of Complexity、《高校应用数学学报》等杂志编委。主要从事深度神经网络、统计学习理论、数据科学、小波分析和逼近论方面的研究工作,在国际重要刊物上发表论文100多篇。

猜你喜欢

神经网络深度理论
基于人工智能LSTM循环神经网络的学习成绩预测
四增四减 深度推进
深度思考之不等式
基于图像处理与卷积神经网络的零件识别
基于自适应神经网络的电网稳定性预测
基于多元外在表征理论的高一氧化还原反应教学
简约教学 深度学习
“理论”与“实践”
多项式理论在矩阵求逆中的应用
三次样条和二次删除相辅助的WASD神经网络与日本人口预测