基于神经网络的深度学习专利分析
2021-03-01赵翠翠
赵翠翠
摘 要:深度学习是基于神经网络发展起来的技术。深度学习以神经网络为主要模型,一开始用来解决机器学习中的表示学习问题。由于其强大的能力,深度学习越来越多地用来解决一些通用人工智能问题,比如推理、决策等。目前,深度学习技术在学术界和工业界取得了广泛的成功,受到高度重视,并掀起新一轮的人工智能热潮。本文利用incopat平台对利用神经网络的深度学习进行了专利检索,并对申请趋势、申请地域分布、重要申请人及其专利价值度等维度进行分析。
关键词:神经网络;深度学习;专利分析
引言
深度学习算法模型从应用层面来讲,主要分为生成式对抗网络[1]、卷积神经网络[2]和循环神经网络[3]。除此之外,深度学习网络还包括图神经网络、强化学习、元学习、自动化积极学习方面的算法和模型。本文仅对深度学习算法模型中的卷积神经网络、循环神经网络和生成式对抗网络进行检索,并对检索结果进行分析。
1申请量分析
图1中是对国内外神经网络深度学习技术年增量的统计,从图1中可以看出,在2014年以前该技术的申请量一直缓慢增长,从2014-2019年之间增长量呈“J”型,并于2019年达到顶峰,年申请量为20742件。从2020年-2021年申请量出现了断崖式下跌,2021年的申请量仅为10104,比2019年的申请量减少了一半多。
深度学习的申请量大增,这与市场需求以及数据量、计算机的计算能力是分不开的。目前,我们已经进入数字化时代,可以采集到更多的数据,计算机软硬件的快速发展,使得计算机的计算能力大幅度提高,这为深度学习的发展奠定了基础。
市场需求促使科研人员的投入,从而使得学术研究重点发生了转移:近年来计算机相关的各大学术会议在制定学术方向时,已然偏向了神经网络深度学习领域。
在政策以及市场一片大好的情况下,2020年关于深度学习的申请量为什么会下降,这与深度学习发展的成熟度及遇到的技术瓶颈是分不开的。
在2010年计算机视觉奠基者之一,约翰霍普金斯大学教授Alan Yuille指出深度学习在计算机视觉领域的瓶颈主要有三个:需要大量标注数据;过度拟合基准数据;对图像过度敏感。
2申请地域分布及申请人排行榜
由图2.1为神经网络深度学习国际申请量分布情况,从图中可以看出截止2021年,中国在神经网络深度学习领域的申请量位居第一,美国的申请量位居第二,中国在神经网络深度学习方面的申请量远大于美国,是美國申请量的4倍之多。
从前十五名的申请人可以看出,中国的大专院校占了9个;其中电子科技大学和华南理工大学分别位于第一和二位。前十五名中只有五个公司,其中中国的公司占了两个,分别是平安科技(深圳)有限公司和腾讯科技(深圳)有限公司。其余三个公司为韩国的三星电子公司,位居第9位,专利申请量为519件;美国的IBM公司和谷歌公司分别位于第十二和十三位。
近年来在有关深度学习的国家自然基金项目的扶持下,使各大高校纷纷投入到深度学习的研究中,并产出了大量的科研成果。
3专利成果转化
专利转化为成果可以通过专利出资、专利融资、专利实施许可、专利权转让方式进行。本文统计了专利实施许可和专利权转让数量。
从图1和图3.1可知专利转让量与专利申请量的变化趋势相吻合,并随着专利申请量的大增,专利转让量也呈现了“J”型增长趋势。专利转让量并于2019年达到顶峰,专利转让量为3037件,到2021年的专利转让量下降到1595件。
转让人前十名中,中国的申请人只用两个,分别是阿里巴巴和先进创新技术有限公司,其余均为国外的公司。申请人排名前十中中国的大专院校占了七个,但专利转让人排名的前十中,居然没有中国大专院校的身影。足以说明中国大专院校的专利申请量之大,但专利成果转化率之低。
从2015-2018年之间专利许可量仅为3件,从2018-2021年虽然呈现增长趋势,但专利许可的增长量并不显著,专利许可量有限,2021年的专利许可量仅为48件,截至到2021年专利许可量的总件数为100件。
通过专利转让进行专利转化的成果还是很显然的,但通过专利许可进行专利转化的成果不高。在神经网络深度学习领域,中国的大专院校的申请量在中国是很多的,但是没有很好的进行成果转化。
专利成果转化有助于将技术渗透到产品制造及产业运行的各个环节,可以整体提升产业运行效率及产业竞争力。希望国家和政府能落实好政策,鼓励和促进企业及高校的专利进行成果转化。
4结语
本文从神经网络深度学习的三个网络模型入手,进行了专利检索和分析,通过分析可知,全球都致力于神经网络深度学习的研究中,中国的对于神经网络深度学习的申请量是很大的。但是成果转化率却很低,希望中国的高校和企业重视专利成果的转化。
参考文献:
[1] Goodfellow I,Bengio Y,Courville A. Deep learning[M]. Cambridge,USA: MIT Press,2016.
[2] 周飞燕,金林鹏,董军. 卷积神经网络研究综述[J]. 计算机学报,2017,40( 6) : 1229 - 1251. Zhou F Y,Jin L P,Dong J. Review of convolutional neural network[J]. Chinese Journal of Computers,2017,40( 6) : 1229 - 1251.
[3]刘礼文;俞弦;循环神经网络(RNN)及应用研究[J];、科技世界;2019年第32期