海外高层次人才简历搜索引擎初探

2009-01-25付俊生苏小鲁

信息化建设 2009年12期

付俊生苏小鲁

随着互联网的普及以及全球金融危机的影响,越来越多的求职者利用互联网发布简历寻找工作职位,包括众多的海外求职者也希望能到中国淘金。中国市场上传统的人力资源网站例如51job、ChinaHR等也都面向海外求职者开辟了招聘频道或者与国外的公司进行合作。这样的平台面向海外求职者免费注册并可填写简历,并为国内用人单位提供了众多优秀的人才。但因为是开放的平台,所有访问者都可以免费注册,因此简历库中很多注册用户都称不上高层次人才,只是普通的海外求职者,并且已经逐渐不能满足用人单位对优秀人才的渴求。

党中央对于当前的国际人才竞争也非常重视,提出把实施“千人计划”、引进高层次海外人才,作为提升企业核心竞争力的紧迫战略任务,努力为企业发展、国家富强广揽天下人才。中央各个部门也都在建立人才资源库。但是由于渠道单一、专业性强,造成了各个海外高层次人才资源库信息量都较小,且相对集中在特定的领域,无法满足国内企业对于各类高层次海外人才的渴求。

为了充实我们的海外高层次人才简历库,应对日益激烈的国际人才竞争,贯彻落实中央人才强国战略,国家外国专家局国外人才信息研究中心对互联网上诸多国际知名的大学、科研院所、企业机构和各国政府网站中公开发布的高层次人才简历信息进行了分析。我们认为将互联网上公开的简历信息搜集到一起并提供给国内有需求的用人单位,将为引进高层次海外人才提供更多的渠道和更有价值的信息。因此我们产生了开发海外高层次人才简历搜索引擎的设想。目的是借助互联网这个工具,在已有的Chinajob.com国际人才交流平台的基础上,挖掘在互联网上公开的海外高层次人才简历,充实我们的人力资源库,为国内的企业单位提供更加广泛的渠道和信息。

根据需求,本搜索引擎只针对互联网上公开的高层次人才简历信息进行搜索过滤和抓取,因此我们采用了广域网搜索、垂直搜索和索引页面搜索相结合的方式,通过人工输入的特定的URL进行遍历,对遍历到的页面根据设定好的过滤算法及词频算法进行分析,符合条件的页面被认定为是简历信息并保存到本地的数据库。

下面简单介绍一下三种搜索方式的区别:

1、广域网搜索:通过工作人员在后台添加特定的网页URL,并开启蜘蛛程序对该URL进行遍历、分析和过滤,遍历过程中首先将每个页面下的标记地址记录在待搜索页面列表中,在处理完当前页面后,从待搜索页面列表中取出下一个URL再执行分析和过滤的流程。直到将本URL下所有页面遍历完毕,并将符合过滤条件的简历信息保存到本地数据库中。

2、垂直搜索:通过工作人员在互联网上查找到专业的简历搜索网站或人才库,根据其URL参数为ID轮询或分页轮询分别由蜘蛛程序对其下每个子页面进行直接抓取,保存到本地数据库。采用这种方式搜索到的简历信息可以保证其真实可用性,并大大简化了后面的数据处理过程。

3、索引页面搜索:通过工作人员在互联网上查找到特定的组织机构人员建立页面URL,提交并开启蜘蛛程序。蜘蛛程序默认该页面下所有子页面为简历信息页面并进行抓取,保存到本地数据库。

对数据抓取过程完毕后,需要由工作人员对本地数据进行再处理才能进入前台展示数据库。工作人员为每个特定URL下抓取的页面进行分析,建立页面过滤规则,去除掉源页面的页头和其他无用信息。建立规则可对所有符合该URL特征的页面直接执行过滤操作,完成数据的批量处理,并进入前台展示数据库。

系统后台由蜘蛛管理模块、后台管理模块以及系统监控三个模块组成。其中系统监控模块只有系统管理员可以执行操作。

蜘蛛管理模块后台分为系统管理员权限和系统操作员权限对蜘蛛的运行进行管理操作。

后台管理模块共设置了三种权限的管理员,分别为系统管理员、普通管理员和地方外专局。其中系统管理员可以对系统的用户、参数、数据、日志等所有信息进行管理操作;普通管理员可以对蜘蛛数据、展示数据、简历录入及批量导入进行管理操作;地方外专局用户可对展示数据进行管理并可录入简历。

设置地方外专局用户以及简历录入功能是为了灵活的扩展我们的高层次人才简历库而开发的功能。我们可以为更多的合作伙伴添加后台管理账户,方便他们将自己所有的专家简历信息输入到我们的数据库中,这些人工输入的简历信息将被系统认为是权重最高的简历,在前台用户搜索的展示列表中将最先展示这些简历信息。合作单位还可以针对每条简历信息添加评论并与其他注册用户共享评论信息,建立起有效的评价体系,为用人单位提供较好的评价查询功能。

系统前台搜索为用户提供了关键词搜索、屏幕划词翻译和高级搜索功能,用户可在搜索框中输入关键词进行搜索,或者点击系统提供的关键词列表进行搜索。同时为普通用户提供了划词翻译,使一般用户可及时查询到与中文相对应的英文关键词。

高级搜索功能为用户提供了关键词分类、语种、学历等选项,为用户提供多词复合查询的功能。