电子资源流量控制需求分析及其解决方案

□邵晶 阎晓弟 周琴 张静

1 问题的提出

自从开始引进国内外电子资源，大学图书馆就肩负着维护电子资源合理使用的责任。以西安交通大学图书馆为例，无论在图书馆主页公告里还是在数据库导航或期刊导航页面中，都给予了醒目提示，明确电子资源合理使用规定。应该说，电子资源合理使用在大学中得到了有效的宣传，获得了一定的效果。但是随着读者越来越依赖电子文献，电子资源下载量不断攀升，一些问题逐渐凸显出来：

（1）超量、违规和盗用下载经常发生，不仅影响了电子资源正常使用，而且导致了电子资源下载量的虚高。

（2）一些数据库提供商对下载限量或下载速度敏感度过高，导致图书馆频繁收到警告信，同时用户IP地址或地址段被封掉，图书馆经常陷于处理查找IP被封的原因、回复数据库提供商邮件等事务的烦恼之中。目前，不同数据库对下载上限要求不尽相同，如：美国汽车工程师学会SAE数据库规定连续1小时内下载超过100篇，发出警告；超过200篇，关闭数据库；CNKI数据库规定：每4秒下载不能超过20篇、每10秒内不能超过90篇；或者一次登录后不能连续下载超过300篇。而大部分数据库商并没有明确提出下载限制，但强调无论下载几篇，都不能用工具下载［1］。

（3）一些数据库提供商开始按照年度下载量来制定下个合同期定价等级，随着下载量的升高，下一年或下一个合同期的价格不断递增。用户下载行为不仅直接影响到电子资源的正常使用，而且也可能会影响到图书馆续订电子资源下一个合同期的价格。

由此可见，如何采取有效措施来控制下载行为，防止电子资源的过度下载、违规或非法盗用下载，将电子资源使用量控制在合理的范围内已成为大学图书馆迫切需要解决的问题。

2 电子资源流量控制需求分析

2．1 电子资源下载行为分析

在校园网内电子资源下载行为可分为正常下载、过度下载、违规下载、违法盗用下载。

正常下载通常是指通过检索，获取检索结果，经过认真挑选，按部就班地下载自己确实需要的全文。

过度下载往往是指通过检索，获取检索结果，没有经过认真挑选，即将大量的文献下载到本地以备后用。

违规下载则是指利用网络蚂蚁等各种下载软件批量下载全文或整本期刊、图书的下载，这种下载行为能被数据提供商侦测到，并发出警告信、封杀IP访问甚至关闭数据库的访问。

违法盗用下载，是指为了商业目的，连续地、大量地在校园网内下载电子资源。

表1列出了四种下载行为方式及产生的后果。由表1可见，四种下载行为方式中，过度下载、违规下载和违法盗用下载这三种方式，不仅会占用学校网络资源、影响电子资源的正常使用，而且将使得数据库全文年下载量急剧升高，其中的虚高使用量在很大程度上直接影响到数据库下一年度或下个合同期的价格，图书馆将为此付出高昂的订阅费用。

2．2 流量控制需求分析

要想既能有效地控制电子资源超量、违规和盗用下载行为，又不影响读者对电子资源的正常使用，需要设计一个实时的电子资源流量控制系统，其基本功能应该满足以下需求：

表1 电子资源四种下载行为方式

（1）完整捕获、分析校园网出口的所有电子资源访问流量。

在不改变读者正常访问电子资源习惯、且不影响读者使用电子资源的情况下，能完整捕获到校园网出口的所有访问电子资源流量，通过分析校园网内不同IP对电子资源的下载行为，对流量进行实时监控。

（2）对不同的数据库下载量实现差异管理。

在流量控制系统中，针对不同的数据库设置不同的下载阈值，实现差异化管理。在对下载量超过阈值的IP推送警告信息的同时，立即阻断该IP的访问。

（3）对被阻断的IP地址进行有效管理。

需要流量控制系统能够记录、统计被阻断IP访问的情况，对于屡次被阻断的IP地址进行黑名单管理，以便重点监视黑名单中的IP，并对其进行重点调查、控制其访问权。

（4）能够解决数据库URL对其IP地址解析和维护问题。

确保电子资源流量有效控制的大前提在于，必须保证被流量控制的数据库URL及其对应的IP地址准确无误。如果数据库URL发生变化或对应的IP地址发生变化，都会出现漏控问题。通常，数据库的URL发生变化，数据库提供商会及时提供变更信息，否则用户将无法访问数据库；但是，往往一个数据库的URL会对应多个IP地址，如果数据库URL没有变化，但其对应的IP地址发生变更或增加新的IP地址，那么数据库提供商是不会提醒图书馆这种变化信息的。因此需要流量控制系统不仅能对数据库URL进行IP地址解析，而且还能及时发现、并自动给出变更的IP地址。

3 电子资源流量控制解决方案及其系统功能模块设计

3．1 电子资源流量控制总体解决方案

西安交通大学图书馆为了能够有效地实施电子资源流量控制，经过与本校网络中心讨论和协商之后，图书馆被允许从校园网出口将所有基于HTTP流量旁路到本地，然后通过电子资源流量控制系统进行流量分析和控制。电子资源流量控制系统部署在图书馆，硬件设备包括：一台交换机用于流量过滤；两个流量捕获卡，分别用于流量采集和发送阻断信息包；一台服务器用于运行电子资源流量控制系统。电子资源流量控制解决方案如图1所示。

图1 电子资源流量控制解决方案示意图

由图1可见电子资源流量控制整个过程，即：从校园网出口实时采集基于HTTP的所有流量，根据事先设置好的数据库下载阈值，对流量进行分析，当发现某个用户的下载量超过设定的阈值时，立即发出阻断包，对其下载文献进行阻断，并发出警告信息给该用户，从而实现流量控制。

3．2 电子资源流量控制系统功能模块设计

根据电子资源流量控制需求分析，明确了电子资源流量控制系统应具备的核心功能，包括：数据库阻断阈值设置模块、数据库域名及IP地址检测管理功能模块、数据库并发数详情统计模块、阻断控制及阻断信息统计模块和用户黑白名单管理模块。

数据库阻断阈值设置功能：对不同数据库实现差异管理，即针对不同的数据库设置不同的下载阈值；阈值单位为：每五分钟打开全文不超过若干个进程，如，ACS的下载阈值被设置为20，指每五分钟打开全文不超过20个进程。此外，可以针对不同的数据库设置阻断警告文本信息以及数据库的URL及其IP地址等信息。

数据库域名及IP地址检测管理功能：被控数据库URL地址自动对其进行IP地址解析，当数据库URL对应的IP地址发生变更时，系统会自动发现数据库域名对应的变更IP地址，并提出警告，方便管理员维护更新。

数据库并发数详情统计功能：能够查询、统计当前时间段各个数据库的并发用户数及每个IP用户对不同数据库下载的详情。

阻断控制及阻断信息统计功能：对不同的数据库设置下载最大阈值，对超过下载阈值的IP地址立即阻断，并推送页面警告信息，自动阻断和解除阻断的时间间隔可根据需要进行设置。并能够基于时间段查询阻断日志详情，包括：被阻断用户IP地址、开始阻断时间、结束阻断时间、阻断数据库名称、当前状态等，并提供统计报表导出功能。

用户黑白名单管理功能：可设置静态黑、白名单，根据实际情况，实现对用户访问数据库权限的灵活控制。例如，可对经常违规下载的IP进行黑名单管理，对其进行长期监控和管制。

陕西诚泰科技讯息有限责任公司根据电子资源流量控制需求分析和功能模块设计，对流量控制系统进行了研发和技术攻关，实现了电子资源流量控制系统核心功能。

3．3 电子资源流量控制系统在西安交通大学的应用

经过系统测试和不同数据库阈值的设置调试、摸索，2011年11月电子资源流量控制系统在西安交通大学正式投入使用。目前，西安交通大学对那些曾经收到数据库提供商警告信的数据库进行了不同阈值的设置，如：SAE设置下载阈值为5；ACS、AIP下载阈值为20；APS、IEL下载阈值为25；CNKI下载阈值为280，等等。

自电子资源流量控制系统投入运行以来，西安交通大学几乎没有再收到数据库提供商的警告信。特别是平时发警告信最多的AIP、APS、ACS、IEEE等数据库，在流量控制系统中能看到那些疑似超量、违规和盗用下载行为都被及时发现并得到有效控制。在近六个月的时间里，Elsevier数据库下载被阻断次数超过3500多次；Springer Link、AIP、IEEE被阻断超过1500多次；ACS被阻断近千次。从流量控制系统中我们曾经发现一个典型的案例，某个IP在凌晨某个时间点，同时在下载Elsevier、Springer Link、IEL、Wiley、Nature等全文期刊数据库时被有效地阻断，从而在数据库提供商发现之前，流量控制系统提前发现和阻断了这个IP地址的这种疑似恶意下载行为。

由此可见，电子资源流量控制系统在西安交通大学的运用取得了非常好的效果。

4 结语

随着图书馆电子资源不断增加以及网络基础设施的不断完善，读者阅读越来越依赖电子文献、依赖于网络，因此确保电子资源合理使用尤为重要。

在网络信息技术不断发展的今天，大学与网络运营商的合作更加广泛，校园网可能存在多条出口链路；NAT地址转换、Wi－Fi／3G、远程访问 VPN、移动图书馆等技术使得访问电子资源网络环境更加复杂，电子资源访问方式也更加多样化。在实施电子资源流量控制系统过程中必须全面考虑这些情况，否则就会直接影响到电子资源流量的有效控制。

图书馆只有准确掌握了不同电子资源过量下载的判定标准，才能更合理地配置不同数据库的下载控制参数，在保证合法用户正常使用的前提下，实现电子资源下载的有效控制。

1 张静等 ．电子资源违规使用行为分析及图书馆的应对措施．大学图书馆学报，2008（2）：64－87