定向推荐在文本人工标注中的应用

汪悦

摘要：随着网络带宽的增加以及互联网技术的高速发展，信息载体由文本渐渐过渡为视频图像等，为了方便人们能够更快更好地访问和检索视频图像，针对目前手工标注过于繁琐并且时间过长的问题，该系统希望通过目前流行的推荐系统和reCAPTCHA系统，对于各个用户的擅长点进行分析并随着标注数量的累积进行调整，同时基于人体的耐受性，将部分难于标注的图像加载在容易标注的图片中，减少无法标注的图片数量，来达到缩短标注时间的目的。

关键词：手工标注；基于内容的推荐；定量分析；基于人体生理机能的加推

中图分类号：TP311 文献标识码：A 文章编号：1009-3044（2019）06-0183-03

随着网络带宽的增加以及互联网技术的高速发展，信息载体由文本渐渐过渡为视频图像等，使人们可以更为直观的了解信息。为了方便人们能够更快更好地访问和检索视频图像，目前所广泛采用的解决方案是对其进行标注。当前所采用的两类典型标注方法为：手动标注和自动标注。

自动标注就是由程式自动检测图像或视频中的关键字并进行标注，在过去的十多年中，该项方法吸引了大批研究人员的兴趣也取得了显著的成功，但是无法否认的是自动标注的准确性以及相关性仍然无法完全达到人们检索的需求。

而相对准确性较高的手动标注的图像语义标注方式存在着两大难题：一是在标注大量的图像时，完全用手工方法标注，工作量太大，时间过长；二是由于用户对图像的理解不同，文本注解存在不可避免的主观性和不精确性。

近年来，由于人工标注在组织和检索的高质量，越来越多的组织和团体采用人工标注来管理多媒体数据。针对手工标注过于繁琐并且时间过长的问题，本文提出一种新的标注系统来缩短标注时间。

1 推荐系统概述

20世纪90年代中期出现关于协同过滤技术的文章之后，推荐系统开始作为一门独立的学科得到系统研究，并逐渐成为缓解“信息过载”的有效手段之一。推荐系统通过建立用户与项目之间的二元关系，利用已有的选择过程或相似性关系挖掘每个用户潜在感兴趣的对象，进而进行个性化推荐。

从信息过滤的角度，目前推荐系统主要分为以下几种：

（1） 协同过滤推荐：基于“集体智慧”的思想，通过与当前用户相似的其他用户偏好来预测当前用户的偏好。

（2） 基于内容的推荐：根据用户偏好的方向，利用已有的分类技术和概率统计模型，选择其他类似的项目作为推荐。

（3） 混合推荐：混合推荐主要是为了解决单一推荐技术的不足，按照不同的混合策略，将不同的推荐技术进行组合并完成推荐。

2 推荐系统在图像标注上的应用

图像标注推荐系统采用基于内容的推荐。

总体来看，基于内容的上下文感知推荐生成技术的优点在于：能够充分利用现有成熟的分类技术、概率统计模型，来发现用户在不同的上下文条件下对项目属性类别的偏好；并不存在“新项目”问题，推荐结果比较直观、易于理解等。其缺点在于：分析内容有限和有效上下文选择（涉及特征选择问题）、推荐范围过窄、新用户问题、多维上下文条件约束下的相似度匹配计算等。

基于上文假定，我们对于要标注的关键字已经给定，同时为了避免用户由于采用的词汇不同而导致的标注分類过于分散，不利于检索，或者由于中文词汇的定义模糊而导致结果差异，我们事先对于关键字的标注方向给出分类定义，且图片集已经做过初步筛选，并且由系统获取用户标注各个关键字的时间，然后通过统计分析用户关键字的标注时间，来判断用户可能擅长的方向，故基于内容的推荐缺点并不影响其在图像标注推荐系统中的使用。

3 图像标注推荐系统的概述

我们可将图像标注推荐系统流程整理归纳为以下4个阶段：

（1） 数据定义及收集：定义用户、关键字集合、标注分类定义、收集用户标注时间等相关数据；

（2） 用户擅长提取：统计分析用户擅长的关键字或方向，生成推荐结果；

（3） 基于人体生理机能的加推：对于那些所有用户都不擅长标注的图片，随机添加在用户擅长的图片中；

（4） 评价与自适应改进：采用合适的效用评价指标对推荐效果进行评价，并根据评价结果发现问题和改进。

3.1 数据定义及收集

按照Adomavicius 等人给出推荐系统的形式化定义，在图像标注前定义标注的要素，设G表示用户集合，S表示需要本次标注的关键字集合（如：颜色、车型、车标等），且对于标注关键字的要素进行设定，既可以避免由于要素及关键字语言表述轻微偏差导致的统计结果偏差，又可以减少标注时间。设置效用函数u表示用户对于要素的熟练度，由计算机进行用户标注时间数据的收集，则噪声系数降到最低且随机存在。

3.2 用户擅长提取

该系统要找到用户最熟练的关键字及其标注分类定义组，加快标注的速度，缩短整体标注时间。

一般认为，偏好（preference）用于描述决策者对两个或多个项目的排序关系。本文关注点为用户即标注人员的偏好即擅长方向。目前，上下文用户偏好提取技术主要有两种研究思路：定量分析和定性分析。

其中，定量研究上下文用户偏好提取技术，是指使用数字评分量化表示上下文用户偏好，并设计偏好提取方法进行数学计算。目前，在上下文用户偏好量化表示方面，主要采用多维向量评分模型和层次模型。

图像标注推荐系统在定量分析的基础上，采用基于决策树的用户偏好提取，以标注时间作为衡量基准，按照预先给定的关键字及其要素分类定义，对于各用户的标注时间建立多维矩阵组。

3.3 基于人体生理机能的加推

考虑到存在标注人员有群体偏向的可能性，导致需标注的图片库中仍有剩余图片。基于上文的推论，假设已经筛选出的图片为M，则剩下的图片数量为N-M。如果将剩下的N-M的图片，全部沉底按比例分配给各个标注人员，则由于人存在心理及生理疲劳点，当标注图片难以判断过多，可能存在标注过程关注力降低，导致降低准确率。

reCAPTCHA技术是利用CAPTCHA的原理，借助于人脑对难以识别的字符进行辨别的技术，我们同样也可借鉴其原理，来对于难于识别的图片进行分类，即将简单易识别的图片和难于识别的图片放在一处，避免标注人员在处理过程中由于心理因素而影响标注的准确率和效率。

假定G表示用户集合，每个用户的所分配的图片为Mg，已经筛选出的图片为M，即

3.4 评价与自适应改进

在进行标注的过程中对标注推荐系统性能进行评价时 ， 指标主要针对标注的准确性，以及标注的熟练程度，即标注的时间的长短。随着标注时间的累积统计，调整图片推荐的方向，由系统自适应进行改进达到更好的推荐效果。

此外，还可还将用户满意度作为评价指标，此时需要用户对推荐效果给出主观评价。

随着时间的推移且统计数据的完善，用户的擅长方向会发生变换，故针对要素关键字的聚类结果需要累计叠加，其得出的结果较单次分析结果更接近真实用户的擅长方向。

4 总结语

综上所述，本系统在综合考虑标注熟练度以及人体的耐受性，通过目前流行的推荐系统和reCAPTCHA系统，将用户最熟练的关键字及其标注分类推送给用户，部分难于标注的图像加载在容易标注的图片中，减少无法标注的图片数量，来达到缩短标注时间的目的。

参考文献：

[1] 王立才， 孟祥武， 张玉洁.上下文感知推荐系统[J].软件学报，2012，23（1）：1-20.

[2] 孟祥武， 胡勋， 王立才， 张玉洁.移动推荐系统及其应用[J].软件学报，2013，24（1）：91-108.

[3] 王立才.上下文感知推荐系统若干关键技术研究[J].北京邮电大学博士论文.

[4] 林亮亮.基于本体的用户个性化检索模型构造研究[D].西安邮电大学硕士论文.

[5] 陈盛红.基于上下文的Web推荐算法[D].沈阳建筑大学硕士论文.

[6] 孙克.社交网络环境下移动好友推荐系统研究[D].山东师范大学硕士论文.

[7] 靳婷.基于上下文与面向社会媒体的信息推荐方法研究[D].复旦大学博士论文.

[8] Yan R ， Natsev A ， Campbell M . Hybrid Tagging and Browsing Approaches for Efficient Manual Image Annotation[J]. IEEE Multimedia， 2009， 16（2）：26-41.

【通聯编辑：梁书】