直播间里的“拆弹部队”
2017-05-15孙静
孙静
“找茬”
唐卓用手指夹着一根“芙蓉王”,朝朋友的手机屏幕上吐了一个挑衅的烟圈。烟未散尽,朋友的映客直播账号就被封了。
那是唐卓第一次接触映客。当时朋友来家里玩,说要开直播,有粉丝刷礼物,坐着就能挣钱。最后,他还特别强调了一句:直播不能抽烟。
“它怎么知道我抽不抽烟?”唐卓不信邪。
一周后,唐卓刷微博时看到映客在招聘审核员,受好奇心驱使,她投出了简历。
成为映客审核员以前,这名90后长沙女孩的职业理想是当一名刑警。
她大学就读于湖南司法警官职业学院,刑侦专业方向,梦想是破案、抓罪犯。毕业时对口岗位只有狱警。还在实习期,她就当了逃兵,“监狱太压抑了”。
一个暖融融的下午,唐卓坐在公司楼下的咖啡馆里,说自己从业以来,直播审核员是她最喜欢的工作。在此之前,她干过耐克专卖店导购、台球俱乐部陪练、微信企业公众号资料审核员,还做过兼职滴滴司机。
直播审核员这个工作,某种意义上讲,颇为接近“警察”的角色。她要“抓”的,是平台上的违规主播。
唐卓形容,这工作很像一款经典游戏《大家来找茬》。在8小时之内,她至少盯了1000个直播片段,并从中找出违规行为,如低俗、吸烟或驾车直播。
机器会对直播每两秒做一次截图,传到图像识别内容库初筛,技术判定速度达毫秒级,识别率在90%~95%,出现无法识别或难以判断的图像,则交由唐卓和她的同事做人工审核。
2016年被称为“直播元年”,据不完全统计,全国大小直播平台至少300家,与此同时,低俗、色情、暴力、炒作的行为也不断刷新底线。国家网信办等部门一年连发多道“紧箍咒”,规范直播行业发展。
在日益严格的监管要求下,内容审核员这个群体成为了视频直播平台不可或缺的“拆弹部队”,重要程度关乎平台生死。这并非危言耸听,今年2月,北京首次因涉黄关停了一家直播平台。
花椒直播审核员小冉的工作也是“找茬”。她大学读传媒专业,觉得直播平台是新媒體,与所学专业沾边,便入了这一行。
入职前,唐卓、小冉对岗位的理解,均停留在网络新闻中的“鉴黄师”层面上。在他们的想象中,视频审核区应该是一面屏幕密布的监控墙,像交管部门那种。而实际上,审核员每人一台电脑、一个账号、一副耳机,看上去与普通办公并没有两样。只有一条规矩比较特殊——工作时不允许拍照。
在花椒直播办公室,“严禁拍照”的超大黑体字贴在花椒直播的监控墙旁边。监控墙早已停用,屏幕上落了一层灰。
相关负责人介绍,早期开播路数不多,通过监控墙的屏幕人工检测即可,现在每天开播路数达百万级,更多的是依赖技术审核。
由于技术研发成本高昂,各平台都强调保密。映客副总裁钟正阳告诉《财经天下》周刊记者,映客的机器审核系统,仅开发团队就有30多人,技术成本达上千万元。
在任何直播平台,审核均属于最敏感的业务部门。审核员入职要签署保密协议,不得对外透露审核规则或工作具体内容。只有两三个好友知道唐卓的岗位,其他人问她在哪儿上班,她会以“看视频的”一语带过。
早期,公安部门筛选民警去做鉴黄审核,人选以已婚、大龄、女性为佳。而在直播平台,审核员以90后居多。
比如在映客湖南总部的审核员中,员工的平均年龄为25岁~26岁,大专及以上学历。钟正阳说,招聘面试时,公司更看重应聘者是否沉稳、细心、有责任感。
这是一群隐于屏幕背后、同欲望作战的年轻人。屏幕前,主播画风稍有不对,他们会立即出手,轻则一键提醒“您的衣着过于暴露,具有挑逗性,请立即改正”,重则掐断直播路径,甚至永久封号。
这项工作的人员流动性相当高,很多人会因为夜班、枯燥、视觉冲击、外界压力抑或缺乏上升空间等原因,干上数月便匆匆辞职。
唐卓工作快一年,感觉眼睛已经有些吃不消,脸上长痘,记忆力变差,刚刚26岁就频繁丢三落四。
在一些招聘网站上搜“视频审核员”,会出来一长串信息,这从一个侧面说明,该岗位在市场上处于缺人状态。
“炸弹”
2016年6月,钟正阳一个人背着双肩包来到长沙。映客CEO奉佑生给这名“光杆司令”的任务是:从零开始,组建一支“拆弹”部队。
7个月后,映客湖南总部审核员已经有430多人,占满一层楼。加上永州的100多人以及兼职审核员,这支“拆弹”部队人数多时达到千人。
映客第一位“拆弹”专家应该是奉佑生本人。2015年5月上线时,团队只有20人,他兼做内容审核。这与其早年的公务员经历有关,奉佑生极为重视内容安全,“在中国做一件事,要深深理解你的生命线和头上的达摩克利之剑是什么”。
业内普遍认为,2015年9月,热门直播平台“17”突遭苹果下架,这为映客、花椒等新移动直播平台的崛起豁开了一条通道。“17”刚下架的几天,花椒的用户量增长为平时3倍。
而“17”被下架的祸首便是不雅内容。有报道称,下架前,“17”用户量达到700万人,但只有9~14人轮班审核内容。
消失了一段时间之后,等到“17”再度上架,直播江湖格局已变。此番洗牌,也为志在成为头部阵营的直播平台叩响第一声警钟。
自2016年起,约谈、整改和查处已经成为视频行业的高频词。包括映客、YY、花椒、虎牙、斗鱼等移动直播平台,以及快手、秒拍、小咖秀等短视频平台,均有被监管部门要求整改的记录。
有些平台不止一次“上黑榜”,如熊猫直播。公开报道可见,该平台一年内至少被查处3次,最近一次,是因为弹幕信息低俗色情。
直播正成为被高度监管的新行业。奉佑生观察,一般的政府监管,都滞后于行业发展,甚至很多行业发展了5~10年后,政府监管条款才跟上来。但在直播行业,国家网信办、文化部、广电总局等五大部门过去一年内史无前例地发布了多种监管政策。
据《财经天下》周刊记者不完全统计,2016年至少有4部与直播直接相关的法律法规出台。最为严格的是《互联网直播服务管理规定》,要求服务商建立直播内容审核平台,并具备即时阻断直播的技术。
必须及时阻断的,往往是“炸弹”。
何为“炸弹”?目前似乎还没有标准答案,因为这份名录仍在持续演化。
以映客平台《主播管理规范》为例,违规项已经细致到服装款式:如“穿着情趣制服、情趣内衣、暴露装、透视装、肉色紧身衣、内衣外穿、半截抹胸、渔网袜、吊带袜、三角短裤或呈现三角状短裤、低腰超短裤、有性暗示文字或图片的服装等”,而“短裙或短裤下摆高于臀下线”也是不被允许的。
表演内容上,“自虐或攻击他人的如酗酒、虐待自己、他人或互殴、吃或者展示各种令人不适的物品、活物、死物”以及吸烟、赌博、传销、展示毒品等,均属禁止行为。
具体判定还会依据场景佐证。比如赌博,只要直播中存在玩扑克、麻将,且桌面上出现金钱的,视作赌博;而采用扑克、麻将开展魔术表演的,审核时会执行通过。
花椒直播相关负责人说,他们的内部运营手册每季度都会更新一版。审核部门每周例会,也会列出要注意的新情况。
尽管如此,在直播世界,主播试探平台底线的小动作几乎每天都会上演和迭代。欲望是不死不休的驱动力。
作为部分直播平台的图像审核技术供应商,图普科技市场总监李麟感触很深。他发现,由客户新提供的数据和定制需求,可以看出主播违规方式的翻新。如新近开发的“画中画”识别技术,专门针对主播并不直接涉黄,而是用另外一部手机拍电脑屏幕的行为。
直播如何审核?映客副总裁钟正阳称,从用户创建直播开始,审核就已启动。只有用户名、簽名、上传图像等静态资料通过审查后,用户才能进入直播平台中。
在技术层面,涉及图像识别、声音识别、敏感词过滤。其中,图像识别有内容样本库,由国家监管部门提供,视频平台要照标准去做。
“每一个对外能看到的内容,我们都有做内容审核。”钟正阳说,直播行业受到政府部门高度监管,为确保安全,包括社会重大事件及平台重大活动,映客都有专项应急处理方案,而且部门主管要及时向上汇报。
首先发现各种“擦边球”的还是审核员。
小冉拆掉的第一个“炸弹”与“撩”有关。一个网红脸女主播,开始只是聊天,后来画风骤变,“揉揉这(胸),捏捏那儿(腿)”。小冉回忆时仍觉可笑,她甩起胳膊,动作夸张地模仿起来。
在她按下一键提醒后,屏幕上暧昧的“小动作”随即消失,又切入聊天模式。从发现违规到处理,审核员最快能控制在3~5秒内。
最初接触涉黄信息时,思想开放如小冉,也会有视觉不适。入职培训时,培训师在台上翻PPT,一张大尺度色情图片跳出来,在场十几个人,女同事齐刷刷低头,男同事也一脸尴尬。
培训师见惯了这种“场面”:这就是你们以后的工作。你们这种状态怎么行?第一时间要去封号,而不是低头。
好比打怪升级,小冉和唐卓这种熟手,甚至会凭职业敏感,做出预判。预感到有人要打“擦边球”了,她们会提前留意。
“有的主播,越说情绪越激动,这一分钟没说脏话,但下一分钟极可能脱口而出,这时我就会多花一段时间,暗处观察他。”唐卓说,她会等着主播违规,等着观众点左上角举报,然后收网。如果针对某位主播的投诉率、举报率上升,系统会自动降低其上热门的几率。
有平台内部设定,每名视频审核员在一个直播间只能盯15~20秒,然后就要跳转到另一房间,这时,会有另一名同事进来接班。如此安排,是为了防止审核员沉溺于某一主播。
小冉业余时间也关注了多名主播,既有她个人喜欢的、擅长唱歌跳舞的高颜值男女,也有要重点盯防的审核对象。看前者表演时,她是粉丝,偶尔会送豆;在后者表演时,她又不自觉地成了“找茬”那个,“用户需要不断提醒、不断发现、不断改正”。工作和生活的界限,在直播软件上变得很模糊。在休息日,她和同事们也会习惯性地刷几下直播页面。
前两天,她正在值夜班,一名轮休的同事给她发来截图提醒:“某某苗头好像不太对,跳舞怎么跳到椅子上了?”
界限
审核也会时常陷入界限模糊地带。
唐卓最头疼的是鉴别驾车直播。如果主播摄像头对着自己,镜头里没有方向盘,很难分清是否违规。
“你觉得他是在开车吗?”拿不准时,她会问组长,或者把窗外风景当参照物。审核员封号要有证据——违规截图。
《财经天下》周刊记者也曾与快手CEO宿华交流过审核尺度问题。宿华是工程师出身,属技术型创业者,彼时他正对“如何界定炒作”的社会命题感到困扰。
快手上曾冒出过生吃活物、死猪等令人不适的视频,此后,作品不能产生不良影响或让人不适这一规定,成为平台红线之一。
“炒作本身的界定是灰色的。你说,贝爷(美国探险家贝尔·格里尔斯)爱吃各种虫子,他吃的时候周围有一圈摄像机,请问他是在炒作吗?不是,因为他看起来不是炒作。可是他本质上,是不是一种炒作?其实真的很难判断。”
去年处理快手“伪公益”事件时,宿华就发现,里面涉及到法律、社会、文化等多方面。为此他甚至去找法学教授,探讨这个问题的边界。
比如“伪公益”事件后,平台上还有几十个团体做公益,真假难辨,快手冻结了全部账号。第二天,其中一家公益机构负责人就从四川赶来北京,说300多名残疾人全靠机构运转为生。他们出示了民政部门登记证书,证明自身是有资质的。快手在向公安部门征询意见后,才将其账号解冻。
国外视频网站同受困扰。英国《每日邮报》报道,今年2月23日,美国纽约一家动物园在视频网站YouTube上直播长颈鹿分娩的过程,当时关注粉丝达2000多万。但直播很快被YouTube关停,原因是有动物保护极端分子举报内容涉嫌“裸露和色情”。不过,剧情当天便有了翻转,迫于舆论压力,YouTube又恢复该直播。
另一互联网巨头、社交网站Facebook也曾因删除母亲哺乳照片,引起争议。
一个平台的审核界限,往往要在人性、立场、文化、法律甚至平台价值观等各方拉扯中,才能逐渐清晰起来,而随着人工智能技术的渗透,又涉及到了机器学习。
以图普为例,机器会把图片分类成正常、性感、色情三类,并给出概率分数,以及是否需要复审的意见。如果一张图片被判为色情,概率是0.99,则不需要复审;如果被判为色情,概率0.3,处于系统不确定的区间,建议人工复审。
不过,《财经天下》周刊记者将米开朗琪罗的大卫雕塑图片上传至图普,机器立即作出判断:色情。貌似机器比人更严苛。
李麟解释称,系统的深度学习,要经过大量数据训练。比如三里屯优衣库试衣间视频刚出现时,图普技术团队就很紧张。他们第一时间找到各种变种版本,拿去测试机器,看能否拦截。因为尺寸、水印、滤镜、截取片段甚至视频二期加工,都会影响机器识别。
在李麟看来,虽然人工智能替代了此前95%的人工审核工作,但它并不能完全替代人。如果出现模糊界定,客户还是要选择人工判定。在映客,有异议的视频会进入到复审阶段,裁定通常在5分钟内处理完。
暗战
漏查违规直播的最严重后果是什么?在最近一次座谈会上,奉佑生在被问到这个问题时,一脸严肃,“肯定会要关闭”。
内容安全事关生死,否则映客不会一年烧掉8000万元。这是奉佑生为内容审核成本算过的一笔账,目前,映客审核员共计1000人。按当地平均工资3500元~4000元估算,一年纯人力成本至少5000万元,加上系统开发与维护等费用,需要8000万元。
花椒相关负责人虽未透露审核成本,但给出一组数据:审核员共600人,其中专职人员有150人,均在北京。按其网上招聘信息推断,审核员平均工资不低于5000元。照此计算,审核人力成本一年至少要900万元。
至于审核技术开发,花椒背靠360人工智能研究院的技术支撑,如“变脸特效”功能,现今已经发展为利用人脸识别技术,协助色情内容监控。
按《互联网直播服务管理规定》要求,直播平台都要配备与服务规模相适应的专业人员,健全信息审核、信息安全管理、值班巡查、应急处置、技术保障等制度。
这等于在行业竞争层面,设置了一场暗战。大平台在人气、流量之外,还得拼技术、财力。
《财经天下》周刊记者了解到,包括映客、快手等移动视频平台,均在二三线城市设立审核基地。一是出于整体容灾机制的考量,如果一地电力或网络出现问题,审核数据会立刻分配到其他基地审核系统中;二是为了节省人力成本。
“审核成本是省不了的。”图普科技CEO李明强说。此前有直播平台纵容违规,或睁一只眼闭一只眼,而今,再持放任态度,则有高风险。
2014年,受快播案启发,李明强认定内容审核是刚需,带着团队做图像智能审核。他们的第一个客户是迅雷,双方开了一次会,便敲定合作。
2015年下半年至2016年上半年,图普业务量猛增,带宽、存储、服务器均急需扩容,甚至机房电量也不够用,而这段时间正是直播和短视频爆发的临界点。图普自称占据了视频审核市场至少60%的份额,映客、花椒、美拍、秒拍、B站、今日头条等头部公司,均是其客户。
裹挟在直播浪潮中,李明强总结,近一年来,客户的需求复杂了很多,最早只是鉴黄,现在低俗、不雅、抽烟、赌博、躺床上、翻拍等均不被允许。“原来一条线、一个点,现在要立体方案。” 而且,头部公司要求更严。
图普此前的对外宣传噱头便是鉴黄。李明强直言,拿鉴黄推销产品,只是市场策略。其实公司专注的是用人工智能技术做图像识别。比如用人脸识别方法,过滤相关时政人物图片,降低政治风险。“系统能做到,只要长得像,就去除掉。”
早先参加人工智能论坛,李明强就发现,在演讲环节介绍公司团队、技术积累时,台下同行兴致索然,而谈到产品之一是鉴黄时,不少人会被吸引。结果,一场演讲下来,全场听众往往只记住了“鉴黄师”。一开始,李明强有点儿郁闷,后来领悟到互联网流行娱乐与自嘲精神,便顺势自封“首席鉴黄师”,并在发朋友圈时,将公司地点替换为“宇宙鉴黄中心”。
在接触过的众多客户中,李明强感觉,映客直播对内容审核尤为重视。映客CTO侯广凌曾谈及,人工审核系统死机或故障时,他们会把直播全部掐断,不敢将没有审核过的视频赤裸裸地放出去,哪怕一分钟也不行。
内容安全如此之重,以至于有竞争对手故意“搞事情”。
花椒在去年11月曾遭遇一次人为制造的“审核危机”。相关负责人透露,当时有网友清早发微博,举报花椒女主播深夜涉黄,并贴出三张直播截图证据。
截图中,一名女主播直播时裸露胸部,另一主播在镜头前仅穿白衬衣和内裤。该网友还@了360董事长周鸿祎以及公安部门。
早上8点,该负责人在上班路上就接到同事的紧急通知,说网信办打来电话,有人匿名举报花椒涉嫌传播淫秽内容。即至少有3段涉黄视频和截图,在网信办工作人员上班前,已经被送抵该部门举报邮箱。
该事件疑点很多。技术人员事后查证,三个涉黄账号都是当天注册,并于凌晨1点到3点间陆续开播,且直播只持续了一两分钟。在将要下播时,三名主播突然脱掉衣服。
其实,审核员当时已监测到违规行为,并作出封停账号处理,但举报人明显有备而来,对直播进行了录屏和截图。
“操作手法特别娴熟,一看就是了解监管流程,才会在下播时突然脱衣服。”这名负责人说。
这场“审核危机”最终得以化解,原因是花椒技术人员很快便通过残留在互联网上的线索,查到幕后“黑手”是某家竞争公司,且掌握了确凿证据。有条线索显示,打赏用户和主播为同一IP。
花椒未透露竞品公司名称,只说平台规模比花椒要小。相关证据已经提交给有关部门。
“其实直播行业的竞争格局基本已定,战争不会在直播行业发生,而是在直播的延展区。”在此前的座谈会上,奉佑生做了一个“得罪人”的论断:2017年直播还会产生更大的马太效应。
但不论战场在哪儿,“拆弹部队”仍是内容安全的守衛者。