基于信令数据与互联网数据实现骚扰电话分析
2015-10-10李怀明北京中创信测信息技术有限公司监测系统产品线产品规划部产品经理
李怀明 北京中创信测信息技术有限公司监测系统产品线产品规划部产品经理
中创信测技术专栏
基于信令数据与互联网数据实现骚扰电话分析
李怀明北京中创信测信息技术有限公司监测系统产品线产品规划部产品经理
编者按:随着移动网络规模的不断提升,骚扰欺诈呼叫甚嚣尘上,甚至让老百姓遭受巨大损失。运营商和互联网厂商正在积极参与治理这一问题。北京中创信测信息技术有限公司检测系统产品线产品规划部李怀明所撰《基于信令数据与互联网数据实现骚扰电话分析》一文介绍了中创信测结合互联网数据与信令数据深度挖掘骚扰电话分析与治理的整体解决方案,该方案具有全网覆盖、属性全面、数据精准等特点,经实地测试可帮助运营商和互联网厂商全面、有效地治理骚扰欺诈呼叫。
随着移动网络规模的不断提升,骚扰欺诈呼叫频发,运营商正在积极治理。互联网厂商也参与了骚扰电话治理,但仅限提醒,且覆盖范围有限。针对上述问题,中创信测推出一套结合互联网数据与信令数据深度挖掘的骚扰电话分析与治理整体解决方案并进行了实地测试,该方案具有全网覆盖、属性全面、数据精准等特点,可以满足全面治理骚扰欺诈呼叫的需求。
信令监测 骚扰电话 互联网分析 移动终端
1 引言
针对骚扰电话行为,运营商虽在持续治理,但依然泛滥;互联网厂商虽也参与了骚扰电话治理,但仅限提醒,且覆盖范围有限。针对上述问题,中创信测推出一套结合互联网数据与信令数据深度挖掘的骚扰电话分析与治理整体解决方案,该方案具有全网覆盖、属性全面、数据精准等特点。
下面将对基于信令数据与互联网数据实现骚扰电话分析的实现方案进行详细说明。
2 现状分析
2.1骚扰电话分析与拦截产品现状
现阶段网络和终端侧都有骚扰电话分析与拦截产品,网络侧产品主要是运营商基于CS域数据,独立承建的骚扰电话分析与拦截系统;终端侧主要是互联网厂商提供的免费APP,如360手机卫士、搜狗电话本等。
骚扰电话分析产品分布如图1所示。
●网络侧产品
主要基于CS域信令监测数据分析,结合自建骚扰电话投诉平台的举报数据生成基础信息,并经人工甄别确认后,对确定的骚扰电话做拦截处理。
●终端侧产品
主要基于终端用户点击举报,生成骚扰电话库,并下载到用户终端,来电时给予提醒。只提供提醒功能,不具备拦截功能。
2.2现有产品优势与不足
2.2.1网络侧产品
主要是运营商基于CS域数据,独立承建的骚扰电话分析与拦截系统。
●优势:分析数据经人工甄别,对确定的骚扰电话进行拦截,拦截准确性高,且不涉及对用户终端资源的占用。
●不足:骚扰电话分类单一,无法细分骚扰电话属性。只有拦截功能,无提醒功能,处理范围有限。所以,运营商虽有处理,但骚扰电话仍然泛滥。
2.2.2终端侧产品
主要是互联网厂商提供的免费APP,如360手机卫士、搜狗电话本等。
●优势:采用互联网大数据机制,针对骚扰电话分类提醒(诈骗、中介、推销等),可根据骚扰电话被投诉频次来标识可信度。
●不足:终端资源占用较大,需要开通高级权限,涉及用户隐私权。只覆盖安卓用户,IOS用户覆盖有限,且使用感知极差,非智能终端用户无法覆盖。
图1 骚扰电话分析产品概况
3 实现方案
3.1可行性分析
现阶段可从以下两个场景获取相对准确的骚扰电话数据:
场景1:360手机卫士、搜狗号码通等APP主要针对骚扰电话问题进行开发,具备完善的骚扰电话提醒及举报功能。另外,小米、中兴、联想等手机本身也集成了骚扰电话提醒及举报功能。从目前掌握的信息看,安卓平台骚扰电话提醒及举报机制明显优于IOS平台,安卓平台中360手机卫士、搜狗号码通、小米手机自带功能由于用户基数大,提醒效果最佳。
场景2:针对电话号码,可从360、百度等互联网网站查询获知是否为骚扰电话,以及骚扰属性(诈骗、中介、推销等)及频度(被多少人标识)信息。
基于运营商全网呼叫及上网信令记录数据,结合上述两个场景数据,可实现对骚扰电话的分析。以下结合实际案例对分析的可行性进行详细说明:
(1)基于PS域信令记录查找可能被骚扰的电话号码
根据骚扰电话拦截APP相关业务特征,梳理查询关键字,并基于PS信令监测系统定位可能被骚扰的电话号码。
如图2所示,可看出在某日15:06号码:1XXXXXX2271符合查询条件,可初步推测该号码可能被陌生电话呼入或拨打过陌生电话号码,并且骚扰电话拦截APP针对陌生号码向Sever端发送过消息。
图2 陌生号码呼叫信令记录查询结果
(2)基于CS域信令记录初步定位骚扰电话号码
以号码1XXXXXX2271为条件,查询该号码在15:06之前5min内的通话记录,发现在15:05时,该号码拨打过0755XXXXXXX号码。
根据规则,初步推测0755XXXXXXX号码有骚扰电话嫌疑。结果如图3所示。
图3 疑似骚扰电话信令记录查询结果
(3)基于互联网数据精确定位骚扰电话号码
在百度网站查询0755XXXXXXX号码,结果如图4所示,并可判断该号码有骚扰电话嫌疑。
结合以上分析样例可确定,通过信令监测系统PS域、CS域信令记录数据,可梳理出疑似骚扰电话号码,并通过互联网数据,可定位是否为骚扰电话号码,并可确定骚扰电话属性。
3.2实现方案
中创信令监测系统对信令数据进行深度分析,结合互联网数据,实现骚扰电话属性精确识别。该系统采用省级与中心两级组网架构,全国数据集中同步,动态更新。系统组网架构如图5所示,具体实现步骤如下:
(1)系统首先通过中创信测自研网络爬虫,在互联网相关骚扰电话举报网站爬取基础数据。
(2)根据互联网站抓取的基础数据,结合运营商CS呼叫记录匹配查询,并结合呼叫行为(超频、超短、平均时长相近等)进一步筛选。
(3)结合运营商PS域信令记录进一步验证分析结果,通常骚扰电话都具备CS呼叫量与PS流量严重不对等的特征。
(4)省级系统数据与集中数据分析平台同步,以掌握全国骚扰电话分布与活跃度。
图4 基于互联网数据对疑似骚扰电话号码验证结果
图5 骚扰电话分析平台系统架构
3.3方案优势
3.3.1全网覆盖
基于互联网大数据、运营商CS/PS域信令数据综合分析,分析范围覆盖所有智能机及非智能机。
3.3.2属性全面
数据属性全面,涵盖运营商系统及互联网APP所有属性。
3.3.3数据精准
在北京设有集中大数据分析中心,各省份设有基础数据采集点,结合本地信令数据,分析结果优于运营商及互联网APP数据。
3.3.4试用场景
某运营商建有CS、PS域信令监测系统,同时建有骚扰电话分析系统。本次测试将实现本方案所述的新式骚扰电话分析结果与现有骚扰电话分析系统分析结果的对比。
3.3.5试用效果
为便于数据对比,下文将运营商已建骚扰电话分析系统简称为旧系统,对采用中创结合CS、PS信令记录,并结合互联网数据分析方法的系统简称为新系统。
现针对旧系统与新系统分析结果对比如下:
(1)统计结果数量对比
针对单日骚扰电话分析结果对比:
●旧系统:280个。
●新系统:4263个。
可见,新系统分析结果为旧系统的16倍。
(2)统计结果准确性对比
新系统骚扰电话库为基于互联网数据,且举报频次大于1000的数据生成,准确性近100%。基于新系统骚扰电话库匹配旧系统分析结果,匹配率约为50%。
(3)新系统特色统计
新系统具备骚扰电话属性分析、骚扰电话归属地分析、骚扰电话归属运营商分析,以及特定号码分类定制分析等功能。
以下为新系统部分特色统计示例:
●骚扰电话属性分析
骚扰电话属性分析结果如表1所示,可以看出,广告推销的骚扰电话最多,其次是诈骗电话,建议运营商能重点关注诈骗电话的分析与拦截。
●骚扰电话归属地分析
骚扰电话归属地TOP10排名分析如图6所示,可以看出,本地为骚扰电话主要来源,其它省份骚扰电话主要来自广东、北京、江苏、安徽等。
表1 骚扰电话分类频次统计
图6 骚扰电话归属地TOP10排名
4 推广应用场景
4.1应用场景1:骚扰电话提醒
4.1.1方案特点
(1)针对生成的骚扰电话分析结果,可按不同属性,分级别以短信、闪信方式,实现骚扰电话提醒。
(2)不涉及终端资源占用,真正做到“绿色防扰”。
(3)提醒范围覆盖所有终端,并可按预置策略,针对特定终端(比如IOS、非智能机)做提醒。
方案实现如图7所示。
4.1.2业务开通必要条件
(1)基础数据源
●全网2/3G呼叫信令记录。
●全网2/3/4G上网业务信令记录。
(2)挂机后短信提醒方式
基于全网2/3G呼叫信令记录即可实现。
(3)振铃阶段闪信提醒方式
需对彩铃链路、网间及长途局链路重新监测分析。
4.2应用场景2:完善现有骚扰电话分析系统数据
4.2.1方案特点
针对生成的骚扰电话分析结果,可按运营商需求,将数据同步至已建骚扰电话分析平台,完善其系统数据,提升骚扰电话分析及拦截准确性。
方案实现如图8所示。
图7 主动式骚扰电话提醒方案
图8 骚扰电话分析系统间数据互通方案
4.2.2业务开通必要条件
(1)基础数据源
●全网2/3G呼叫信令记录。
●全网2/3/4G上网业务信令记录。
(2)系统间数据接口
需提供与现有骚扰电话分析平台的网络传输,支持实时与非实时数据对接方式。
4.3应用场景3:信息安全部门需求
4.3.1方案特点
针对生成的骚扰电话分析结果,可按运营商需求,将数据同步至信息安全部门相关系统。并可按其要求,提供数据清洗及报表分析服务。
方案实现如图9所示。
4.3.2业务开通必要条件
(1)基础数据源
●全网2/3G呼叫信令记录。
●全网2/3/4G上网业务信令记录。
(2)系统间数据接口
需提供与现有骚扰电话分析平台的网络传输,支持实时与非实时数据对接方式。
Crank CallsAnalysis Based on Signaling and Internet Data
With the expansion of mobile Internet,crank and frauds calls are increasing rapidly,so carriers are actively handling with these problems.Internet vendors also participate in the crank calls management,but just provide reminders,and also have limited coverage.As for the above-mentioned problems,ZCTT has launched the crank calls analysis and management solutions based on the deep mining of Internet and signaling data,which include such features as all networks coverage,integrated attributes,data accuracy,to fully meet the requirements of crank and frauds calls management.
signaling monitoring,crank calls,Internet analysis,mobile terminals
图9 骚扰电话分析平台与其它应用平台数据互通方案