恶意网址拦截技术的应用研究
在新技术、新应用的不断刺激下，各类网站应用服务如雨后春笋般不断涌现。伴随着互联网+产业的蓬勃发展，网络安全形势日益严峻。钓鱼电子邮件攻击持续高发、仿冒网站窃取用户个人隐私信息及诈骗用户钱财等时刻威胁着用户的合法权益。这种情况下，迫切需要建立一套全网恶意网址综合防范治理体系。因此，提出了一种针对多种应用场景下的恶意网址拦截方法，通过基于DNS Forward的恶意网址拦截、恶意短网址拦截、“拆链”技术在恶意网址拦截中的应用等技术手段，综合治理全网恶意网址访问行为。不仅提升了全网防护效果，而且有效减少了全网恶意访问流量。
截至2019年6月，我国网民规模达8.54亿，较2018年底增长2 598万，互联网在经济社会发展中的重要作用愈加凸显。伴随着互联网+产业的飞速发展，网络安全形势越来越严峻，网站挂马、网络诈骗、隐私窃取等日益威胁着广大网民的合法权益。2019年上半年，国家互联网应急中心自主监测发现约4.6万个针对我国境内网站的仿冒页面。仿冒页面主要对知名网站、金融行业、电信行业网上营业厅进行仿冒，并通过社会工程学等手段恶意收集用户敏感信息、诈骗用户钱财等。网站挂马行为更直接威胁到广大网民使用的个人终端，通过在个人终端上运行挂马程序以达到控制个人终端的目的，进而持续威胁网民的合法权益。恶意网站的肆虐对广大网民的正常上网行为构成了巨大威胁，因而迫切需要建立一套全网恶意网址综合防范治理体系。
01
恶意网址
恶意网址主要分为挂马网站、黄赌毒网站和钓鱼网站。挂马网站指的是向网站页面中加入恶意代码，当用户访问该页面时会自动访问被转向的网址、下载木马病毒，或是利用浏览器漏洞来执行恶意代码以达到危害用户权益的目的。黄赌毒网站宣扬的内容本身并不合法，这类网站中也可能隐藏着病毒木马。钓鱼网站是通过模仿知名网站页面等手段来欺骗用户，利用社会工程学恶意收集用户敏感信息、诈骗用户钱财等。
现今，浏览器恶意网址拦截技术悄然兴起。常见的浏览器恶意网址拦截机制为浏览器会周期性地从指定服务器获取一份最新的网址黑名单，如果访问的网址存在于这个黑名单，那么浏览器会弹出一个警告页面。浏览器恶意网址拦截手段存在一定的局限性，拦截效果取决于浏览器厂商的技术实力，且恶意网址特征库无法根据全网恶意网址变化情况动态自适应，同时受限于用户的使用习惯，无法覆盖到全部用户。
02
恶意网址拦截关键技术
2.1 DNS Forward在恶意网址拦截中的应用
当用户终端发出域名解析请求时，通常采用递归查询的方式向本地DNS服务器发出请求，然后等待域名解析响应，而后本地DNS服务器通过迭代查询方式向根DNS服务器发出请求，而根DNS服务器只是给出下一级DNS服务器的地址，然后本地DNS服务器再向下一级DNS发送查询请求，直至得到最终解析结果，并最终通过本地DNS返回给用户。在互联网上使用最广泛的DNS服务软件BIND中，有一个独特的DNS转发机制。它会把所有DNS域名解析请求先发送给转发器。DNS转发器负责处理DNS域名解析请求，并建立充足的域名解析信息缓存，对发出的解析请求给出响应，返回域名对应的IP地址信息。DNS解析通常在用户实际访问到网站之前，如果能够在DNS解析阶段对恶意网址实施拦截，将能够有效保护用户的合法权益，并可以有效压制恶意网络流量。如图1所示，通过DNS Forward技术，增强型DNS转发器根据本地DNS转发来的域名解析请求报文解析出域名信息，通过与恶意网址特征库匹配进行判断。如果判定为恶意网址，将通过DNS响应包重定向至官方警示信息页面，提醒用户正在访问的网站为恶意网站。如果判定为正常域名信息，将按照正常解析流程解析，并将域名解析结果返回给用户。
图1 DNS Forward在恶意网址拦截中的应用2.2 恶意短网址拦截技术现今，短网址是一个潮流。借助短网址可以用简短的网址替代原来冗长的网址，使使用者可以更容易分享链接，但同时也为恶意网址伪装打开了方便之门。恶意网址通过一个短码生成，并附加在短码提供服务商域名信息之后，具有很强的迷惑性。短码服务提供商众多，且提供的短网址转换服务具有有效期。同样地，恶意网址在不同的短网址转换平台具有不同的表现形式，且某个时间段特定短码服务提供商的短码对应为恶意网址，而下个时间段该短码可能对应为正常网址信息。因此，建立短网址恶意地址库不符合实际情况，也无法适应恶意短网址的变化情况。如图2所示，增强型DNS转发器自解析获得如短码服务提供商t.cn的IP地址，向这个地址发送HTTP GET请求，查询短码如54R8NCd，以获得对应的长URL。通过与标准的恶意网址特征库进行比对，如果为恶意网址，通过DNS响应包重定向至官方警示信息页面，提醒用户正在访问的网站为恶意网站。实际应用中，考虑到DNS转发器的负荷和网络负载，可通过设置长短网址解析信息缓存，并通过TTL机制设置长短网址解析信息缓存“老化时间”。
图2 恶意短网址拦截技术
2.3 “拆链”技术在恶意网址拦截中的应用对于使用非本地DNS（如阿里公共DNS等）或是直接使用IP地址访问网站的情况，这种情况域名解析请求不会发送至本地DNS服务器或是不需要进行域名解析，因此基于DNS Forward技术的恶意网址拦截手段将无法发挥作用。针对此种情况，通过深度报文检测DPI平台和恶意网址检测系统对恶意网址进行识别。当检测到用户访问恶意网址时，通过“拆链”平台发送FIN拆链数据包来终止访问行为。如图3所示，“拆链”平台部署在本网内，通过向用户和恶意网站同时发送FIN拆链数据包来达到双向终止的目的。平台部署在本网内，网络时延也可以得到有效控制，拆链效果可以得到有效保障。
图3 “拆链”技术在恶意网址拦截中的应用
2.4 恶意网址特征库
判断一个网址是否为恶意网址，需要判断的内容为网址URL、网页文字、图片、音视频及网页隐藏的恶意程序等，它们通常以单个或是组合的形式出现。产生危害的方式为单向传播违法违规信息、诱骗用户点击产生恶意交互行为等。文本检测是进行恶意网址检测的常用手段，而数据源可能来自网址URL、网页文字、图片上嵌入的文字及音视频里的语音文字信息，因此需要先进行文本统一预处理。
这里采用图片OCR识别技术、语音转文本等技术统一对各个数据源进行文本提取操作。提取文本信息后，采用TF-IDF+机器学习来“粗筛选”恶意网址。利用TF-IDF的“过滤常见词语，保留重要词语”的技术特性，结合多种机器学习模型联合判别。当联合判别结果一致为恶意网址时，将该网址添加到恶意网址库中；判别结果不一致时，提交“沙箱”系统进行进一步判别。除文本信息外，图片信息、视频信息（非文本部分）也可能存在违法违规信息的可能。
因此，需采集现网大量正常的、异常的数据集进行机器学习模型训练，需采用CNN、RNN、LSTM等多种机器学习模型进行联合判别。判别一致，添加到恶意网址库中；判别不一致，则提交提交“沙箱”系统进行进一步判别。经历“粗筛选”后无法确认是否为恶意网址，需通过“沙箱”技术来进一步判别。某些情况下，恶意行为需要在真实的网页环境中才会被触发。
因此，模拟用户实际交互来进行恶意行为检测。判断为恶意网址的，添加到恶意网址特征库；如仍无法判别，提交人工进行最后确认。在对网址URL进行检测时，兼顾采用IP历史域名绑定情况筛选、知名网站相似度匹配，通过建立IP历史域名绑定次数TOPN及知名网站相似度特征库，重点关注历史绑定次数频繁或是与知名网站网址URL相似度高的网址。
如检测到上述网址信息不在恶意地址库中，需要提交人工确认。恶意网址检测整体流程如图4所示。
图4 恶意网址检测流程
03
恶意网址拦截应用方案
实际部署时，恶意网址拦截主要功能单元分为增强型DNS转发器和“拆链”平台。利用深度报文检测DPI平台和恶意网址检测系统来进行全网恶意网址地址库的动态更新。
首先，通过增强型DNS转发器解析本地DNS服务器转发来的域名解析请求，通过自身恶意网址特征库进行指纹信息比对，拦截恶意网址，通过DNS响应包重定向至官方警示信息页面。
其次，对于使用非本地DNS（如阿里公共DNS等）或是直接使用IP地址访问网站的情况，当检测到用户访问恶意网址时，通过“拆链”平台发送FIN拆链数据包来终止访问行为。恶意网址拦截应用流程如图5所示。
图5 恶意网址拦截应用流程通过基于DNS Forward技术的恶意网址拦截手段，对用户访问恶意网址的行为进行预先拦截，在用户还没有实际访问到恶意网站前就抢先终止了访问行为，不仅有助于减少全网恶意访问流量，还有效控制了用户面临的安全风险。对于没有使用本地DNS服务器解析域名请求的用户，通过实时检测网络流量，实时干预恶意网址访问行为，给用户和恶意网站同时发送FIN拆链数据包来双向终止访问行为。最后，通过深度报文检测DPI平台和恶意网址检测系统进行全网恶意网址分析，结合外部权威恶意网址信息共享等，动态更新全网恶意网址特征库，进一步发挥基于DNS Forward技术的恶意网址拦截手段的预先拦截作用。
04
结 语
本文提出了一种针对多种应用场景下的恶意网址拦截方法，针对使用本地DNS服务器进行域名解析的情况，通过基于DNS Forward技术的恶意网址拦截手段，对用户访问恶意网址的行为进行预先拦截。
对于使用非本地DNS或是直接使用IP地址访问网站的情况，深度报文检测DPI平台和恶意网址检测系统对恶意网址进行识别，再通过“拆链”技术进行恶意网址拦截。通过基于DNS Forward恶意网址拦截手段的“近端防护”和“拆链”技术的补充应用，提升了全网防护效果，并有效减少了全网恶意访问流量。
作者简介 >>>
张 涛（1983—），男，硕士，工程师，主要研究方向为网络安全防护技术。
选自《通信技术》2020年第三期 （为便于排版，已省去原文参考文献）
