使用Arkime抓包，捕获解密HTTPS流量
由于TSL的流量流量都是加密的，对TSL的抓包一般比较麻烦，比如用Wireshar抓包还需要网站服务器私钥。最新版本的Arkime（以前叫做Moloch）可以通过PolarProxy接收抓包并解密HTTPS流。本文我们就来介绍如何将通过Arkim和PolarProxy 实时捕获并解密更HTTPS流量。
概述
Arkime是一个开源数据包捕获软件，它可以收集到PCAP数据并对其索引。Arkime自带Web前端，用于浏览和搜索捕获的并建立索引的网络流量。
Arkime抓包并解密TSL流量需要其pcap-over-ip-server功能，并用"--pcapoveripconnect 127.0.0.1:57012"选项启动PolarProxy。PolarProxy通过TCP端口57012连接到Arkime的PCAP-over-IP侦听器，并将其解密的所有TLS数据包的副本发送给它。
安装
TLS解密是通过PolarProxy（透明的TLS拦截代理）来实施的：
PolarProxy和Arkime可以安装在服务器上，可以实现拦截，解密，索引和存储网络上多个客户端的TLS网络流量。甚至有可能在单独的服务器上安PolarProxy和Arkime，以便PolarProxy将解密的流量转发到Arkime服务器。为了避免不必要的麻烦，本文我们在Ubuntu安装了Arkime和PolarProxy。操作系统是Ubuntu 20.04.1机器，也支持其他linux发行版版本使用，比如Arch，centos，Debian，Fedora和SUSE等。
安装配置Arkime
可以在Arkime官方下载适用于CentOS （rpm）和Ubuntu（deb）的预安装包安装，也可以下载源码或者从Github clone源码编译安装：
安装Arkime软件包后，通过运行以下命令配置Arkime：
sudo /data/moloch/bin/Configure
Found interfaces: lo;eth0
Semicolon ';' seperated list of interfaces to monitor [eth0] none
输入"none"作为要监视的界面（当Arkime被配置为IP上的PCAP服务器时，该界面设置将被忽略）
根据提示，选择"Yes"来安装额外的ElasticSearch服务器
编辑/data/moloch/etc/config.ini，添加"pcapReadMethod = pcap-over-ip-server"，将Arkime配置为监听PCAP连接。
接下来，用以下命令启用ElasticSearch systemd服务。
sudo systemctl enable elasticsearch.service
sudo systemctl start elasticsearch.service
启动Arkime search集群。
/data/moloch/db/db.pl localhost:9200 init
创建一个新的管理员用户。
/data/moloch/bin/moloch_add_user.sh admin "Admin User" THEPASSword - admin
然后启用Moloch捕获和查看器服务。
sudo systemctl start molochcapture.service
sudo systemctl enable molochviewer.service
sudo systemctl start molochviewer.servic
启动后，测试一下主机上监听的TCP端口57012，确保服务已经启动。
ss -nta | grep 57012
LISTEN 0 10 0.0.0.0:57012 0.0.0.0:*
安装配置PolarProxy
为PolarProxy的systemd服务创建一个启动用户，并按下载PolarProxy：
sudo adduser --system --shell /bin/bash proxyuser
sudo mkdir /var/log/PolarProxy
sudo chown proxyuser:root /var/log/PolarProxy/
sudo chmod 0775 /var/log/PolarProxy/
sudo su - proxyuser
mkdir ~/PolarProxy
cd ~/PolarProxy/
curl https://www.netresec.com/?download=PolarProxy | tar -xzf -
exit
复制PolarProxy配置复制到systemd。
sudo cp /home/proxyuser/PolarProxy/PolarProxy.service /etc/systemd/system/PolarProxy.service
修改/etc/systemd/system/PolarProxy.service，在ExecStart命令的末尾添加"--pcapoveripconnect 127.0.0.1:57012"
启动PolarProxy服务
sudo systemctl enable PolarProxy.service
sudo systemctl start PolarProxy.service
验证PolarProxy已在TCP端口57012已经连接到Arkime的PCAP-over-IP监听端口。
ss -nta | grep 57012
LISTEN 0 10 0.0.0.0:57012 0.0.0.0:*
ESTAB 0 0 127.0.0.1:40801 127.0.0.1:57012
ESTAB 0 0 127.0.0.1:57012 127.0.0.1:40801
抓包测试
PolarProxy当前正在监听TCP端口10443上的传入TLS连接。因此，我们可以使用以下curl命令通过TLS解密代理运行流量：
curl --insecure --connect-to www.xxx.com:443:127.0.0.1:10443 https://www.xxx.com/
如果一切正常，解密的流量将显示在Arkime中。在浏览器中打开http:// localhost:8005/sessions并查找与www.xxx.com的连接。
添加PolarProxy的根CA证书信任
为了让PolarProxy服务使用的根CA证书同时被操作系统和浏览器所信任，以便通过解密代理运行TLS流量而不会出现错误。请按照以下步骤添加对根CA的信任（其他发行版可能稍有差异）：
sudo mkdir /usr/share/ca-certificates/extra
sudo openssl x509 -inform DER -in /var/log/PolarProxy/polarproxy.cer -out /usr/share/ca-certificates/extra/PolarProxy-root-CA.crt
sudo dpkg-reconfigure ca-certificates
选择"extra /PolarProxy-root-CA.crt"证书颁发机构
按<确定>
配置Firefox浏览器
从以下位置下载根CA证书：localhost:10080/polarproxy.cer
在Firefox 浏览器地址栏输入: about:preferences＃privacy
向下滚动到"证书"，然后单击"查看证书"
导入>选择"polarproxy.cer"，导入添加信任。
配置外发HTTPS流量的防火墙重定向
最后是将本地用户的传出HTTPS流量重定向到TCP端口上PolarProxy服务监听10443。
在/etc/ufw/before.rules添加如下nat规则将传出的HTTPS流量重定向到侦听端口10443的本地PolarProxy服务。
*nat
:OUTPUT ACCEPT [0:0]
-A OUTPUT -m owner --uid 1000 -p tcp --dport 443 -j REDIRECT --to 10443
COMMIT
保存before.rules之后，重新加载UFW以激活端口重定向。
sudo ufw reload
注意，如果你使用的itpables防火墙，而非UFW，则等效规则为：
iptables -t nat -A OUTPUT -m owner --uid 1000 -p tcp --dport 443 -j REDIRECT --to 10443
确保修改防火墙规则中的uid值（1000）以匹配PolarProxy应该为其解密HTTPS流量的本地用户的uid值。
可以通过运行命令"id -u"来查看当前的uid值。
也可以将多个用户的流量从重定向到PolarProxy，但是，一定注意避免转发"proxyuser"用户HTTPS流量，否则就会形成无限死循环了。
可以使用 "id -u proxyuser" 命令查看proxyuser的uid。
这样，该主机已经配置为将自动解密HTTPS流量到到Arkime，打开Firefox并访问https网站，就可以返在Arkime查看到相关的流量。
