1 Arthas（阿尔萨斯） 能为你做什么？

1. 这个类从哪个 jar 包加载的？为什么会报各种类相关的 Exception？
2. 我改的代码为什么没有执行到？难道是我没 commit？分支搞错了？
3. 遇到问题无法在线上 debug，难道只能通过加日志再重新发布吗？
4. 线上遇到某个用户的数据处理有问题，但线上同样无法 debug，线下无法重现！
5. 是否有一个全局视角来查看系统的运行状况？
6. 有什么办法可以监控到JVM的实时运行状态？
7. 怎么快速定位应用的热点，生成火焰图？
8. 怎样直接从JVM内查找某个类的实例？

 2 启动arthas

curl -O https://arthas.aliyun.com/arthas-boot.jar
JAVA -jar arthas-boot.jar

启动Arthas

3. 查看dashboard

Dashboar图

Thread 命令图

4 问题排查

项目正常发布,在测试环境启动正常,在测试环境机房发布启动正常,但是到了预发环境机房启动发现是启动到一半卡住,现象如下:

服务启动到一般卡住

第一反应是预发环境的内存不够导致无法启动(当时服务器上只剩不到700M内存,去其他机器看该服务正常需要1个G内存),日志输出卡住,于是调整内存进行发布,结果调整到了1.2g多还是不行. 于是转换思路,开始排查gconfig和nacos这些在线程状态中是timewating的状态.

使用Arthas命令查看thread现场状态

经过排查这些都是属于非主线程阻塞.

开始另外换思路, 开始排查主线程中的在运行堆栈信息,由于main线程的id是1, 使用arthas中的 thread 1 命令

至此找到问题点,主线程一直在创建webservice连接卡住,没有执行其他的任务

解决办法是进行注释掉,后重新发布正常。

总结,

1. 内存是否足够 top free -h
2. check 启动日志
3. arthas 命令查看threa time out