线上应用诊断与调试利器——Arthas
转载本文需注明出处：微信公众号EAWorld，违者必究。
什么是Arthas
JAVA 诊断利器 Arthas，是阿里的一款开源工具。Github-alibaba/arthas 上可以看到它的介绍。
在日常开发中，当我们发现应用的某个接口响应比较慢，这个时候想想要分析一下原因，找到代码中耗时的部分，比较容易想到的是在接口链路的 IO 操作上下游打印时间日志，再根据几个时间点的日志算出耗时长的 IO 操作。这种方式没有问题，但是加日志需要发布，既繁琐又低效，这个时候可以引入一些线上 debug 的工具，arthas 就是很好的一种，除了分析耗时，还可以打印调用栈、方法入参及返回，类加载情况，线程池状态，系统参数等等，其实现原理是解析 JVM 在操作系统中的文件，大部分操作是只读的，对服务进程没有侵入性，因此可以放心使用。
Arthas能解决什么问题？
从我个人的使用经验来看，Arthas至少帮我解决了以下几个问题：
- 监控某方法查看其整个调用链路，从而找出某次调用的性能瓶颈。
- 反编译某个类，查看线上的代码是否与本地代码一致，避免没有提交代码而导致的问题。
- 站在全局视角查看整个系统的运行情况，比如观察内存增长、GC的情况。
- 在微服务架构背景下，通常本地没有完整的环境，此时可以直接在测试环境监控某个方法传入的参数是否正确，返回值是否正确。
快速开始
下载并启动arthas
输入以下命令启动arthas程序
curl -O https://arthas.aliyun.com/arthas-demo.jarjava -jar arthas-demo.jar
选择需要监控应用的进程编号，回车后Arthas会attach到目标进程上，并输出日志：
容器中使用
Docker exec -it arthas-demo /bin/sh -c "java -jar /opt/arthas/arthas-boot.jar"
甚至我们可以直接把arthas放到容器镜像文件中：
COPY --from=hengyunabc/arthas:latest /opt/arthas /opt/arthas
Arthas常用命令
下面简要为大家介绍一下Arthas常用的几个命令。
dashboard
使用dashboard命令会显示以下信息:
1. 当前最繁忙的一些线程
2. 显示应用当前使用的内存信息，包括堆内存、新生代伊甸区、老年代、非堆内存的使用情况。
3. 显示程序的GC情况，包括YGC次数、总花费时间，FGC的次数、总花费时间。
4. 当前程序的一些信息，包括系统版本、JDK版本、程序运行时长等。
Thread
查看当前线程信息，查看线程的堆栈
// 查看 CPU 使用率 top n 的线程的栈，当前最忙的前 n 个线程：thread -n 3// 查看 5 秒内的 CPU 使用率 top n 的线程栈：thread -n 3 -i 5000// 查看线程是否有阻塞：thread -b
watch
有时候我们不太方便进行本地调试，这个时候可以使用watch监控某个方法，然后点击相关的功能，查看该方法的调用情况：
watch com.primeton.dgp.assets.controller.DsResourcePoolController getResourcePool "{params,returnObj}" -x 2
执行以上命令后，控制台会hold在被监控的方法上，此时再次点击页面上的按钮，控制台就会打印此次的调用结果。
trace
trace 命令能主动搜索 class-pattern／method-pattern 对应的方法调用路径，渲染和统计整个调用链路上的所有性能开销和追踪调用链路。通常我们用这个方法可以看到整个调用路径的耗时，从而找出真正的性能瓶颈，帮助解决问题。
trace com.primeton.dgp.assets.controller.DsResourcePoolController getResourcePool
tt
tt方法执行数据的时空隧道，记录下指定方法每次调用的入参和返回信息，并能对这些不同的时间下调用进行观测，使用方法如下：
tt -t com.primeton.dgp.assets.controller.DsResourcePoolController getResourcePool
执行此命令后，arthas会记录下指定方法的每次调用环境现场，并打印一些相关的信息，如调用时长、是否正常返回、是否抛出异常等。
显示所有被记录的调用列表
tt -l
重做一次调用。tt 命令由于保存了当时调用的所有现场信息，所以我们可以自己主动对一个 INDEX 编号的时间片自主发起一次调用，从而解放你的沟通成本。此时你需要 -p 参数。通过 --replay-times 指定 调用次数，通过 --replay-interval 指定多次调用间隔(单位ms, 默认1000ms)
tt -i 1001 -p --replay-times 3 --replay-interval 3000
jad
jad 命令将 JVM 中实际运行的 class 的 byte code 反编译成 java 代码，便于你理解业务逻辑；反编译出来的源码是带语法高亮的，阅读更方便。当我们看到某个方法的调用时长明显过长，或者时空隧道中某方法抛出异常，这个时候就可以直接反编译相关的方法，看看是否能找出原因。
其他
除了以上很常用的命令以外，arthas还有很多实用命令，大家可以参考官方文档来使用
https://arthas.aliyun.com/doc/index.html
另外，每一个命令都支持-help参数，可以查看该命令的说明、参数，甚至包括了使用例子，可以说是非常贴心了
案例
案例1
我们准备了一个简单的springboot应用，应用内有一个Controller，返回一个字符串，代码如下：
@RestControllerpublic class DemoController {@GetMApping(value = "/getDemo")public String getDemo(){return "demo 1"; }}
启动程序，访问刚刚准备好的controller得到了下面的结果
接下来我们要尝试在没有源码的情况下修改demo controller的返回值，并在不重启应用的情况下,使我们修改的返回值生效。
首先启动arthas并织入到刚才的demo，然后反编译DemoController到临时文件夹。
jad --source-only com.example.arthas.DemoController > /tmp/DemoController.java
接下来我们用vim修改反编译出来的代码
查询加载原有DemoController类的ClassLoader
sc -d com.example.arthas.DemoController
重新编译修改后的类
mc -c 685f4c2e /tmp/DemoController.java
重新加载修改后的类
redefine -c 685f4c2e /opt/arthas/demo/com/example/arthas/DemoController.class
此时，无需重启应用，我们重新访问刚才的controller，会发现返回结果已经成功更改了。
案例2
某燃气系统由于被众多地区的燃气公司所使用，所以版本繁多，经历过很多轮的测试，其中比较耗时的当属性能测试了。以往性能测试工作通常耗时很长，主要是性能测试人员并不一定熟悉项目代码，导致压力测试出现问题的时候不容易找到问题的所在。
在本次的表具接口的性能测试中，我们使用Arthas工具进行故障的快速定位，大幅减少了性能测试的时间，达到了很好的效果。
本次压力测试的过程中我们发现，当并发达到一定数量的时候系统会卡死，大量新的请求会超时。使用dashboard查看发现系统的大量线程处于block或者wating中。
使用trace命令，将压力测试的方法进行监控，并保存到日志文件中，接着重新跑一轮压力测试。
trace -n 150000 com.towngas.tcis.interfaces.nb.NbInfoServlet getService >> tt-2020-10-17-NbServlet-getService
监控日志，当用户数达到500+的时候果然发现了问题
继续使用trace命令跟踪，发现了可能出现问题的方法
使用jad命令反编译该代码可以看到HttpClient并没有被立即关闭，使用release的释放后关闭通常没有问题，但是释放资源有一个过程通常是180秒，所以如果短时间有大量接口调用，会导致打开的socket连接数量超过系统设定值。找到原因后问题得以顺利解决，压力测试得以顺利完成。
小结
本次的分享为大家介绍了Arthas的基本概念与基础的使用方法。更为详细的使用方法、命令的更多参数，还请查看Arthas的官方文档。
https://arthas.aliyun.com/doc/index.html
关于作者：李云涛，普元高级开发工程师，擅长性能调优、微服务、容器、消息队列等技术。先后参与邮储银行Java开发平台、中移总ERP流程平台、中煤信息技术中台等平台的的架构设计与平台研发工作。
关于EAWorld：微服务，DevOps，数据治理，移动架构原创技术分享。
