<返回更多

线上应用诊断与调试利器——Arthas

2020-11-04    
加入收藏
线上应用诊断与调试利器——Arthas

 

转载本文需注明出处:微信公众号EAWorld,违者必究。

 

 

‍‍‍‍‍什么是Arthas‍‍‍‍‍‍‍‍‍‍‍‍‍

 

JAVA 诊断利器 Arthas,是阿里的一款开源工具。Github-alibaba/arthas 上可以看到它的介绍。

 

在日常开发中,当我们发现应用的某个接口响应比较慢,这个时候想想要分析一下原因,找到代码中耗时的部分,比较容易想到的是在接口链路的 IO 操作上下游打印时间日志,再根据几个时间点的日志算出耗时长的 IO 操作。这种方式没有问题,但是加日志需要发布,既繁琐又低效,这个时候可以引入一些线上 debug 的工具,arthas 就是很好的一种,除了分析耗时,还可以打印调用栈、方法入参及返回,类加载情况,线程池状态,系统参数等等,其实现原理是解析 JVM 在操作系统中的文件,大部分操作是只读的,对服务进程没有侵入性,因此可以放心使用。

 

 

Arthas能解决什么问题?

 

从我个人的使用经验来看,Arthas至少帮我解决了以下几个问题:

 

  1. 监控某方法查看其整个调用链路,从而找出某次调用的性能瓶颈。
  2. 反编译某个类,查看线上的代码是否与本地代码一致,避免没有提交代码而导致的问题。
  3. 站在全局视角查看整个系统的运行情况,比如观察内存增长、GC的情况。
  4. 在微服务架构背景下,通常本地没有完整的环境,此时可以直接在测试环境监控某个方法传入的参数是否正确,返回值是否正确。

 

 

快速开始

 

下载并启动arthas

 

输入以下命令启动arthas程序

 

curl -O https://arthas.aliyun.com/arthas-demo.jarjava -jar arthas-demo.jar

 

选择需要监控应用的进程编号,回车后Arthas会attach到目标进程上,并输出日志:

 

线上应用诊断与调试利器——Arthas

 

容器中使用

 

Docker exec -it arthas-demo /bin/sh -c "java -jar /opt/arthas/arthas-boot.jar"

 

甚至我们可以直接把arthas放到容器镜像文件中:

 

COPY --from=hengyunabc/arthas:latest /opt/arthas /opt/arthas

 

线上应用诊断与调试利器——Arthas

 

 

Arthas常用命令

 

下面简要为大家介绍一下Arthas常用的几个命令。

 

dashboard

 

使用dashboard命令会显示以下信息:

 

1. 当前最繁忙的一些线程

2. 显示应用当前使用的内存信息,包括堆内存、新生代伊甸区、老年代、非堆内存的使用情况。

3. 显示程序的GC情况,包括YGC次数、总花费时间,FGC的次数、总花费时间。

4. 当前程序的一些信息,包括系统版本、JDK版本、程序运行时长等。

线上应用诊断与调试利器——Arthas

 

Thread

 

查看当前线程信息,查看线程的堆栈

 

// 查看 CPU 使用率 top n 的线程的栈,当前最忙的前 n 个线程:thread -n 3// 查看 5 秒内的 CPU 使用率 top n 的线程栈:thread -n 3 -i 5000​// 查看线程是否有阻塞:thread -b

 

线上应用诊断与调试利器——Arthas

 

watch

 

有时候我们不太方便进行本地调试,这个时候可以使用watch监控某个方法,然后点击相关的功能,查看该方法的调用情况:

 

watch com.primeton.dgp.assets.controller.DsResourcePoolController getResourcePool "{params,returnObj}" -x 2

 

执行以上命令后,控制台会hold在被监控的方法上,此时再次点击页面上的按钮,控制台就会打印此次的调用结果。

 

线上应用诊断与调试利器——Arthas

 

trace

 

trace 命令能主动搜索 class-pattern/method-pattern 对应的方法调用路径,渲染和统计整个调用链路上的所有性能开销和追踪调用链路。通常我们用这个方法可以看到整个调用路径的耗时,从而找出真正的性能瓶颈,帮助解决问题。

 

trace com.primeton.dgp.assets.controller.DsResourcePoolController getResourcePool

 

线上应用诊断与调试利器——Arthas

 

tt

 

tt方法执行数据的时空隧道,记录下指定方法每次调用的入参和返回信息,并能对这些不同的时间下调用进行观测,使用方法如下:

 

tt -t com.primeton.dgp.assets.controller.DsResourcePoolController getResourcePool

 

执行此命令后,arthas会记录下指定方法的每次调用环境现场,并打印一些相关的信息,如调用时长、是否正常返回、是否抛出异常等。

 

线上应用诊断与调试利器——Arthas

 

显示所有被记录的调用列表

 

tt -l

 

线上应用诊断与调试利器——Arthas

 

重做一次调用。tt 命令由于保存了当时调用的所有现场信息,所以我们可以自己主动对一个 INDEX 编号的时间片自主发起一次调用,从而解放你的沟通成本。此时你需要 -p 参数。通过 --replay-times 指定 调用次数,通过 --replay-interval 指定多次调用间隔(单位ms, 默认1000ms)

 

tt -i 1001 -p --replay-times 3 --replay-interval 3000

 

线上应用诊断与调试利器——Arthas

 

jad

 

jad 命令将 JVM 中实际运行的 class 的 byte code 反编译成 java 代码,便于你理解业务逻辑;反编译出来的源码是带语法高亮的,阅读更方便。当我们看到某个方法的调用时长明显过长,或者时空隧道中某方法抛出异常,这个时候就可以直接反编译相关的方法,看看是否能找出原因。

 

线上应用诊断与调试利器——Arthas

 

其他

 

除了以上很常用的命令以外,arthas还有很多实用命令,大家可以参考官方文档来使用

 

https://arthas.aliyun.com/doc/index.html

 

另外,每一个命令都支持-help参数,可以查看该命令的说明、参数,甚至包括了使用例子,可以说是非常贴心了

 

线上应用诊断与调试利器——Arthas

 

 

案例

 

案例1

 

我们准备了一个简单的springboot应用,应用内有一个Controller,返回一个字符串,代码如下:

 

@RestControllerpublic class DemoController {​​@GetMApping(value = "/getDemo")public String getDemo(){return "demo 1";    }}

 

启动程序,访问刚刚准备好的controller得到了下面的结果

线上应用诊断与调试利器——Arthas

 

接下来我们要尝试在没有源码的情况下修改demo controller的返回值,并在不重启应用的情况下,使我们修改的返回值生效。

 

首先启动arthas并织入到刚才的demo,然后反编译DemoController到临时文件夹。

 

jad --source-only com.example.arthas.DemoController >  /tmp/DemoController.java

 

接下来我们用vim修改反编译出来的代码

 

线上应用诊断与调试利器——Arthas

 

查询加载原有DemoController类的ClassLoader

 

sc -d com.example.arthas.DemoController

 

重新编译修改后的类

 

mc -c 685f4c2e /tmp/DemoController.java

 

重新加载修改后的类

 

redefine -c 685f4c2e /opt/arthas/demo/com/example/arthas/DemoController.class

 

线上应用诊断与调试利器——Arthas

 

此时,无需重启应用,我们重新访问刚才的controller,会发现返回结果已经成功更改了。

 

线上应用诊断与调试利器——Arthas

 

案例2

 

某燃气系统由于被众多地区的燃气公司所使用,所以版本繁多,经历过很多轮的测试,其中比较耗时的当属性能测试了。以往性能测试工作通常耗时很长,主要是性能测试人员并不一定熟悉项目代码,导致压力测试出现问题的时候不容易找到问题的所在。

 

在本次的表具接口的性能测试中,我们使用Arthas工具进行故障的快速定位,大幅减少了性能测试的时间,达到了很好的效果。

 

本次压力测试的过程中我们发现,当并发达到一定数量的时候系统会卡死,大量新的请求会超时。使用dashboard查看发现系统的大量线程处于block或者wating中。

 

线上应用诊断与调试利器——Arthas

 

使用trace命令,将压力测试的方法进行监控,并保存到日志文件中,接着重新跑一轮压力测试。

 

trace -n 150000 com.towngas.tcis.interfaces.nb.NbInfoServlet getService >> tt-2020-10-17-NbServlet-getService

 

监控日志,当用户数达到500+的时候果然发现了问题

 

线上应用诊断与调试利器——Arthas

 

继续使用trace命令跟踪,发现了可能出现问题的方法

线上应用诊断与调试利器——Arthas

 

使用jad命令反编译该代码可以看到HttpClient并没有被立即关闭,使用release的释放后关闭通常没有问题,但是释放资源有一个过程通常是180秒,所以如果短时间有大量接口调用,会导致打开的socket连接数量超过系统设定值。找到原因后问题得以顺利解决,压力测试得以顺利完成。

 

线上应用诊断与调试利器——Arthas

 

 

小结

 

本次的分享为大家介绍了Arthas的基本概念与基础的使用方法。更为详细的使用方法、命令的更多参数,还请查看Arthas的官方文档。

 

https://arthas.aliyun.com/doc/index.html

 

关于作者:李云涛,普元高级开发工程师,擅长性能调优、微服务、容器、消息队列等技术。先后参与邮储银行Java开发平台、中移总ERP流程平台、中煤信息技术中台等平台的的架构设计与平台研发工作。

 

关于EAWorld:微服务,DevOps,数据治理,移动架构原创技术分享。

声明:本站部分内容来自互联网,如有版权侵犯或其他问题请与我们联系,我们将立即删除或处理。
▍相关推荐
更多资讯 >>>