JVM运维手册

xw大约 29 分钟JVMJVM

[TOC]

1.常见情况排查

1.1 cpu占用过高定位

首先使用top命令查看是哪个java进程占用CPU过高

针对cpu占用高的进程查看具体线程占用情况，命令：ps H -eo pid,tid,%cpu | grep 38816，其中38816为pid，tid为线程id，%cpu为cpu使用率。

发现线程38841占用比较高，将该线程ID转为十六进制，对应十六进制数为97B9,使用jstack命令查看线程具体信息，命令格式为

## 命令格式
jstack 进程ID |grep 线程ID -A 40

## 例子
jstack 38816 |grep 97b9 -A 40

使用arthas分析：

通过thread命令查看，命令为thread -n 3,查看前三个占用率最高的线程

thread -n 3 -i 1000 : 列出1000ms内最忙的3个线程栈
thread -i 1000 : 统计最近1000ms内的线程CPU时间。

cpu使用过高的一般原因有以下几点:

程序计算比较密集
死循环
过多的线程
频繁的IO读写

1.2 程序假死

发生假死可能有以下几种情况:

程序死锁
MajorGC/Full GC STW导致

首先排查是不是程序内部死锁导致，使用jps查看进程id

## 查看Java进程
jps

使用jstack 命令查看程序有无死锁

## 查看应用线程情况
jstack pid

如果没有发生死锁，查看GC是否正常，

## 查看GC情况 pid 进程ID
jstat -gc -t -h 5 {pid} 5000 1000

通过观察GC日志也可以查看gc和堆内存使用情况

## 开启GC日志打印 
jinfo -flag +PrintGCDetails pid

## 打印加上时间戳信息
jinfo -flag +PrintGCTimeStamps pid

如果发现GC时间明显异常，则大概率是由于MajorGC/Full GC导致STW引起应用假死，需要进一步分析频繁导致MajorGC/Full GC的原因，需要导出应用快照进行分析定位，命令如下：

## 导出快照，{path}为快照路径
jmap -dump:format=b,file={path} PID

导出快照后，推荐使用MAT、JProfiler工具分析快照，找到导致频繁MajorGC/Full GC的原因。

使用arthas分析

查看有无死锁。

thread -b

查看堆内存和GC情况

dashboard

打开GC日志

vmoption PrintGCDetails true

导出快照

## 导出快照
heapdump {path}

##例子
heapdump /tmp/dump.hprof

**注意：**目前JDK自带命令和arthas只支持找出synchronized关键字阻塞住的线程，如果是java.util.concurrent.Lock，目前还不支持,需要进一步分析。

1.3 接口性能优化

arthas trace命令能主动搜索指定方法调用路径，渲染和统计整个调用链路上的所有性能开销和追踪调用链路。

## 格式如下：
 trace [--exclude-class-pattern <value>] [-h] [-n <value>] [--listenerId <value>] [-p <value>] [-E] [--skipJDKMethod <value>] [-v] class-pattern method-pattern [condition-express] 
 
##示例如下：
 trace com.tiduyun.cmp.biz.schedule.resource.CloudVendorResourceSyncSchedule resyncResources  -n 5 --skipJDKMethod false

根据结果对耗时比较久的方法进行代码分析，若分析比较困难，可对耗时较久的方法继续trace跟踪，直至找到原因。

1.4 内存溢出&内存泄漏

一般导致导致内存溢出有以下几个原因,其中堆内存溢出和直接内存溢出是最常见到的：

堆内存溢出
直接内存溢出
永久区（元空间）内存溢出
过多创建线程导致直接内存溢出

首先使用top命令查看内存大致占用情况

top

使用jps查看Java进程id,查看GC信息

## 查看进程信息
jps

## 查看GC信息和堆内存使用情况 {pid}为进程ID
jstat -gc -t -h 5 {pid} 5000 1000

如果堆内存占用和GC异常，大概率是由于堆内存溢出导致，可通过转存快照进一步分析：

堆内存溢出自动导出快照

arthas:

## 堆溢出自动导出快照开关
vmoption HeapDumpOnOutOfMemoryError true
## 快照导出路径
vmoption HeapDumpPath /tmp

自带命令：

## 堆溢出自动导出快照开关
jinfo -flag +HeapDumpOnOutOfMemoryError PID

## 快照导出路径
jinfo -flag HeapDumpPath=/tmp PID

手动导出

## 自带命令行导出快照，{path}为快照路径
jmap -dump:format=b,file={path} PID

## arthas导出快照
heapdump {path}

如果堆内存占用和GC无明显异常，通过HeapDumpOnOutOfMemoryError和HeapDumpPath参数也无法生成快照，可导出快照通过OQL语言查看java.nio.DirectByteBuffer对象个数

## 查询快照中DirectByteBuffer对象在线个数
SELECT * FROM java.nio.DirectByteBuffer

以MAT为例：

如果java.nio.DirectByteBuffer对象数量很多，说明有大量堆外内存申请且没有释放，可抽取部分对象查看引用关系，对有较多引用的对象看代码进一步排查。

总结：

HeapDumpOnOutOfMemoryError和HeapDumpPath参数无法对堆外内存溢出生成快照。
一般堆外内存发生在使用NIO的程序中，Jvm通过java.nio.DirectByteBuffer对象保持对堆外内存引用，可通过分析堆中该对象数量判断堆外内存的申请情况，通过引用关系逐一排查可能存在堆外内存泄漏的点,可以通过在本地环境使用Visual VM、JProfiler等工具实时附加进一步验证分析。
内存泄漏的常见原因：
- 静态集合类，如HashMap、LinkedList等等。如果这些容器为静态的，那么它们的生命周期与JVM程序一致，则容器中的对象在程序结束之前将不能被释放，从而造成内存泄漏。简单而言，长生命周期的对象持有短生命周期对象的引用，尽管短生命周期的对象不再使用，但是因为长生命周期对象持有它的
  引用而导致不能被回收。
- 内部类持有外部类，如果一个外部类的实例对象的方法返回了一个内部类的实例对象。这个内部类对象被长期引用了，即使那个外部类实例对象不再被使用，但由于内部类持有外部类的实例对象，这个外部类对象将不会被垃圾回收，这也会造成内存泄漏。
- 各种连接，如数据库连接、网络连接和IO连接等。
- 改变Hash值。
- 缓存泄漏。
- 变量不合理的作用域。一般而言，一个变量的定义的作用范围大于其使用范围，很有可能会造成内存泄漏。另一方面，如果没有及时地把对象设置为null，很有可能导致内存泄漏的发生。

1.5 接口异常但没有输出日志，无法定位问题

有些时候由于开发人员自身原因未将异常输出到日志，导致线上问题无法定位，可使用arthas的watch命名监听方法输出错误信息，格式如下：

## -n 监听次数 -x 监听方法层级
watch 类名 方法名 '{params,returnObj,throwExp}'  -n 5  -x 3 

## 例子
watch com.tiduyun.cmp.flow.service.AuditProcessService addAuditProcess '{params,returnObj,throwExp}'  -n 5  -x 3

1.6 应用链路分析

使用arthas生成快照：

## 查看支持的事件，常见的事件有  cpu、alloc、lock、wall、itimer
profiler list

## 生成快照信息 -d 200指定采样时间
profiler start --event cpu -f /var/log/cmp/%t.jfr -d 200

使用JProfiler打开快照：

查看火焰图：

查找指定类分析

该方法适合JProfiler无法直接附加分析的场景，如果JProfiler可以直接远程连接应用，直接附加即可。

2. 案例

2.1 cmp-job假死排查

现象：在线上环境发现该服务经常隔两天就崩溃，注册不上xxl-job，服务部分时间没响应。

分析过程：

使用arthas附加上去，使用dashboard命令查看面板数据，发现当前内存占用正常，但GC的时间明显异常，结合job服务的业务场景，主要是执行定时任务，推测是某个定时任务导致OOM, 于是加了OOM自动导出快照参数,当程序发生OOM时自动保存快照。

arthas:


## 堆溢出自动导出快照
vmoption HeapDumpOnOutOfMemoryError true
## 快照导出路径
vmoption HeapDumpPath /tmp

导出快照后使用MAT工具分析，查看内存泄漏报告

发现CloudResourceStatisticalReportServiceImpl.lambda$screenResourceType处占用了大量的内存，初步怀疑是这个地方发生了内存溢出，进一步查看直方图，发现存在大量的com.tiduyun.cmp.common.model.assessment.CloudResourceStatisticalReport对象

进一步查看支配树，发现某个线程创建了大量的com.tiduyun.cmp.common.model.assessment.CloudResourceStatisticalReport对象，占用的深堆很大。

进一步查看该线程，可看到该线程的异常信息，是由于某个定时任务执行导致内存溢出。

进一步分析代码是由于程序将数据库所有的数据一次性查出来生成报表的过程中，因为数据量太大从而导致内存溢出，后通过将该任务进行分片分配到多个节点执行解决了该问题。

附录1. JVM运行时参数

JVM参数类型

JVM参数分为三种标准参数、-X型参数和-XX型参数。

标准参数选项

C:\Users\xw>java -help
用法: java [-options] class [args...]
           (执行类)
   或  java [-options] -jar jarfile [args...]
           (执行 jar 文件)
其中选项包括:
    -d32          使用 32 位数据模型 (如果可用)
    -d64          使用 64 位数据模型 (如果可用)
    -server       选择 "server" VM
                  默认 VM 是 server.

    -cp <目录和 zip/jar 文件的类搜索路径>
    -classpath <目录和 zip/jar 文件的类搜索路径>
                  用 ; 分隔的目录, JAR 档案
                  和 ZIP 档案列表, 用于搜索类文件。
    -D<名称>=<值>
                  设置系统属性
    -verbose:[class|gc|jni]
                  启用详细输出
    -version      输出产品版本并退出
    -version:<值>
                  警告: 此功能已过时, 将在
                  未来发行版中删除。
                  需要指定的版本才能运行
    -showversion  输出产品版本并继续
    -jre-restrict-search | -no-jre-restrict-search
                  警告: 此功能已过时, 将在
                  未来发行版中删除。
                  在版本搜索中包括/排除用户专用 JRE
    -? -help      输出此帮助消息
    -X            输出非标准选项的帮助
    -ea[:<packagename>...|:<classname>]
    -enableassertions[:<packagename>...|:<classname>]
                  按指定的粒度启用断言
    -da[:<packagename>...|:<classname>]
    -disableassertions[:<packagename>...|:<classname>]
                  禁用具有指定粒度的断言
    -esa | -enablesystemassertions
                  启用系统断言
    -dsa | -disablesystemassertions
                  禁用系统断言
    -agentlib:<libname>[=<选项>]
                  加载本机代理库 <libname>, 例如 -agentlib:hprof
                  另请参阅 -agentlib:jdwp=help 和 -agentlib:hprof=help
    -agentpath:<pathname>[=<选项>]
                  按完整路径名加载本机代理库
    -javaagent:<jarpath>[=<选项>]
                  加载 Java 编程语言代理, 请参阅 java.lang.instrument
    -splash:<imagepath>
                  使用指定的图像显示启动屏幕
有关详细信息, 请参阅 http://www.oracle.com/technetwork/java/javase/documentation/index.html。

X参数选项

C:\Users\xw>java -X
    -Xmixed           混合模式执行 (默认)
    -Xint             仅解释模式执行
    -Xbootclasspath:<用 ; 分隔的目录和 zip/jar 文件>
                      设置搜索路径以引导类和资源
    -Xbootclasspath/a:<用 ; 分隔的目录和 zip/jar 文件>
                      附加在引导类路径末尾
    -Xbootclasspath/p:<用 ; 分隔的目录和 zip/jar 文件>
                      置于引导类路径之前
    -Xdiag            显示附加诊断消息
    -Xnoclassgc       禁用类垃圾收集
    -Xincgc           启用增量垃圾收集
    -Xloggc:<file>    将 GC 状态记录在文件中 (带时间戳)
    -Xbatch           禁用后台编译
    -Xms<size>        设置初始 Java 堆大小
    -Xmx<size>        设置最大 Java 堆大小
    -Xss<size>        设置 Java 线程堆栈大小
    -Xprof            输出 cpu 配置文件数据
    -Xfuture          启用最严格的检查, 预期将来的默认值
    -Xrs              减少 Java/VM 对操作系统信号的使用 (请参阅文档)
    -Xcheck:jni       对 JNI 函数执行其他检查
    -Xshare:off       不尝试使用共享类数据
    -Xshare:auto      在可能的情况下使用共享类数据 (默认)
    -Xshare:on        要求使用共享类数据, 否则将失败。
    -XshowSettings    显示所有设置并继续
    -XshowSettings:all
                      显示所有设置并继续
    -XshowSettings:vm 显示所有与 vm 相关的设置并继续
    -XshowSettings:properties
                      显示所有属性设置并继续
    -XshowSettings:locale
                      显示所有与区域设置相关的设置并继续

-X 选项是非标准选项, 如有更改, 不另行通知。

XX参数选项

分类：分为boolean类型和非boolean类型。boolean类型格式为-XX:+<option>表示启用。-XX:-<option>表示禁用，非boolean类型格式-XX:<option>=<number>或者-XX:<option>=<string>。

常用的JVM参数选项

打印设置的XX选项及值

-XX:+PrintCommandLineFlags ，可以在程序运行前打印出用户手动设置或者JVM自动设置的XX选项
-XX:+PrintFlagsInitial,打印出所有XX选项的默认值
-XX:+PrintFlagsFinal,打印出XX选项在运行程序时生效的值
-XX:+PrinitVMOptions,打印JVM的参数

堆栈参数设置

栈

-Xss128k,设置每个线程的栈大小为128K

堆内存

-Xms3550m,设置JVM初始堆内存为3550m
-Xmx3550m,设置JVM最大堆内存为3550m
-Xmn2g,设置年轻代大小为2g，等价于-XX:NewSize=2g -XX:MaxNewSize=2g，也就是设置年轻代初始值和年轻代最大值都是2G，官方推荐配置为整个堆大小的3/8
-XX:NewSize=1024m,设置年轻代初始值为1024M
-XX:MaxNewSize=1024m,设置年轻代最大值为1024M
-XX:SurvivorRatio=8,设置年轻代中Eden区与一个Survivor区的比值，默认为8
-XX:+UseAdaptiveSizePolicy,自动选择各区大小比例。默认开启，将会导致Eden区和Survivor区的比例自动分配，因此也会引起我们默认值-XX:SurvivorRatio=8失效
-XX:NewRatio=4,设置老年代与年轻代（包括1个Eden区和2个Survivor区）的比值，默认为2。根据实际情况进行设置，主要根据对象生命周期来进行分配，如果对象生命周期很长，那么让老年代大一点，否则让新生代大一点
-XX:PretenureSizeThreadshold=1024，设置让大于此阈值的对象直接分配在老年代，单位为字节，只对Serial、ParNew收集器有效。
-XX:MaxTenuringThreshold=15，默认值为15，新生代每次MinorGc后的年龄+1，当对象年龄大于15时进入老年代。
-XX:+PrintTenuringDistribution，让JVM每次MonitorGc时打印当前使用Survivor中对象的年龄分布。
-XX:TargetSurvivorRatio，表示MinorGc结束后Survivor区域中占用空间的期望比例。

方法区

-XX:PermSize=256m，设置永久代初始值为256M
-XX:MaxPermSize=256m，设置永久代最大值为256M
-XX:MetaspaceSize，设置元空间初始大小
-XX:MaxMetaspaceSize，元空间最大值，默认没有限制
-XX:+UseCompressedOops，使用压缩对象指针
-XX:+UseCompressedClassPointers，使用压缩类指针
-XX:CompressedClassSpaceSize，设置Klass Metaspace的大小，默认1G

直接内存

-XX:MaxDirectMemorySize，指定DirectMemory容量，若未指定，则默认与Java堆最大值一样

OutOfMemory相关选项

-XX:+HeapDumpOnOutOfMemoryError，表示在内存出现OOM的时候，生成Heap转储文件，以便后续分析，-XX:+HeapDumpBeforeFullGC和-XX:+HeapDumpOnOutMemoryError只能设置1个。
-XX:+HeapDumpBeforeFullGC，表示在出现FullGC之前，生成Heap转储文件，以便后续分析，-XX:+HeapDumpBeforeFullGC和-XX:+HeapDumpOnOutMemoryError只能设置1个，请注意FullGC可能出现多次，那么dump文件也会生成多个
-XX:HeapDumpPath=<path>，指定heap转存文件的存储路径，如果不指定，就会将dump文件放在当前目录中
-XX:OnOutOfMemoryError，指定一个可行性程序或者脚本的路径，当发生OOM的时候，去执行这个脚本

垃圾回收器相关选项

查看默认的垃圾回收器

-XX:+PrintCommandLineFlags,查看命令行相关参数

Serial回收器

-XX:+UseSerialGC,指定年轻代和老年大都使用串行收集器。等价于新生代用Serial GC,老年代用Serial Old GC

Parnew回收器

-XX:+UseParNewGC,手动指定使用ParNew收集器进行内存回收任务，年轻代使用并行收集器，不影响老年代。
-XX:+ParalleGCThreads,设置年轻代并行收集器的线程数，一般最好与CPU数量相等，以避免过多的线程数影响垃圾收集性能。

Parallel回收器

-XX:+UseParallelGC,手动指定年轻代使用Parallel并行收集器执行内存回收任务。-XX:+UseParallelOldGC,手动指定老年代都是使用并行回收收集器。上面这两个参数只要开启一个，两个同时生效。
-XX: ParallelGCThreads,设置年轻代并行收集器的线程数。一般地，最好与CPU数量相等，以避免过多的线程数影响垃圾收集性能。·在默认情况下，当CPU 数量小于8个， ParallelGCThreads 的值等于CPU 数量。当CPU数量大于8个，ParallelGCThreads 的值等于3+[5*CPU_Count]/8] 。
-XX:MaxGCPauseMillis,设置垃圾收集器最大停顿时间(即STw的时间)。单位是毫秒。为了尽可能地把停顿时间控制在MaxGCPauseMills以内，收集器在工作时会调整Java堆大小或者其他一些参数。对于用户来讲，停顿时间越短体验越好。但是在服务器端，我们注重高并发，整体的吞吐量，所以服务器端适合Parallel，进行控制。该参数使用需谨慎。
-XX:GCTimeRatio垃圾收集时间占总时间的比例(= 1/ (N + 1))。用于衡量吞吐量的大小。·取值范围（0,100）,默认值99，也就是垃圾回收时间不超过1%。·与前一个-XX:MaxGCPauseMillis参数有一定矛盾性。暂停时间越长，Radio参数就容易超过设定的比例。
-XX:+UseAdaptiveSizePolicy,设置Parallel Scavenge收集器具有自适应调节策略。在这种模式下，年轻代的大小、Eden和Survivor的比例、晋升老年代的对象年龄等参数会被自动调整，已达到在堆大小、吞吐量和停顿时间之间的平衡点。·在手动调优比较困难的场合，可以直接使用这种自适应的方式，仅指定虚拟机的最大堆、目标的吞吐量（GCTimeRatio）和停顿时间(MaxGCPauseMills)，让虚拟机自己完成调优工作。

注意：

Parallel回收器主打吞吐量，而CMS和G1主打低延迟，如果主打吞吐量，那么就不应该限制最大停顿时间，所以-XX:MaxGCPauseMills不应该设置
-XX:MaxGCPauseMills中的调整堆大小通过默认开启的-XX:+UseAdaptiveSizePolicy来实现
-XX:GCTimeRatio用来衡量吞吐量，并且和-XX:MaxGCPauseMills矛盾，因此不会同时使用

CMS回收器

-XX:+UseConcMarkSweepGC,手动指定使用CMS收集器执行内存回收任务。开启该参数后会自动将-XX:+UseParNewGC打开。即:ParNew(Young区用)+CNS(01d区用)+Serial old的组合。
开启该参数后会自动将-XX：+UseParNewGC打开.即：ParNew(Young区用)+CMS(Old区用)+Serial old的组合。
-XX:CMSInitiatingOccupanyFraction,设置堆内存使用率的阀值，一旦达到该阈值，便开始进行回收。JDK5及以前版本的默认值为68,即当老年代的空间使用率达到68%时，会执行一次CNS回收。JDK6及以上版本默认值为92%，·如果内存增长缓慢，则可以设置一个稍大的值，大的阈值可以有效降低CMS的触发频率，减少老年代回收的次数可以较为明显地改善应用程序性能。反之，如果应用程序内存使用率增长很快，则应该降低这个阙值，以避免频繁触发老年代串行收集器。因此通过该选项便可以有效降低Full GC的执行次数。
-XX:+UseCMSCompactAtFullcollection,用于指定在执行完Full GC后对内存空间进行压缩整理，以此避免内存碎片的产生。不过由于内存压缩整理过程无法并发执行，所带来的问题就是停顿时间变得更长了。
-XX:CMSFullGcsBeforeCompaction,设置在执行多少次Full GC后对内存空间进行压缩整理。
-XX: ParallelCMSThreads,设置CMS的线程数量。 CMS 默认启动的线程数是(ParallelGCThreads+3)/4，ParallelGCThreads 是年轻代并行收集器的线程数。当CPU 资源比较紧胀时，受到CMS收集器线程的影响，应用程序的性能在垃圾回收阶段可能会非常糟糕。
-XX:ConcGCThreads:设置并发垃圾收集的线程数，默认该值是基于ParallelGCThreadsi计算出来的
-XX:+UseCMSInitiating0ccupancyOnly:是否动态可调，用这个参数可以使CMS一直按CMSInitiatingOccupancyFraction设定的值启动
-XX:+CMSScavengeBeforeRemark:强制hotspot虚拟机在cms remark阶段之前做一次minorgc，用于提高remark阶段的速度
-XX:+CMSClassUnloadingEnable:如果有的话，启用回收Perm区(JDK8之前)
-XX:+CMSParallelInitialEnabled:用于开启CMS initial-mark阶段采用多线程的方式进行标记，用于提高标记速度，在Java8开始已经默认开启:
-XX:+CMSParallelRemarkEnabled:用户开启CNS remark阶段采用多线程的方式进行重新标记，默认开启。
-XX:+ExplicitGCInvokesConcurrentAndUnloadsclasses这两个参数用户指定hotspot虚拟在执行System.gc()时使用CMS周期;
-XX:+CMSPrecleaningEnabled:指定CNS是否需要进行Pre cleaning这个阶段。

CMS在JDK9标记为Deprecate,在JDK14中被移除了。

G1回收器

-XX:+UseG1GC，手动指定使用G1收集器执行内存回收任务。
-XX:G1HeapRegionSize，设置每个Region的大小。值是2的幂，范围是1MB到32MB之间，目标是根据最小的Java堆大小划分出约2048个区域。默认是堆内存的1/2000。
-XX:MaxGCPauseMi1lis，设置期望达到的最大GC停顿时间指标(JVM会尽力实现，但不保证达到)。默认值是200ms
-XX:ParallelGCThread，设置STW时GC线程数的值。最多设置为8
-XX:ConcGCThreads，设置并发标记的线程数。将n设置为并行垃圾回收线程数(ParallelGCThreads)的1/4左右。
-XX:InitiatingHeap0ccupancyPercent，设置触发并发GC周期的Java堆占用率阈值。超过此值，就触发Gc。默认值是45。
-XX:G1NewSizePercent、-XX:G1MaxNewSizePercent，新生代占用整个堆内存的最小百分比（默认5%）、最大百分比（默认60%）
-XX:G1ReservePercent=10，保留内存区域,防止 to space ( Survivor中的to区）溢出。

如果使用G1垃圾收集器，不建议设置-Xmn和-XX:NewRatio，毕竟可能影响G1的自动调节

GC日志相关

-verbose:gc，输出日志信息，默认输出的标准输出,格式如下：
-XX:+PrintGC，等同于-verbose:gc表示打开简化的日志
-XX:+PrintGCDetails，在发生垃圾回收时打印内存回收详细的日志，并在进程退出时输出当前内存各区域的分配情况，格式如下：
-XX:+PrintGCTimeStamps，程序启动到GC发生的时间秒数，不可以独立使用，需要配合-XX:+PrintGCDetails使用
-XX:+PrintGCDateStamps，输出GC发生时的时间戳（以日期的形式，例如：2013-05-04T21:53:59.234+0800），不可以独立使用，可以配合-XX:+PrintGCDetails使用
-XX:+PrintHeapAtGC，每一次GC前和GC后，都打印堆信息
-XIoggc:<file>，把GC日志写入到一个文件中去，而不是打印到标准输出中
-XX:TraceClassLoading，监控类的加载
-XX:PrintGCApplicationStoppedTime，打印GC时线程的停顿时间
-XX:+PrintGCApplicationConcurrentTime，垃圾收集之前打印出应用未中断的执行时间
-XX:+PrintReferenceGC，记录回收了多少种不同引用类型的引用
-XX:+PrintTenuringDistribution，让JVM在每次MinorGC后打印出当前使用的Survivor中对象的年龄分布
-XX:+UseGCLogFileRotation，启用GC日志文件的自动转储
-XX:NumberOfGCLogFiles=1，GC日志文件的循环数目
-XX:GCLogFileSize=1M，控制GC日志文件的大小

其他

-XX:+DisableExplicitGC，禁用hotspot执行System.gc()，默认禁用
-XX:ReservedCodeCacheSize=<n>[g|m|k]、-XX:InitialCodeCacheSize=<n>[g|m|k]，指定代码缓存的大小
-XX:+UseCodeCacheFlushing，使用该参数让jvm放弃一些被编译的代码，避免代码缓存被占满时JVM切换到interpreted-only的情况
-XX:+DoEscapeAnalysis，开启逃逸分析
-XX:+UseBiasedLocking，开启偏向锁
-XX:+UseLargePages，开启使用大页面
-XX:+PrintTLAB，打印TLAB的使用情况
-XX:TLABSize，设置TLAB大小

添加JVM参数选项

IDEA

运行时

## 设置非Boolean类型参数
jinfo -flag <name>=<value> <pid>

## 设置Boolean类型参数
jinfo -flag [+][-] <name> <pid>

jar包

java -xms20m jar demo.jar

Tomcat

Linux系统下可以在tomcat/bin/catalina.sh中添加类似如下配置：JAVA_OPTS="-Xms512M -Xmx1024M"
Windows系统下载catalina.bat中添加类似如下配置：set "JAVA_OPTS=-Xms512M -Xmx1024M"

程序运行时

使用jinfo -flag <name>=<value> <pid>设置非Boolean类型参数
使用jinfo -flag [+|-]<name> <pid>设置Boolean类型参数
使用arthas:

vmoption <name> <value>
如
vmoption PrintGC true

附录2.JVM监控及诊断工具

命令行篇

jps

作用：查看增在运行的java进程

参数：

-q :仅仅显示LVMID(local virtual machine id),即本地虚拟机唯一ID，不显示类名称
-l: 输出应用程序主类的全类名
-v: 列出虚拟机进程启动时的JVM参数
-m 输出虚拟机进程启动传给主类main()的参数

jstat

作用：查看JVM统计信息,常应用于检测垃圾回收问题和OOM。

命令格式为:

 jstat -<option> [-t] [-h<lines>] <vmid> [<interval> [<count>]]

-t : 显示程序的运行时间，单位为秒。
interval: 指定输出统计数据的周期，单位为毫秒。
count: 用于指定统计的总次数
-h: 每隔多少行输出表头数据
vmid: 进程id(通过jps命令获取)

option选项：

-class: 显示classloader相关信息：类的装载、卸载数量、总空间、类装载所消耗的时间
-gc: 显示gc相关的堆信息
-gccapacity: 输出信息主要与gc相同，但输出主要关注堆各个区域用到的最小和最大空间
-gcutil: 显示内容与gc基本相同，主要关注百分比
-gccause: 与gcutil功能一样，但会输出最后一次gc的原因
-gcnew: 显示新生代GC状况

示例如下图:

SOC: 第一个幸存区大小，单位为字节
S1C: 第二次幸存区大小，单位为字节
S0U: 第一个幸存区已使用的大小，单位为字节
S1U: 第二个幸存区已使用的大小，单位为字节
EC: Eden空间的大小
EU: Eden已使用空间的大小
OC: 老年代的大小
OU：老年代已使用的大小
MC: 方法区的大小
MU: 方法区已使用的大小
CCSC: 压缩类空间的大小
CCSU: 压缩类已使用空间的大小
YGC: young gc次数
YGCT: yong gc消耗的时间
FGC: full gc次数
PGCT: full gc时间
GCT: 应用程序启动到采样gc总时间

jinfo

作用：查看和修改JVM配置信息

命令格式为：

jinfo [option] <pid>
       
jinfo [option] <executable <core>
      
jinfo [option] [server_id@]<remote server IP or hostname>

#查看
jinfo -sysprops PID #查看由System.getProperties()取得的参数

jinfo -flags PID  #查看曾经赋值得一些参数

jinfo -flag 具体参数 PID #查看某个java进程的具体参数的值


#修改
jinfo -flag [+|-]具体参数 PID  ## boolean类型修改

jinfo -flag 具体参数=参数值 PID ##非boolean类型

只有标记为manageable的flag才可以被实时修改，查看manageable参数命令为 java -XX:+PrintFlagsFinal -version| grep manageable

jmap

作用：dump文件和获取堆内存使用情况

命令格式：

jmap [option] <pid>

jmap [option] <executable <core>

jmap [option] [server_id@]<remote server IP or hostname>

常用命令：

1.手动导出内存映像文件  
# format =b表面格式与hprof对应起来，表面这是一个标准的格式
jmap -dump:format=b,file=d:\1.hprof PID

## live 只保存堆中存活的对象
jmap -dump:live,format=b,file=d:\1.hprof PID

2.OOM自动生成内存镜像文件
设置JVM参数；
-XX : +HeapDumpOnOutOfMemoryError:在程序发生00M时，导出应用程序的当前堆快照。
-XX:HeapDumpPath:可以指定堆快照的保存位置。

3.显示堆内存相关信息
jmap -heap PID >1.txt

jmap -histo PID>2.txt

4.查看系统的ClassLoader信息
jmap -permstat pid

5.查看堆积在finalizer队列中的对象
jmap -finalizerinfo

由于jmap将访问堆中的所有对象，为了保证在此过程中不被应用线程干扰，jmap需要借助安全点机制，让所有线程停留在不改变堆中数据的状态。也就是说，由jmap导出的堆快照必定是安全点位置的。这可能导致基于该堆快照的分析结果存在偏差。

实例如下图：

jhat

作用：dump分析工具。使用了jhat命令，就启动了一个http服务，端口是7000，即http://localhost:7000/。open in new window jhat命令在JDK9、JDK10中已经被删除，官方建议用Visua1VM代替，所以不详细了解。

命令格式：

jhat filePath

示例如下：

访问http://localhost:7000open in new window,如图

jstack

作用:用于生成虚拟机指定进程当前时刻的线程快照(虚拟机堆栈跟踪)。线程快照就是当前虚拟机内指定进程的每一条线程正在执行的方法堆栈的集合。

命令格式：

 jstack [-l] <pid>
 jstack -F [-m] [-l] <pid>
 jstack [-m] [-l] <executable> <core>
 jstack [-m] [-l] [server_id@]<remote server IP or hostname>

option参数

-F :当正常输出的请求不被响应时，强制输出线程堆栈
-l : 除堆栈外，显示关于锁的附加信息入
-m: 如果调用到本地方法的话，可以显示C/C++的堆栈
-h: 帮助操作

jcmd

作用：它是一个多功能的工具，可以用来实现前面除了jstat之外所有命令的功能。比如:用它来导出堆、内存使用、查看Java进程、导出线程信息、执行GC、JVM运行时间等,官方推荐使用jcmd代替其他命令。

常用命令：

1.列出所有JVM进程
jcmd -l 

2.查看指定PID支持的操作
jcmd PID help 

3.jcmd操作
jcmd PID 支持的操作

示例演示：

使用jcmd导出dump:

GUI工具

推荐使用MAT、Jprofiler进行离线分析，推荐使用Jprofiler、Arthas在线分析诊断。

Arthas

Arthas 是Alibaba开源的Java诊断工具,功能十分强大，常见命令如下：

常见基础命令具体使用请参考：arthas官方文档open in new window

常见的arthas特殊用法：

watch/monitor/trace 重载方法过滤

public class Test {
    public static void main(String[] args) throws InterruptedException {
        for (int i = 0; i < 1000; ++i) {
            hello("world");
            hello(i, "world");
            User user = new User();
            user.setAge(1);
            user.setName("yangliu");
            hello(i, "world");
            hello(user);
            Thread.sleep(1000);
        }
    }

    public static void hello(String string) {
        System.out.println(string);
    }

    public static void hello(int i, String string) {
        System.out.println(string + " " + i);
    }

    public static void hello(User string) {
        System.out.println(string);
    }
    
}

监听arthas.Test#hello(arthas.User)方法,通过参数类型去区分。

watch arthas.Test hello '{params,returnObj,throwExp}' 'params[0].class.name=="arthas.User"'  -n 5  -x 3

监听arthas.Test#hello(java.lang.String)

watch arthas.Test hello '{params,returnObj,throwExp}' 'params[0].class.name=="java.lang.String"'  -n 5  -x 3

通过参数个数区分

watch arthas.Test hello '{params,returnObj,throwExp}' 'params.length==2'  -n 5  -x 3

watch方法过滤

查看第一个参数

watch arthas.Test hello '{params[0],returnObj,throwExp}' 'params.length==2'  -n 5  -x 3

只监听指定参数

 watch arthas.Test hello '{params,returnObj,throwExp}' 'params.length==2 && params[0]==255'  -n 5  -x 3

只查看list参数某个属性

watch arthas.Test printUsers '{params[0].{#this.age},returnObj,throwExp}'   -n 5  -x 3

对list条件过滤，如对age进行过滤

watch arthas.Test printUsers '{params,returnObj,throwExp}' 'params[0].{? #this.age==1}' -n 5  -x 3

watch指定调用栈

MAT（Memory Analyzer）

MAT是一款功能强大的Java堆内存分析器，一般用于查找内存泄漏和内存使用情况，推荐使用该工具进行堆内存分析，主页图如下。

查看线程内存使用情况：

常使用的菜单导航：

支配树查看：

JProfiler

JProfiler是一款Java应用性能诊断工具，功能强大，相对于MAT来说在线分析功能更加强大，但是收费,具有以下特点：

使用方便、界面操作友好
对被分析的应用影响小
CPU,Thread,Memory分析功能尤其强大
支持对jdbc,noSq1,jsp, servlet,socket等进行分析
支持多种模式(离线，在线)的分析
支持监控本地、远程的JVM
跨平台,拥有多种操作系统的安装版本

离线分析：

离线分析快照,只能使用堆遍历器菜单。

在线分析：

附加到指定Java进程，功能强大，适合在本地附加分析优化，一般不在生产环境使用。

Jconsole

jconsole是JDK自带的java监控和管理控制平台，能够对JMX中内存、线程和类等进行在线分析和监控，在jdk中安装目录中找到jconsole.exe即可启动，该工具功能相对于其他工具较少，在实际工作中使用较少，界面图如下：

Visual VM

Visual VM是一款功能强大的故障诊断和性能监控的可视化工具，相对于jconsole来说功能更加强大，支持安装插件，支持在IDEA以插件（VisualVM Launcher）方式启动，在jdk中安装目录中找到jconsole.exe即可启动。

Java Misssion Controle

Java Mission Control是一款Java监控工具，能够实时监控Java运行情况，双击jdk安装目录jmc.exe即可打开。

JVM运维手册

# 1.常见情况排查

# 1.1 cpu占用过高定位

# 1.2 程序假死

# 1.3 接口性能优化

# 1.4 内存溢出&内存泄漏

# 1.5 接口异常但没有输出日志，无法定位问题

# 1.6 应用链路分析

# 2. 案例

# 2.1 cmp-job假死排查

# 附录1. JVM运行时参数

# JVM参数类型

# 标准参数选项

# X参数选项

# XX参数选项

# 常用的JVM参数选项

# 打印设置的XX选项及值

# 堆栈参数设置

# 栈

# 堆内存

# 方法区

# 直接内存

# OutOfMemory相关选项

# 垃圾回收器相关选项

# 查看默认的垃圾回收器

# Serial回收器

# Parnew回收器

# Parallel回收器

# CMS回收器

# G1回收器

# GC日志相关

# 其他

# 添加JVM参数选项

# IDEA

# 运行时

# jar包

# Tomcat

# 程序运行时

# 附录2.JVM监控及诊断工具

# 命令行篇

# jps

# jstat

# jinfo

# jmap

# jhat

# jstack

# jcmd

# GUI工具

# Arthas

# MAT（Memory Analyzer）

# JProfiler

# Jconsole

# Visual VM

# Java Misssion Controle

1.常见情况排查

1.1 cpu占用过高定位

1.2 程序假死

1.3 接口性能优化

1.4 内存溢出&内存泄漏

1.5 接口异常但没有输出日志，无法定位问题

1.6 应用链路分析

2. 案例

2.1 cmp-job假死排查

附录1. JVM运行时参数

JVM参数类型

标准参数选项

X参数选项

XX参数选项

常用的JVM参数选项

打印设置的XX选项及值

堆栈参数设置

栈

堆内存

方法区

直接内存

OutOfMemory相关选项

垃圾回收器相关选项

查看默认的垃圾回收器

Serial回收器

Parnew回收器

Parallel回收器

CMS回收器

G1回收器

GC日志相关

其他

添加JVM参数选项

IDEA

运行时

jar包

Tomcat

程序运行时

附录2.JVM监控及诊断工具

命令行篇

jps

jstat

jinfo

jmap

jhat

jstack

jcmd

GUI工具

Arthas

MAT（Memory Analyzer）

JProfiler

Jconsole

Visual VM

Java Misssion Controle