【实战】记 Java 应用在 Linux 服务器运行挂掉问题排查

小渣渣

早晨打开 dev 环境的网站，某菜单列表数据没有加载出来，发现接口确实存在问题，通过服务发现查看注册的应用，发现模块下线，同事，据同事反应昨天某个模块的应用挂掉了，重新发布一次又好了。

登录服务器查看 Java 应用重定向输出的文件和日志文件，发现最后日志时间停留在了 21:15，如下图：



查看系统日志

登录可见。

Sep  8 21:30:05 centos7-dev04 kernel: Out of memory: Kill process 32452 (java) score 84 or sacrifice child
Sep  8 21:30:05 centos7-dev04 kernel: Killed process 32452 (java), UID 0, total-vm:7016412kB, anon-rss:1421400kB, file-rss:0kB, shmem-rss:0kB

如果怀疑应用是被 Linux 杀掉的话，也可以通过如下命令快速排查：

登录可见。

查看内存使用情况，命令如下：

登录可见。

通过 top 命令，然后输入 m 键，根据进程使用内存进行排序，如下图：

PID：进程的ID
USER：进程所有者
PR：进程的优先级别，越小越优先被执行
NInice：值
VIRT：进程占用的虚拟内存
RES：进程占用的物理内存
SHR：进程使用的共享内存
S：进程的状态。S表示休眠，R表示正在运行，Z表示僵死状态，N表示该进程优先值为负数
%CPU：进程占用CPU的使用率
%MEM：进程使用的物理内存和总内存的百分比
TIME+：该进程启动后占用的总的CPU时间，即占用CPU使用时间的累加值。
COMMAND：进程启动命令名称

发现 Java 应用确实非常占用内存，应用挂掉的原因就是因为服务器内存不足，Linux 自动根据一些规则杀掉了 Java 应用，毕竟 Java 应用占用的内存非常大。

可以通过如下命令查看具体是哪个 Java 应用：

登录可见。

解决方案

1.增加服务器内存
2.限制 Java 应用的内存使用
3.将一些 Java 应用迁移到其它服务器