2017.11.13服务器故障分析

小渣渣

早上收到百度的监控邮件，发现网站打不开了，当时并没有什么担心的，因为网站打不开，可能原因有下面几点：

1：服务器欠费了
2：服务器被攻击了

当时，也没太在意，刷牙洗脸上班，然后，打开电脑访问阿里云网站，然后，看下是不是被攻击或者欠费了，发现，并没有欠费，也没有收到攻击。

然后，ssh连接到服务器，重启了一下服务器，等了5分钟，发现服务器也连接不上了，发现事情并不是那么简单！！！！

既然，外网链接不上，我们就用vnc连接吧，就是登录阿里云网站控制台有个远程连接，这是web版本的远程连接，走的应该是内网，然后，发现，黑屏！！！！

事情越来越不是那么简单了，感觉是不是阿里云出什么故障了？？？（因为，我没有动过服务器的任何操作）先提交了一个工单，说明了情况，然后，去上班了。。。

在地铁上，登录阿里云app，随时关注工单反馈，突然，在app页面，有个公告，链接：https://help.aliyun.com/noticelist/articleid/20651342.html

（已恢复）北京时间2017年11月12日电信南北互访异常通告



个人猜测是不是阿里云那边的问题，是不是一些阿里云官方服务或者接口还没有恢复正常导致的？？？？

阿里云工单反馈之后，发现能用ssh到服务器了，但是，重启之后，又不能连接到服务器了，反复工单沟通，期间电话也沟通了好久。

即使ssh能连接上，服务器的一些服务不能正常工作，例如：mysql服务器，没有正常启动。。。

最后，工单回复如下：

主机远程连接以及恢复，您测试下。
当前的问题rc.local中设置的启动项存在异常启动后导致系统无法完全启动，卡主了，如附件1，
注释掉rc.local中的内容后恢复正常，请您排查下对于的服务是否存在异常。
处理完毕后再开启rc.local中的内容。

我好像明白点什么了，是服务器的一些服务没有正常启动，然后，我手动启动mysql，发现，30秒都无法启动起来，发觉事情并不是那么简单。。。。。

通过个人直觉，敲了一下df -h命令，查看硬盘空间使用，发觉，有一块空间占用100%！！！！！



最后，找到占用磁盘空间前10的文件，发现了一个文件，12g多，是nginx的日志文件，



应该是磁盘空间被占满，导致的故障了，修改nginx日志的配置参数，然后，删除nginx的日志文件，重启服务器，一些恢复正常。。。。

nginx配置有个坑，当server段不指定access_log时，并且http段中也未指定任何 access_log参数时，它会默认写到logs/access.log这个文件，也就是access_log默认值就是”logs /access.log”，而且是所有server的访问日志。

小渣渣

nginx access_log 日志完全关闭
http://www.itsvse.com/thread-4238-1-1.html
(出处: 架构师)