IT应用系统运行故障在所难免，及时发现才能从容应对

admin

T应用系统上线前，通过强化测试，缺陷和隐患可以大为减少，但由于测试的模拟环境和系统上线后的真实环境不可能完全一样，致使测试工作无法覆盖IT应用系统生产运行的所有场景，也就难以避免某种特定场景下IT应用系统故障的发生。
既然故障隐患在所难免，那么，故障发生时能否从容应对就十分关键！最好是能提前知晓，预测出IT应用系统可能发生的问题，在问题没有发生时就采取措施，将故障消灭在萌芽状态；再不济，也要第一时间知道系统发生了什么问题以及在哪里发生了问题，在问题尚未蔓延时就予以及时处理，避免事态扩大。现实中，由于这两点做起来都还比较困难，运行维护的压力空前！
纵观目前以银行为代表的信息化建设程度较高的企业，业务发展对IT的依赖性越来越强，其IT应用的复杂性越来越高，而可控性则越来越差，这些企业在运行维护和基础资源监控方面无不投入巨资，目的就是希望能够保证IT应用的业务连续性和高可用性。但让人头疼的是，在这么高强度的围追堵截情况下，系统故障照样发生，风险一再闪现，很多时候，小问题最终演化成大故障，到底什么原因？为什么发现总是有些滞后？各种监控手段为什么不能第一时间察觉异常？对此，我们有必要剖析一下。
从大的方面分，机房里就是基础资源和IT应用系统两类。长期以来，我们对网络、主机、存储、机房温湿度等基础资源给以高度重视，监控手段可谓“武装到了牙齿”，网络、主机或机房一旦出现异常，能够第一时间发出警报，保证这些设备无虞。
对于IT应用系统的监控，目前国内外厂商和服务商提供有很多产品或解决方案，监测的内容各有侧重，综合分析，它们的做法主要就是观察IT应用系统运行时在基础资源层上的表现，通过网络流量、系统性能、CPU忙闲、内存占用、数据库访问、中间件状态等指标，结合日志分析、探针探查、仿真访问以及代理提取等方式得到系统运行的某些时点信息，大致判断一个系统的总体运行状况，这些产品或解决方案由于缺乏对系统运行细节的持续跟踪和监测，所以不能掌握IT应用系统内部各模块乃至模块下各功能点运行状态的细节，这些细节包括：系统正在处理哪些交易？哪个成功？哪个有问题？交易由谁发起？什么时间发起？做什么业务？涉及到系统哪个模块？是哪个功能点负责处理？什么时间响应返回？有没有性能异常？如未成功是什么故障？等等，它们对于判断一个IT应用系统的运行状态非常重要。
实践中，在IT应用系统故障发生之初，故障点对基础资源影响较小或尚未传导到基础资源层时，或者故障正好发生在日志、探针、代理等手段使用的间隙时，虽然系统风险已经“暗流涌动”，但是往往现有监控手段无法发挥作用，对外呈现也是“未见异常”，随着问题积累，等到前述指标达到报警界限，故障面已然扩大，要命的是，浪费了宝贵的处置时间！这也正是故障发现滞后、处理起来棘手的根本原因！可见，在“第一时间”及时察觉系统故障是目前IT运行维护工作的一块短板，弥补它对于IT运行维护具有重要意义，掌握了“第一时间”就掌握了主动。
何谓“第一时间”？那就是要在一个IT应用系统应对访问请求过程中，在某支交易发生故障或异常的瞬间，将其准确捕获！谁都知道，及早发现方能及时处置，要扭转目前IT运行的被动局面，补齐IT运行维护工作的这块短板，需要从技术上解决“第一时间”察觉系统故障的问题。通过对大量IT应用系统运行情况的比较研究和实践，这一想法其实在技术上是完全可行的，只是局中人可能受惯性思维的影响，没能跳出原有的思维定势，甚至在主观意识上认为不可行，致使这方面工作没有实质性突破，对IT应用的运行风险总是处于零碎应对的被动局面。
实现“第一时间”察觉系统故障的关键，就是要对IT应用系统“体贴入微”，掌握它的一举一动，具体来说，就是对IT应用系统运行细节进行深入观测，将每一个模块和功能点的运行都置于严密的监测之下，同时，这种监测还必须是持续和不间断的，只有这样，才不会漏掉任何一次的系统交易异常，使IT应用系统的运行处于可控状态。
持续并深入到IT应用系统交易细节的监测活动，解决了故障早发现早处理的问题，由于这个过程能够获取并积累详尽的系统运行状态信息，建立起非常宝贵的系统运行档案，通过对它的分析利用，不仅能够为判断各模块和各功能点的质量提供参考，也可为分析系统的运行状态发展变化提供基础，使得预测一个IT应用系统的健康趋势成为可能。