監(jiān)控運(yùn)維問(wèn)題排查思路方案發(fā)展前景

發(fā)布時(shí)間：2020-01-09 22:18:31   作者：上海監(jiān)控安裝公司

監(jiān)控運(yùn)維問(wèn)題排查思路方案發(fā)展前景

1、常見(jiàn)的方法：

1）確定故障現(xiàn)象并初判問(wèn)題影響

在處理故障前，運(yùn)維人員首先要知道故障現(xiàn)象，故障現(xiàn)象直接決定故障應(yīng)急方案的制定，這依賴(lài)于運(yùn)維人員需要對(duì)應(yīng)用系統(tǒng)的整體功能有一定的熟悉程度。確認(rèn)了故障現(xiàn)象后，才能指導(dǎo)運(yùn)維人員初判斷故障影響。

2）應(yīng)急恢復(fù)

運(yùn)維最基本的指標(biāo)就是系統(tǒng)可用性，應(yīng)急恢復(fù)的時(shí)效性是系統(tǒng)可用性的關(guān)鍵指標(biāo)。

有了上述故障現(xiàn)象與影響的判斷后，就可以制定故障應(yīng)急操作，故障應(yīng)急有很多，比如：

服務(wù)整體性能下降或異常，可以考慮重啟服務(wù)；

應(yīng)用做過(guò)變更，可以考慮是否需要回切變更；

資源不足，可以考慮應(yīng)急擴(kuò)容；

應(yīng)用性能問(wèn)題，可以考慮調(diào)整應(yīng)用參數(shù)、日志參數(shù)；

數(shù)據(jù)庫(kù)繁忙，可以考慮通過(guò)數(shù)據(jù)庫(kù)快照分析，優(yōu)化SQL；

應(yīng)用功能設(shè)計(jì)有誤，可以考慮緊急關(guān)閉功能菜單；

還有很多……

另外，需要補(bǔ)充的是，在故障應(yīng)急前，在有條件的情況需要保存當(dāng)前系統(tǒng)場(chǎng)景，比如在結(jié)算進(jìn)程前，可以先抓個(gè)CORE文件或數(shù)據(jù)庫(kù)快照文件。

3）快速定位故障原因

是否為偶發(fā)性、是否可重現(xiàn)

故障現(xiàn)象是否可以重現(xiàn)，對(duì)于快速解決問(wèn)題很重要，能重現(xiàn)說(shuō)明總會(huì)有辦法或工具幫助我們定位到問(wèn)題原因，而且能重現(xiàn)的故障往往可能是服務(wù)異常、變更等工作導(dǎo)致的問(wèn)題。如果故障是偶發(fā)性的，是有極小概率出現(xiàn)的，則比較難排查，這依賴(lài)于系統(tǒng)是否有足夠的故障期間的現(xiàn)場(chǎng)信息來(lái)決定是否可以定位到總是原因。

是否進(jìn)行過(guò)相關(guān)變更

大部份故障是由于變更導(dǎo)致，確定故障現(xiàn)象后，如果有應(yīng)的變更，有助于從變更角度出現(xiàn)分析是否是變更引起，進(jìn)而快速定位故障并準(zhǔn)備好回切等應(yīng)急方案。

是否可縮小范圍

一方面應(yīng)用系統(tǒng)提倡解耦，一支交易會(huì)流經(jīng)不同的應(yīng)用系統(tǒng)及模塊；另一方面，故障可能由于應(yīng)用、系統(tǒng)軟件、硬件、網(wǎng)絡(luò)等環(huán)節(jié)的問(wèn)題。在排查故障原因時(shí)應(yīng)該避免全面性的排查，建議先把問(wèn)題范圍縮小到一定程序后再開(kāi)始協(xié)調(diào)關(guān)聯(lián)團(tuán)隊(duì)排查。

關(guān)聯(lián)方配合分析問(wèn)題

與第（3）點(diǎn)避免同時(shí)各關(guān)聯(lián)團(tuán)隊(duì)同時(shí)無(wú)頭緒的排查的同時(shí)，對(duì)于牽頭方在縮小范圍后需要開(kāi)放的態(tài)度去請(qǐng)求關(guān)聯(lián)方配合定位，而對(duì)于關(guān)聯(lián)方則需要有積極配合的工作態(tài)度。

是否有足夠的日志

定位故障原因，最常用的方法就是分析應(yīng)用日志，對(duì)運(yùn)維人員不僅需要知道業(yè)務(wù)功能對(duì)應(yīng)哪個(gè)服務(wù)進(jìn)程，還要知道這個(gè)服務(wù)進(jìn)程對(duì)應(yīng)的哪些應(yīng)用日志，并具備一些簡(jiǎn)單的應(yīng)用日志異常錯(cuò)誤的判斷能力。

是否有core或dump等文件

故障期間的系統(tǒng)現(xiàn)場(chǎng)很重要，這個(gè)在故障應(yīng)急前建議在有條件的情況下留下系統(tǒng)現(xiàn)場(chǎng)的文件，比如CORE\DUMP，或TRACE采集信息等，備份好一些可能被覆蓋的日志等。

上述是一般性的故障常見(jiàn)的方法，在重大故障或多方處理的故障出現(xiàn)時(shí)，往往小范圍的排查不利于快速解決，需要啟動(dòng)緊急處理的流程，建議可以考慮以下溝通：

召集相關(guān)人員

描述故障現(xiàn)狀

說(shuō)明正常應(yīng)用邏輯流程

陳述變更

排查進(jìn)展，展示信息

領(lǐng)導(dǎo)決策

2. 完善監(jiān)控

1）從監(jiān)控可視化上完善

完善的監(jiān)控策略需要有統(tǒng)一的可視化操作界面，在制定完善的監(jiān)控策略后，故障處理人員需要能夠快速的看到相應(yīng)的運(yùn)行數(shù)據(jù)，比如：能夠看到一段時(shí)間的趨勢(shì)、故障期間的數(shù)據(jù)表現(xiàn)、性能分析的情況等等數(shù)據(jù)，且這些數(shù)據(jù)可以提前制定好策略直接推出分析結(jié)果給故障處理人員，這樣就大大提高了故障的處理效率。

2）從監(jiān)控面上完善

監(jiān)控最基本的工作就是實(shí)現(xiàn)對(duì)負(fù)載均衡設(shè)備、網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲(chǔ)設(shè)備、安全設(shè)備、數(shù)據(jù)庫(kù)、中間件及應(yīng)用軟件等IT資源的全面監(jiān)控管理。在應(yīng)用軟件類(lèi)的監(jiān)控工作中，不僅需要有服務(wù)進(jìn)程、端口等監(jiān)控，還需要有業(yè)務(wù)、應(yīng)用層的監(jiān)控。全面性的應(yīng)用監(jiān)控可以讓故障提前預(yù)警，并保存了影響應(yīng)用運(yùn)行環(huán)境的數(shù)據(jù)，以縮短故障處理時(shí)間。

3）從監(jiān)控告警上完善

完善的監(jiān)控策略需要有清晰的監(jiān)控告警提示，值班人員要以根據(jù)監(jiān)控告警即可作出簡(jiǎn)單的問(wèn)題定位與應(yīng)急處理方案。

4)從監(jiān)控分析上完善

完善的監(jiān)控策略不僅需要有實(shí)時(shí)的數(shù)據(jù)告警，也要有匯總數(shù)據(jù)的分析告警,實(shí)時(shí)數(shù)據(jù)分析的告警的重要性不用多說(shuō)，對(duì)于匯總分析的數(shù)據(jù)則能發(fā)現(xiàn)潛在風(fēng)險(xiǎn)，同時(shí)也為分析疑難雜癥提供幫忙。

5)從監(jiān)控主動(dòng)性上完善

監(jiān)控不僅僅是報(bào)警，它還可以做得更多，只要我們想辦法賦予它主動(dòng)解決事件的規(guī)則，它便有為管理員處理故障的能力。

3、應(yīng)急方案

提前制定好故障應(yīng)急方案是很有必要的，但在日常工作過(guò)程中我們的應(yīng)急方案遇到一些問(wèn)題：

1）應(yīng)急方案缺乏持續(xù)維護(hù)，缺乏演練，信息不及時(shí)、不準(zhǔn)確；

2）應(yīng)急方案過(guò)于追求大而全，導(dǎo)致不利于閱讀與使用；

3）應(yīng)急方案形式大于實(shí)際使用效果，方案針對(duì)性不強(qiáng)；

4）只關(guān)注應(yīng)急方案的內(nèi)容，但沒(méi)有關(guān)注運(yùn)維人員對(duì)方案的理解；

針對(duì)上述常見(jiàn)問(wèn)題，應(yīng)急方案需要做到以下幾點(diǎn)：

1）內(nèi)容精簡(jiǎn)

很多人可能會(huì)認(rèn)為故障出現(xiàn)的形式各種各樣，所以應(yīng)急方案需要涉及到方方面面。但實(shí)際的故障處理過(guò)程中，我們可以發(fā)現(xiàn)其實(shí)我們的應(yīng)急措施往往重復(fù)使用幾個(gè)常用的步驟，所以應(yīng)急方案要有重點(diǎn)，如果一個(gè)應(yīng)急方案可以應(yīng)對(duì)平時(shí)故障處理80%的場(chǎng)景，那這個(gè)應(yīng)急手冊(cè)應(yīng)該是合格的。過(guò)于追求影響應(yīng)用系統(tǒng)方方面面的內(nèi)容，會(huì)導(dǎo)致這個(gè)方案可讀性變差，最終變更一個(gè)應(yīng)付檢查的文檔。

以下是應(yīng)用系統(tǒng)應(yīng)急方案應(yīng)該有的內(nèi)容：

（1）系統(tǒng)級(jí)：

能知道當(dāng)前應(yīng)用系統(tǒng)在整個(gè)交易中的角色，當(dāng)前系統(tǒng)出現(xiàn)問(wèn)題或上下游出現(xiàn)問(wèn)題時(shí)，可以知道如何配合上下游分析問(wèn)題，比如：上下游系統(tǒng)如何通訊，通訊是否有唯一的關(guān)鍵字等。另外，系統(tǒng)級(jí)里還涉及一些基本應(yīng)急操作，比如擴(kuò)容、系統(tǒng)及網(wǎng)絡(luò)參數(shù)調(diào)整等。

（2）服務(wù)級(jí)：

能知道這個(gè)服務(wù)影響什么業(yè)務(wù)，服務(wù)涉及的日志、程序、配置文件在哪里，如何檢查服務(wù)是否正常，如何重啟服務(wù)，如何調(diào)整應(yīng)用級(jí)參數(shù)等。

（3）應(yīng)用級(jí)：

能知道如何查到某應(yīng)用出現(xiàn)了問(wèn)題，是大面積、局部，還是偶發(fā)性問(wèn)題，能用數(shù)據(jù)說(shuō)明應(yīng)用影響的情況，能定位到應(yīng)用報(bào)錯(cuò)的信息。這里最常用的方法就是數(shù)據(jù)庫(kù)查詢(xún)或工具的使用。知道最重要的交易如何檢查是否正常，重要的定時(shí)任務(wù)的應(yīng)急處理方案，業(yè)務(wù)的時(shí)間要求及應(yīng)急措施。

（4）輔助工具的使用：

有時(shí)候，需要借助一些工具或自動(dòng)化工具輔助分析并應(yīng)急，這時(shí)需要有輔助工具如何使用的方法。

（5）溝通方案：

溝通方案涉及通訊錄，包括上下游系統(tǒng)、第三方單位、業(yè)務(wù)部門(mén)等渠道。

（6）其它：

上述5點(diǎn)內(nèi)容如何都完備，相信這個(gè)應(yīng)急手冊(cè)己可以解決80%的故障恢復(fù)工作。

2）應(yīng)急方案是一項(xiàng)持續(xù)的工作

有了應(yīng)急方案，如何讓運(yùn)維人員持續(xù)去更新是難點(diǎn)。要解決這個(gè)難點(diǎn)，需要先讓運(yùn)維人員經(jīng)常使用這個(gè)手冊(cè)。如果一個(gè)手冊(cè)沒(méi)有場(chǎng)景可以用，那就需要管理者為運(yùn)維人員創(chuàng)造機(jī)會(huì)去使用這個(gè)手冊(cè)，比如應(yīng)急演練。應(yīng)急方案最終可以歸檔到知識(shí)庫(kù)。

3）關(guān)注運(yùn)維人員對(duì)應(yīng)用關(guān)鍵信息的認(rèn)識(shí)

前兩點(diǎn)關(guān)注了手冊(cè)，最后一點(diǎn)有必要關(guān)注使用這個(gè)手冊(cè)的人。有些運(yùn)維人員認(rèn)為應(yīng)用運(yùn)維人員沒(méi)有能力去把應(yīng)用系統(tǒng)本身的內(nèi)容了解得很透徹，所以應(yīng)用運(yùn)維人員在故障處理過(guò)程中的地位很尷尬，運(yùn)維人員掌握操作權(quán)，但卻不知道應(yīng)該操作什么。

對(duì)此，應(yīng)用運(yùn)維人員不需要掌握應(yīng)用系統(tǒng)的業(yè)務(wù)功能，但就對(duì)應(yīng)用系統(tǒng)本身來(lái)講應(yīng)用運(yùn)維人員需要具備以下最基本的能力：

（1）知道應(yīng)用系統(tǒng)這個(gè)是干什么的，基本的業(yè)務(wù)是什么；

（2）知道應(yīng)用架構(gòu)部署、上下游系統(tǒng)邏輯關(guān)系；

（3）知道應(yīng)用下的服務(wù)的作用、端口、服務(wù)級(jí)的應(yīng)急處理，日志等數(shù)據(jù)信息如何找到并簡(jiǎn)單定位。

（4）知道應(yīng)用系統(tǒng)重要的時(shí)間點(diǎn)及任務(wù)，比如定時(shí)任務(wù)的時(shí)間點(diǎn)以及如何判斷這些任務(wù)是否正確

（5）知道最重要的業(yè)務(wù)流程；

（6）知道常見(jiàn)數(shù)據(jù)庫(kù)表結(jié)構(gòu)，并能使用。

上一篇   返回首頁(yè)  打印  返回上頁(yè)  下一篇