第一篇：信息系統(tǒng)不停運檢修典型場景介紹-河北新營公司

信息系統(tǒng)不停運檢修典型場景介紹

一、不停運檢修的內(nèi)涵與定義

信息系統(tǒng)不停運檢修是指信息系統(tǒng)檢修期間系統(tǒng)功能無離線、無閃斷、用戶無感知，業(yè)務流轉(zhuǎn)無缺失、數(shù)據(jù)無丟失，具備檢修短（開發(fā)、測試周期短）、平（檢修期間業(yè)務系統(tǒng)平穩(wěn)）、快（檢修發(fā)布完結(jié)快）等特點。

二、適用的架構(gòu)模式

通常采用負載均衡、應用級容災和雙活等部署架構(gòu)模式的信息系統(tǒng)，具備采用不停運檢修的基本條件。

（一）負載均衡模式 1.F5負載均衡模式

F5負載均衡是用以擴展網(wǎng)絡設備和服務器的帶寬、增加吞吐量、加強網(wǎng)絡處理數(shù)據(jù)能力的設備。F5負載均衡周期性通過TCMP包對每個負載均衡Pool池中的信息系統(tǒng)服務器（Node節(jié)點）的服務端口進行活性檢測，具備12種算法通過VIP（虛擬服務地址）截獲用戶流量并按照規(guī)則進行負載平衡。Pool池中的任一Node節(jié)點暫離檢修不影響對外VIP（虛擬服務地址）地址的服務可用性。

2.阿里云平臺SLB負載均衡

SLB（Server Load Balance）服務本身以集群方式部署（可以無限擴容），通過設置虛擬服務地址（VIP），將位于同一地域（Region）的多臺云服務器（Elastic Compute Service，簡稱ECS）資源虛擬成一個高性能、高可用的應用服務池；再根據(jù)應用指定的方式，將來自客戶端的網(wǎng)絡請求分發(fā)到云服務器池中。

SLB負載服務具有功能強大、無限擴容、動態(tài)擴容、Session保持、健康檢查、RS權(quán)重六大特點；SLB服務會檢查云服務器池中ECS的健康狀態(tài)，自動隔離異常狀態(tài)的ECS，從而解決了單臺ECS的單點問題，同時提高了應用的整體服務能力。單臺服務或者服務器離線檢修完全不影響前端用戶的任何功能體驗。

（二）應用級部署容災模式

容災模式具備冗余的網(wǎng)絡、存儲、數(shù)據(jù)庫及應用部署，當一套鏈路出現(xiàn)異常通過網(wǎng)絡切換用戶能夠訪問災備中心的一套鏈路。容災模式最大的特性在于一套在線一套災備。應用級災備包括兩個方面：數(shù)據(jù)同步和應用接管。數(shù)據(jù)同步是應用接管的前提。應用級災備要求提供冗余的網(wǎng)絡線路和設備。正常情況下，用戶通過生產(chǎn)中心的業(yè)務網(wǎng)絡訪問生產(chǎn)中心的應用服務器；在發(fā)生災難時，通過網(wǎng)絡切換，客戶端能 3 夠訪問到災備中心的備用服務器。通過手動的訪問目標端切換可以實現(xiàn)不停運檢修的操作。

（三）部署鏈路雙活模式

雙活模式，又被成為Active-Active工作模式，即兩套工作鏈路都處于激活狀態(tài)，可并行處理來自用戶的服務請求，一旦某套鏈路出現(xiàn)故障、離線或檢修，另一套鏈路將及時接管其工作，且不影響自己現(xiàn)有的任務。該工作模式在通過互為冗余備份來確保系統(tǒng)高可靠性的同時，還具有均衡業(yè)務量、充分利用資源和提升系統(tǒng)性能等諸多優(yōu)點。

雙活包括：網(wǎng)絡雙活、存儲雙活、數(shù)據(jù)庫雙活和應用雙活；雙活模式處理層面上實現(xiàn)了完全冗余，區(qū)別于容災模式，最大特點是兩套網(wǎng)絡、存儲、數(shù)據(jù)庫及應用都是在線運 行的，如果離線了一套鏈路任一環(huán)節(jié)，另外一套鏈路還是在正常運行，對用戶來說是不可感知的，業(yè)務幾乎不受影響。因此一套網(wǎng)絡、存儲、數(shù)據(jù)庫和應用完成鏈路中的任一環(huán)節(jié)檢修，信息系統(tǒng)對外輸出功能可用率依然保證100%。

（四）DevOps平臺模式

DevOps平臺實現(xiàn)了持續(xù)集成與部署，所有服務都必須通過代碼靜態(tài)檢查、代碼構(gòu)建、集成測試、部署等一系列自動化檢測過程，確保了服務的可靠性。DevOps提供灰度發(fā)布功能，確保新舊服務平滑過渡的發(fā)布。檢修人員可以根據(jù)灰度用戶反饋，決定是否回滾，期間用戶不會有所感知。另外，服務本身以集群方式部署，保證了服務的高可用性，當集群中的一個系統(tǒng)發(fā)生故障時，集群會迅速做出反應，將該系統(tǒng)的任務分配到集群中其它正在工作的系統(tǒng)上執(zhí)行。

（五）其他參考模式 除以上模式可進行不停運檢修外，滿足以下信息系統(tǒng)部署模式均可參考進行：分布式應用多節(jié)點集群部署、應用服務模塊化拆分冗余部署、數(shù)據(jù)庫RAC模式部署、SAP三架構(gòu)標準部署、檢修發(fā)布采用直接推送方式及阿里云EDAS分布式服務。

三、不停運檢修典型場景

（一）硬件/網(wǎng)絡故障類

硬件/網(wǎng)絡類不停運檢修包括：服務器硬件故障、網(wǎng)絡故障，此類不停運檢修多為不可預見性檢修，突發(fā)性較強。

檢修作業(yè)步驟: 1.結(jié)合已有管理系統(tǒng)，詳細記述故障情況； 2.下發(fā)操作權(quán)限，配置操作人員；

3.手動離線故障對象，監(jiān)控存活服務器性能； 4.手動導流分壓，避免故障沖擊最大化；

5.檢修完成后手動上線對象，回收操作權(quán)限，記錄處理結(jié)果及遺留問題。

（二）產(chǎn)品補丁升級

產(chǎn)品補丁升級包括：中間件、數(shù)據(jù)庫、操作系統(tǒng)等產(chǎn)品補丁升級，產(chǎn)品補丁升級在多數(shù)情況分為補丁上傳覆蓋、配置文件更新和服務、服務器重啟兩個步驟，數(shù)據(jù)庫產(chǎn)品還可能涉及多次重啟。

檢修作業(yè)步驟： 1.制定不停運檢修方案、評估沖擊范圍、配置責任人員；

2.發(fā)起方案審核，結(jié)合已有管理系統(tǒng)詳細記錄檢修內(nèi)容，保留檢修痕跡；

3.下發(fā)操作權(quán)限，監(jiān)控操作過程；

4.手動離線產(chǎn)品補丁升級對象服務器，監(jiān)控存活服務器性能；

5.人工升級產(chǎn)品補丁，重啟服務器； 6.手動上線檢修完成對象，輪詢下一個檢修； 7.測試驗證補丁升級結(jié)果，回收操作權(quán)限； 8.結(jié)合已有管理系統(tǒng)反饋補丁升級結(jié)果及遺留問題。

（三）應用變更發(fā)布類--程序包小版本升級發(fā)布 應用變更發(fā)布類主要涉及程序jar包、數(shù)據(jù)庫腳本、jsp/xml等配置文件更新調(diào)整，檢修可能涉及三類操作，或只涉及其中任一類或者任一兩類操作，因此檢修以服務是否啟停劃分。

檢修作業(yè)步驟： 1.針對服務無啟停類

應用變更發(fā)布服務無啟停多數(shù)情況下為數(shù)據(jù)庫腳本類和jsp配置文件更新檢修，此類發(fā)布即時生效。

（1）記錄不停運檢修詳細內(nèi)容存檔，發(fā)起不停運檢修審核；（2）配置不停運檢修專員，下發(fā)操作權(quán)限；

（3）手動執(zhí)行數(shù)據(jù)庫腳本或依靠數(shù)據(jù)庫腳本批量執(zhí)行工作完成腳本升級，使用配置文件自動更新工具配合人工審核完成配置文件更新調(diào)整；

（4）測試驗證升級發(fā)布結(jié)果，回收操作權(quán)限；（5）反饋升級結(jié)果，歸檔檢修流程。2.針對服務啟停類

應用變更發(fā)布服務啟停多數(shù)情況下涉及jar包更新與XML類文件調(diào)整。

（1）記錄不停運檢修詳細內(nèi)容，發(fā)起不停運檢修審核，評估沖擊可能性；

（2）配置不停運檢修實施專員，下發(fā)操作權(quán)限；（3）手動離線服務單個節(jié)點，阻斷負載均衡請求分配；（4）使用自動化工具完成批量腳本升級、jar覆蓋和配置文件調(diào)整，更新至所有節(jié)點；

（5）人工重啟離線服務節(jié)點，測試升級結(jié)果；（6）手動上線檢修完成后的服務節(jié)點，輪詢下一節(jié)點；（7）測試驗證升級發(fā)布結(jié)果，回收操作權(quán)限；（8）反饋檢修結(jié)果及遺留問題，歸檔不停運檢修流程。

（四）中間件服務配置調(diào)整

中間件服務配置調(diào)整多為中間件控制臺服務參數(shù)配置，中間件參數(shù)調(diào)整又細分為重啟生效和即時生效兩類。檢修作業(yè)步驟： 1.針對即時生效類

（1）利用已有管理系統(tǒng)記錄參數(shù)調(diào)整詳細內(nèi)容；（2）配置不停運檢修實施人員，下發(fā)操作權(quán)限；（3）即時操作調(diào)整，監(jiān)控調(diào)整效果；（4）測試驗證調(diào)整結(jié)果，回收操作權(quán)限；（5）反饋記錄調(diào)整結(jié)果及遺留問題。2.針對重啟生效類

（1）記錄參數(shù)調(diào)配詳細內(nèi)容附件說明參數(shù)功能；（2）審核配置調(diào)整方案，配置不停運檢修實施專員，下發(fā)操作權(quán)限；

（3）手動離線調(diào)整服務對象，阻斷前端用戶服務請求分配；

（4）人工調(diào)整參數(shù)，記錄操作過程；

（5）上線操作對象恢復服務請求，輪詢下一對象；（6）測試驗證調(diào)整結(jié)果，回收操作權(quán)限；（7）歸檔不停運檢修流程。

（五）資源池檢修

1.針對系統(tǒng)中需要調(diào)整的部分，編寫檢修方案； 2.審核檢修調(diào)整方案，配置不停運檢修實施專員； 3.做好備份，人工調(diào)整系統(tǒng)參數(shù)，記錄操作過程，監(jiān)控服務器性能； 4.檢查操作結(jié)果，保持系統(tǒng)能順利登陸使用，保證系統(tǒng)內(nèi)業(yè)務主機正常；

5.測試驗證檢修結(jié)果，回收操作權(quán)限； 6.反饋檢修結(jié)果及遺留問題并歸檔檢修流程。

（六）端口整改

1.針對需整改的端口編寫檢修方案；

2.審核檢修調(diào)整方案，配置不停運檢修實施專員； 3.待修改的節(jié)點在F5上離線，更換端口測試正常后再在F5上啟用該節(jié)點；

4.檢查操作結(jié)果，確保端口整改成功； 5.測試驗證檢修結(jié)果，回收操作權(quán)限； 6.反饋檢修結(jié)果及遺留問題并歸檔檢修流程。

（七）DevOps模式下檢修 1.新服務上線

（1）租戶管理員／普通成員，在工作區(qū)下新建流水線，配置持續(xù)集成與持續(xù)部署；

（2）持續(xù)集成成功運行后，若選擇推送至鏡像倉庫，可在鏡像倉庫中找到成功推送的鏡像；

（3）持續(xù)部署成功運行后，服務將被部署到對應測試環(huán)境中；

（4）測試人員對測試環(huán)境的服務進行測試；

（5）測試通過后，檢修人員可以一鍵將服務部署到生產(chǎn) 環(huán)境。

2.產(chǎn)品補丁升級

（1）產(chǎn)品補丁加入后，觸發(fā)持續(xù)集成持續(xù)部署，部署到測試環(huán)境；

（2）測試通過后，檢修人員可以選擇，灰度發(fā)布到生產(chǎn)環(huán)境；

（3）檢修人員根據(jù)灰度發(fā)布情況，選擇是否回滾服務。

四、技術(shù)要求

（一）信息系統(tǒng)應用部署程序包要有效“瘦身” 為發(fā)揮不停運檢修發(fā)布實施“快”的特點，信息系統(tǒng)應用部署程序包要求控制在300M以內(nèi)，最大不超過500M。程序包超過1G必須整理剔除第三方、版本重復及無用備份包，無法有效“瘦身”建議進行服務化拆分。

（二）不停運檢修實施時長要短

不停運檢修實施期間單節(jié)點的長時間離線或?qū)Υ婊罟?jié)點造成流量高壓，因此不停運檢修單節(jié)點啟停應嚴格控制在10分鐘以內(nèi)。

（三）要充分利用自動化發(fā)布工具

為規(guī)避人工可能出現(xiàn)的誤差性批量操作，應選擇安全有效的自動化發(fā)布工具或使用已有中間件的自動化檢修功能。