第一篇:代維故障處理規(guī)范
代維故障處理規(guī)范
為保證代維單位及時高效地處理故障,結(jié)合公司實際制定本規(guī)范。
一、故障分類
按照目前代維公司維護的界面分工,需要代維處理的故障主要分為基站設(shè)備故障(主要為動力配套設(shè)備)、基站停電故障、光纜線路故障(按線路級別分干線、本地網(wǎng)、接入網(wǎng))、室內(nèi)分布系統(tǒng)。
二、故障通知程序
1、基站設(shè)備故障
基站設(shè)備故障由網(wǎng)管中心值班人員通過監(jiān)控系統(tǒng)發(fā)現(xiàn)通知基站代維管理員,并做好故障派單記錄,基站代維管理員接到通知后應(yīng)立即通知代維公司專業(yè)接口人,并做好故障記錄督促代維公司在規(guī)定時間內(nèi)修復(fù)障礙,代維公司未能在規(guī)定時間內(nèi)修復(fù)障礙的,基站代維管理員應(yīng)立即通知動力代維中心主任和部門分管經(jīng)理。
2、基站停電故障
基站停電由網(wǎng)管中心值班人員通過動力環(huán)境監(jiān)控系統(tǒng)發(fā)現(xiàn)通知基站代維管理員,并做好故障派單記錄,基站代維管理員接到通知后應(yīng)立即通知代維公司專業(yè)接口人,并做好故障記錄督促代維公司在規(guī)定時間內(nèi)修復(fù)障礙,代維公司未能在規(guī)定時間內(nèi)修復(fù)障礙的,基站代維管理員應(yīng)立即通知動力代維中心主任和部門分管經(jīng)理。
3、光纜線路故障
干線光纜線路故障(含本地網(wǎng)骨干網(wǎng)線路)網(wǎng)管中心值班人員通知線路代維管理人員,同時通知傳輸中心值班工程師和傳輸中心主任,線路代維管理人員接到通知后應(yīng)立即通知代維公司專業(yè)接口人,并向部門分管領(lǐng)導(dǎo)匯報,代維公司未能在規(guī)定時間內(nèi)修復(fù)障礙的,網(wǎng)管中心值班人員應(yīng)立即部門經(jīng)理和公司分管領(lǐng)導(dǎo)。
本地網(wǎng)線路故障(本地網(wǎng)骨干網(wǎng)除外)網(wǎng)管中心值班人員通知線路代維管理人員,同時通知傳輸中心值班工程師和傳輸中心主任,線路代維管理人員接到通知后應(yīng)立即通知代維公司專業(yè)接口人,并做好故障記錄督促代維公司在規(guī)定時間內(nèi)修復(fù)障礙,代維公司未能在規(guī)定時間內(nèi)修復(fù)障礙的,線路代維管理員應(yīng)立即通知動力代維中心主任和部門分管經(jīng)理。
接入網(wǎng)線路故障由客響中心112故障專業(yè)人員和網(wǎng)管中心值班人員誰先發(fā)現(xiàn)誰通知客響中心值班工程師或縣分裝維人員,客響中心值班工程師(或縣分裝維人員)判斷為線路故障應(yīng)立即通知線路代維管理人員(網(wǎng)管中心值班人員若能直接判斷線路故障可直接通知線路代維管理人員,并告知客響中心值班工程師),線路代維管理人員接到通知后應(yīng)立即通知代維公司專業(yè)接口人,并做好故障記錄督促代維公司在規(guī)定時間內(nèi)修復(fù)障礙,代維公司未能在規(guī)定時間內(nèi)修復(fù)障礙的,線路代維管理員應(yīng)立即通知動力代維中心主任和部門分管經(jīng)理。
4、室內(nèi)分布系統(tǒng)
室內(nèi)分布系統(tǒng)故障由網(wǎng)管中心值班人員通過監(jiān)控系統(tǒng)發(fā)現(xiàn)通知基站代維管理員和無線中心主任,并做好故障派單記錄,基站代維管理員接到通知后應(yīng)立即通知代維公司專業(yè)接口人,并做好故障記錄督促代維公司在規(guī)定時間內(nèi)修復(fù)障礙,代維公司未能在規(guī)定時間內(nèi)修復(fù)障礙的,基站代維管理員應(yīng)立即通知動力代維中心主任和部門分管經(jīng)理,網(wǎng)管中心值班人員應(yīng)通知部門無線分管經(jīng)理。
三、故障處理記錄
1、對于基站設(shè)備和停電故障,代維單位每周匯總一次提交基站代維管理人員,對涉及到的搶修材料應(yīng)做好臺賬登記。
2、對于線路故障,應(yīng)在處理故障結(jié)束后24小時內(nèi)提交故障處理記錄。
四、故障處理支撐
對于已經(jīng)交由代維單位處理的故障如不能及時搶通修復(fù),運行維護部相應(yīng)專業(yè)需派人到場進行指導(dǎo)和督促。對于影響業(yè)務(wù)的故障如代維單位不能在規(guī)定的搶修時限內(nèi)完成,基站或線路代維管理人員應(yīng)與相關(guān)專業(yè)工程師到場協(xié)助搶修。
五、故障歸口及上報
所有涉及代維故障需第一時間通知到代維管理中心基站或線路代維管理人員,各專業(yè)工程師及縣分工維中心工程師不得擅自調(diào)動代維人員,緊急情況下可先通知代維搶修人員后向代維管理中心報備。所有代維公司處理的故障由動力代維中心督促代維公司提交故障處理記錄后向質(zhì)量管理中心進行上報。
二○一二年一月十七日
第二篇:代維集團專線故障處理流程優(yōu)化
集團專線流程
整體流程:監(jiān)控派單>代維提單>聯(lián)系用戶>上門>故障定位>故障處理>代維回單>監(jiān)控回單 流程各環(huán)節(jié)關(guān)鍵時間點:
1、代維提單(催單:系統(tǒng)不支持,人工抽查)
代維公司10分鐘內(nèi)提單。如該線路未驗收或發(fā)現(xiàn)為對方工單,需在20分鐘內(nèi)反饋未驗收情況及將工單派對方。
2、聯(lián)系用戶(催單:系統(tǒng)支持,每單必跟)
代維公司30分鐘內(nèi)聯(lián)系用戶,若未聯(lián)系到用戶,需上報故障管理人員,同時在工單中階段回復(fù)(工單中回復(fù)聯(lián)系哪個客戶及聯(lián)系方式)。
3、代維上門(催單:系統(tǒng)支持,每單必跟)
金牌1小時內(nèi);銀牌4小時內(nèi);普通8小時內(nèi),如遇客戶端距離較遠等原因無法在規(guī)定時間內(nèi)到達,需在故障歷時1小時時向客戶說明原因,并在工單上階段回復(fù),每家代維當(dāng)上級故障少于兩件時,本級故障需按金牌故障標(biāo)準(zhǔn)1小時內(nèi)上門。
4、故障定位(催單及上報:系統(tǒng)支持,每單必跟)
金牌2小時內(nèi);銀牌5小時內(nèi);普通9小時內(nèi)未定位故障原因,需上升故障管理人員,內(nèi)容需包含詳細處理過程及相關(guān)數(shù)據(jù)(另有文件描述),故障管理人員走EOMS技術(shù)支援工單,由故障管理人員跟進該故障定位情況。所有現(xiàn)場情況均需在規(guī)定時間內(nèi)階段性回復(fù)SUPPORT工單。
5、故障處理(催單及上報:系統(tǒng)支持,每單必跟)
金牌2.5小時內(nèi);銀牌6小時內(nèi);普通10小時內(nèi)未完成故障處理,需上升故障管理人員,由故障管理人員督促故障處理進度;金牌3小時、銀牌7小時、普通11小時未完成故障處理,由故障管理人員上報相關(guān)部門三級經(jīng)理;金牌4小時、銀牌8小時、普通12小時未完成故障處理,由故障管理人員上報相關(guān)部門領(lǐng)導(dǎo);故障處理過程中,現(xiàn)場維護人員應(yīng)每1小時給客戶反饋一次故障處理進度,并在工單中階段回復(fù)。如因特殊原因,故障不能及時處理完的,應(yīng)給客戶進行說明,并上報故障管理人員備檔。
6、工單回復(fù)(催單:系統(tǒng)不支持,人工抽查)
工單回復(fù)必須符合前期制定的“集團專線工單回復(fù)標(biāo)準(zhǔn)”。
7、故障分析會:當(dāng)故障導(dǎo)致用戶意見大且上升到集客部或領(lǐng)導(dǎo)的,第二個工作日內(nèi),牽頭集客部、各相關(guān)專業(yè)及公司專家,召開專題故障分析會,其余有必要召開會議的(我中心認為的),三個工作日牽頭召開專題故障分析會,所有專題會。
第三篇:基站故障處理規(guī)范
基站故障處理規(guī)范
為保證基站在故障出現(xiàn)后能夠及時處理,全面提升網(wǎng)絡(luò)用戶的感知度及降低基站覆蓋投訴問題,特制定相關(guān)故障處理規(guī)范:
一、基站停電
1、在接到基站停電工單后,先核對基站動力環(huán)境監(jiān)控系統(tǒng)是否上報停電告警,若停電需記錄告警時間。
2、確認基站停電后,核對供電線路(供電所/變電所)是否停電,確認是故障停電和計劃停電,停電時長。
3、確認基站停電信息后核對基站蓄電池容量及負載大小,在確認蓄電池后備時間后合理安排發(fā)電,并知會蘭州移動代維管理人員,說明發(fā)電原因。
二、基站發(fā)電
1、根據(jù)路程合理安排發(fā)電時間,到達基站后先用萬用表測量供電端子是否有電,如有電檢查從變壓器到基站供電線路是否斷,如機房第一端子有電,按照流程檢查空開及設(shè)備,并排除故障。
2、如測量無電,按照流程先將第一受電端子斷開(倒閘箱先將閘刀與市電端子斷開)。
3、啟動油機,連接線纜至基站發(fā)電端子位臵(油機輸出連線斷開),將油機輸出空開合上,用萬用表測量電壓是否正常,零地電壓是否正常,測試正常后將油機輸出關(guān)閉,并連接線纜(先接零線,在接火線,連接線纜確認無誤后送電,在基站側(cè)/倒閘箱閘刀下樁頭,測零地電壓(1-40V電壓屬于正常范圍),交流端子上有220V/380V電壓后送電到基站。
4、電流較大基站,先對模塊限流,確保在送電后基站負載的正常輸出。
5、發(fā)電后檢查設(shè)備的各類指示燈是否正常,模塊輸出電流是否正常,確認無誤后向蘭州分公司代維管理員說明發(fā)電時間。
6、發(fā)電期間現(xiàn)場需留守維護人員,并不定時間檢查油機空開是否跳脫或模塊保護,出現(xiàn)后應(yīng)及時處理,嚴禁在發(fā)電期間導(dǎo)致的基站停電問題的出現(xiàn)。
7、基站市電恢復(fù)供電后,(按照發(fā)電流程的逆順進行操作,拆除線纜時先拆火線在拆零線)恢復(fù)基站模塊,檢查設(shè)備無告警后,做好發(fā)電登記及故障處理登記,并向蘭州分公司代維管理員說明來電時間后,撤離現(xiàn)場。
8、發(fā)電期間嚴禁出現(xiàn)有市電的情況下發(fā)電,如出現(xiàn)此類問題,如出現(xiàn)此類問題將嚴肅處理。
三、基站傳輸故障
1、在接到故障工單后,確認基站告警內(nèi)容,并做好相關(guān)儀器儀表的準(zhǔn)備。
2、分析故障告警原因,如出現(xiàn)誤碼或滑誤碼告警,不得私自斷開基站的2M,用2M表進行現(xiàn)網(wǎng)掛表測試,查看滑誤碼/誤碼累計情況,根據(jù)累計情況處理設(shè)備故障及2M故障。
3、基站2M傳輸故障出現(xiàn)在交換局側(cè),相關(guān)負責(zé)人聯(lián)系蘭州分公司代維管理員一同協(xié)調(diào)進行處理。
4、傳輸出現(xiàn)下掛基站退服后,先判斷是否是基站停電引起(考慮是否蓄電池劣化造成),并準(zhǔn)備油機趕赴現(xiàn)場,到達現(xiàn)場后測量電壓是否正常,確認是停電造成,因先發(fā)電搶修,如市電正常,檢查光纜是否正常,SDH設(shè)備是否正常,如基站(SDH)設(shè)備正常,第一時間向蘭州分公司代維管理員說明情況,并消除故障(轉(zhuǎn)派)歷時。
5、本站出現(xiàn)傳輸故障,檢查基站2M頭是否連接無誤,(要求2M對應(yīng)基站小區(qū)標(biāo)簽明顯一致),2M頭焊接是否正常,如2M頭有問題,必須重新焊接,同時與監(jiān)控中心做好相關(guān)環(huán)斷測試工作。(嚴禁出現(xiàn)本站2M故障2次以上重復(fù)出現(xiàn))
6、在基站日常維護發(fā)現(xiàn)2M線尾纖出現(xiàn)破損及老化應(yīng)及時更換,防止因老化問題造成的基站退服。
四、基站駐波比故障
1、接到故障工單后,先分析故障原因,攜帶駐波比測試儀、膠泥、膠帶及相關(guān)跳線到基站進行測試。
2、駐波比故障可分為天饋故障和載波故障(根據(jù)工單分析)天饋系統(tǒng)分饋線連接松動、饋線進水和天線故障等,載波引起根據(jù)工單更換載波。
3、在處理駐波比故障時,到達基站后嚴禁基站DXU復(fù)位,并連接OMT拷取基站L OG,一月內(nèi)連續(xù)2次出現(xiàn)駐波比故障,屬于重復(fù)故障。
4、如饋線和天線出現(xiàn)故障,及時予以更換,并向蘭州分公司代維管理員說明情況。
五、基站設(shè)備硬件故障
1、基站硬件出現(xiàn)故障出現(xiàn)問題后,因根據(jù)故障工單描述進行處理。
2、到達現(xiàn)場后首先連接OMT進行基站告警讀取,并考取基站LOG,根據(jù)基站告警進行相關(guān)處理,嚴禁基站DXU復(fù)位。
3、對故障無法判斷的應(yīng)該與監(jiān)控中心聯(lián)系,采取倒換小區(qū)或槽位進行判斷
4、更換后設(shè)備在3天內(nèi)移交蘭州分公司代維維護人員進行2次確認返修。
5、基站故障處理后第一時間與監(jiān)控中心進行消單,未消單造成故障延時,蘭州分公司按故障工單時限考核。
6、出現(xiàn)3個基站以上同時退服故障,超時故障和一個月連續(xù)2次以上故障(第2次以故障工單發(fā)單時間為準(zhǔn)),在24小時內(nèi)向蘭州分公司代維管理員上報故障處理報告。
蘭州移動分公司網(wǎng)絡(luò)運行維護中心 2010年5月26日
第四篇:代維考核規(guī)范
代維考核規(guī)范(試行)
目錄
第一章 總則...................................................................................................錯誤!未定義書簽。第二章 代維考核管理職責(zé)............................................................................錯誤!未定義書簽。第三章 代維考核方式....................................................................................................................3 第四章 代維考核內(nèi)容....................................................................................................................3 4.1 月度考核...............................................................................................錯誤!未定義書簽。
基礎(chǔ)管理.......................................................................................錯誤!未定義書簽。維護質(zhì)量.......................................................................................錯誤!未定義書簽?,F(xiàn)場檢查.......................................................................................錯誤!未定義書簽。扣分項...........................................................................................錯誤!未定義書簽。加分項...........................................................................................錯誤!未定義書簽?,F(xiàn)場檢查-管理檢查.....................................................................錯誤!未定義書簽。現(xiàn)場檢查-現(xiàn)場站點抽查.............................................................錯誤!未定義書簽。月度考核成績平均...............................................................錯誤!未定義書簽。加分項...........................................................................................錯誤!未定義書簽??鄯猪?..........................................................................................錯誤!未定義書簽。4.1.1 4.1.2 4.1.3 4.1.4 4.1.5 4.2 4.2.1 4.2.2 4.2.3 4.2.4 4.2.5 代維考核.......................................................................................錯誤!未定義書簽。
第五章 代維考核流程....................................................................................錯誤!未定義書簽。第六章 代維考核結(jié)果管理............................................................................................................8
6.1 6.2 6.3 代維月度考核結(jié)果的應(yīng)用...............................................................錯誤!未定義書簽。代維考核結(jié)果的應(yīng)用...............................................................錯誤!未定義書簽。交接考核要求.....................................................................................................................9
第一章 代維考核方式
第一條 以單站為基礎(chǔ),以區(qū)域為核心,實施對代維的考核,根據(jù)考核結(jié)果按單站結(jié)算代維費用。
第二條 代維考核采取月度考核和考核相結(jié)合的方式,月度考核是對代維公司考核的基礎(chǔ)數(shù)據(jù),以區(qū)域經(jīng)理為主體(地市公司參與)實施考核,作為代維費用支付的依據(jù);考核是對代維公司服務(wù)情況的綜合考核,各月考核結(jié)果應(yīng)作為綜合考核的重要依據(jù),以省公司為主體(區(qū)域經(jīng)理、地市公司參與)實施考核,作為代維公司準(zhǔn)入、退出以及份額調(diào)整、后續(xù)招標(biāo)評比的依據(jù)。
第三條 月度考核分為區(qū)域考核和單站考核兩個部分。將單站月代維費分為各50%兩個部分,區(qū)域考核結(jié)果統(tǒng)一作為該區(qū)域每個站點50%代維費支付的依據(jù);單站考核結(jié)果作為該考核站點另50%代維費支付的依據(jù)。
第四條 代維考核項目包括基礎(chǔ)管理、維護質(zhì)量、現(xiàn)場檢查、扣分項和加分項五個部分,其中基礎(chǔ)管理是代維工作管理的基礎(chǔ),維護質(zhì)量是代維考核的重點,現(xiàn)場檢查是代維工作的保證,扣分項是對代維生產(chǎn)中的安全問題進行考核扣分,加分項是對代維工作做出突出貢獻的進行加分獎勵??己酥械脑露瓤己司凳窃摯S公司在該區(qū)域日常工作能力的體現(xiàn)。
第五條 考核方式如下:
第二章 代維考核內(nèi)容
第六條 月度基礎(chǔ)管理應(yīng)包括資源配置、質(zhì)量內(nèi)控措施、巡檢管理、移交管理、資料管理、故障控制、站點維系、備品備件管理、應(yīng)急通信保障等方面。
1、資源配置是代維工作開展的前提,應(yīng)包括人員數(shù)量、人員資質(zhì)和車輛、儀表、工具等。人員配備上要求配有與代維設(shè)備規(guī)模相適應(yīng)的技術(shù)人員和技術(shù)管理人員,對于需要取得專業(yè)資格認證(如電工證、登高證等)后才可以進行的代維項目,必須由通過專業(yè)資格認證的人員開展。應(yīng)對所需配備的儀器、儀表、車輛、工具等硬件數(shù)量和質(zhì)量進行明確和要求。人員變更要及時通知甲方,新增人員經(jīng)過甲方組織的考試認證后方可納入維護人員隊伍。代維公司必須做好代維人員穩(wěn)定工作,鐵塔公司應(yīng)對代維人員流失率進行考核。
2、質(zhì)量內(nèi)控機制措施:代維公司應(yīng)建立完善的規(guī)章制度和工作流程,各級維護駐點制度流程上墻。需建立內(nèi)部質(zhì)量檢查機制,定期開展內(nèi)部質(zhì)量檢查,做好考核、檢查中發(fā)現(xiàn)問題的及時整改;需建立隱患事項上報機制,對日常巡檢中發(fā)現(xiàn)的隱患問題及時上報,并根據(jù)職責(zé)權(quán)限做好隱患事項的匯總、分析、整改和跟蹤;每月召開代維質(zhì)量分析會議,查找短板,予以改進。
3、巡檢管理:應(yīng)定期編制維護作業(yè)計劃,并提交鐵塔公司審核;及時提供符合要求的數(shù)據(jù)和檢測分析報告;遇到計劃需要變更時及時向鐵塔公司提交計劃變更申請。
4、隱患管理:代維現(xiàn)場存在的各類網(wǎng)絡(luò)隱患必須及時上報、處理,同時代維公司還應(yīng)按要求做好隱患問題的管理,對考核、檢查中存在的問題進行及時整改改進。
5、移交管理:地市分公司維護單位負責(zé)工程交維驗收工作,做好工程質(zhì)量驗收,記錄和確認遺留問題供工程施工方進行限期整改,驗收通過后移交代維公司納入日常維護。代維公司必須建立交維設(shè)備(站點)維護檔案(維護檔案包括:技術(shù)資料與初始測試記錄等)。
6、資料管理:應(yīng)做好技術(shù)資料和維護原始紀錄數(shù)據(jù)的管理,并做好歸類存檔。按要求做好各類報表和報告的編制和上報工作。
7、故障控制:應(yīng)做好維護工作中的故障控制工作,避免故障的重復(fù)出現(xiàn),做好故障分析總結(jié)。
8、站點維系:按鐵塔公司要求做好電費、房屋租賃費代繳工作,并做好站點分級和敏感站點維系,不出現(xiàn)拆站、搬站情況。
9、備品備件:應(yīng)做好備品備件管理工作,包括倉庫管理、臺賬管理、故障件和廢品材料管理等。
10、應(yīng)急通信保障:代維應(yīng)急通信保障應(yīng)統(tǒng)一納入到鐵塔公司防汛、防震、突發(fā)公共事件、節(jié)假日和重大活動等應(yīng)急預(yù)案體系,并按要求配備相關(guān)資源。搶險救災(zāi)和應(yīng)急保障隊伍要服從統(tǒng)一指揮和調(diào)度。
11、其他項目:原則上分數(shù)占比不超過10%,考核項目由地市公司結(jié)合自身
實際,明確內(nèi)容和標(biāo)準(zhǔn)。
第七條 月度區(qū)域維護質(zhì)量按區(qū)域內(nèi)站址平均從系統(tǒng)提取數(shù)據(jù),公平、公正的體現(xiàn)代維公司在該區(qū)域整體考核指標(biāo)完成情況,包括平均站址斷電退服時長、平均上站配合及時率、斷電退服率等指標(biāo)。
第八條 月度單站維護質(zhì)量按單站從系統(tǒng)提取數(shù)據(jù),公平、公正的體現(xiàn)代維公司某一站點考核指標(biāo)完成情況,包括斷站退服時長、斷電退服次數(shù)、上站配合及時率等指標(biāo)。
第九條 月度現(xiàn)場檢查分別由區(qū)域經(jīng)理、地市公司單獨組織開展。第十條 現(xiàn)場檢查結(jié)果分別應(yīng)用于月度區(qū)域考核和月度單站考核。應(yīng)用于月度區(qū)域考核時,區(qū)域經(jīng)理、地市公司檢查結(jié)果,按照問題站址累加計算得分;應(yīng)用于月度單站考核時,區(qū)域經(jīng)理、地市公司按單站檢查結(jié)果計算得分。
第十一條 區(qū)域經(jīng)理月度現(xiàn)場檢查必須對所有代維業(yè)務(wù)量按照一定比例開展現(xiàn)場抽查,抽查的比例不得低于該專業(yè)代維規(guī)模的3%;抽查需涵蓋當(dāng)?shù)厮虚_展代維業(yè)務(wù)的代維公司,同一區(qū)域有多家代維公司代維的,每家代維公司抽查的比例不得低于1.5%。
第十二條 地市公司建立抽查制度,不定期對各代維公司維護工作情況及各區(qū)域經(jīng)理代維管理工作情況進行檢查,發(fā)現(xiàn)代維公司維護工作開展不力或存在問題的,將檢查發(fā)現(xiàn)的問題在考核中予以體現(xiàn);發(fā)現(xiàn)區(qū)域經(jīng)理代維管理、考核、稽核工作不到位的,將依據(jù)相關(guān)管理辦法予以考核。
第十三條 扣分項主要包括安全生產(chǎn)事故和其它影響到中國鐵塔的事件??鄯謼l件包括但不限于下述情況:代維公司在代維工作過程中未遵照安全生產(chǎn)條例規(guī)范操作,發(fā)生安全生產(chǎn)事故的;發(fā)生人員傷亡安全責(zé)任事故的;發(fā)生嚴重違約行為的;因代維公司原因?qū)е轮卮缶W(wǎng)絡(luò)故障的;因代維公司維護不當(dāng)導(dǎo)致的大面積投訴;因代維公司原因發(fā)生媒體曝光事件、影響到我公司的勞資糾紛的;發(fā)生代維人員偷盜通信設(shè)備的;代維公司人為阻撓考核人員進行現(xiàn)場檢查或者采取欺騙、作弊等手段誤導(dǎo)考核結(jié)果致使代維考核工作無法正常開展的。
第十四條 對于積極開展創(chuàng)新工作,其經(jīng)驗被省公司采納或在全省推廣的,或在應(yīng)急通信保障方面做出重要貢獻的,受到省公司通報表揚的,或參加總部或省公司組織的技術(shù)競賽,獲得名次的,或承擔(dān)省市公司專項工作和課題成績突出的代維公司,應(yīng)酌情給予加分,對優(yōu)秀的代維公司應(yīng)給予增加維護份額、年終評優(yōu)等獎勵。加分條件由各省公司進行細化,但必須在年初面向全省代維公司公布實施細則。
第十五條 代維公司現(xiàn)場檢查-管理檢查涉及資質(zhì)和制度檢查,包括代維公司資質(zhì)、組織機構(gòu)、制度建設(shè)與落實、人員管理、自主項目等方面。
1.代維公司資質(zhì):指代維公司的總體運維能力,包括注冊資金、經(jīng)營資質(zhì)、業(yè)務(wù)能力等方面需滿足要求。
2.組織架構(gòu):代維公司代維工作的組織架構(gòu)健全并有效落地,包括組織架構(gòu)完善、部門職責(zé)設(shè)置合理、崗位職責(zé)明晰等方面。
3.制度建設(shè)與落實:代維公司應(yīng)建立健全各種管理制度并有效執(zhí)行,包括管理制度、作業(yè)流程、質(zhì)量和安全管理、內(nèi)部技術(shù)支撐、創(chuàng)新工作等方面的制度的制定落實。
4.人員管理:代維公司應(yīng)有有效的代維管理人員和代維生產(chǎn)人員的管理手段,包括勞動合同、人員考評體系、人員薪酬福利體系等,在考核時,能夠提供有效的代維人員收入證明;代維公司應(yīng)建立人員技術(shù)提升體系,保證代維人員在配置數(shù)量、人員素質(zhì)等方面滿足代維生產(chǎn)要求,人員流失率滿足代維資質(zhì)年審考核要求。
5.自主項目:分數(shù)占比10%,考核項目由區(qū)公司結(jié)合自身實際,明確內(nèi)容和標(biāo)準(zhǔn)。
第十六條 現(xiàn)場檢查由區(qū)公司組織開展。
第十七條 現(xiàn)場檢查以地市為單位開展,對所有代維業(yè)務(wù)量按照一定比例開展現(xiàn)場抽查,抽查的比例不得低于該專業(yè)代維規(guī)模的3%;抽查需涵蓋當(dāng)?shù)厮虚_展代維業(yè)務(wù)的代維公司,同一區(qū)域有多家代維公司代維的,每家代維公司抽查的比例不得低于1.5%。
第十八條 現(xiàn)場檢查以地市為單位,對所有代維業(yè)務(wù)量開展現(xiàn)場抽查。
現(xiàn)場站點抽查可以省公司檢查或地市交叉檢查的形式開展;抽查需涵蓋當(dāng)?shù)厮虚_展代維業(yè)務(wù)的代維公司,每家代維公司每個專業(yè)抽查不得少于2個站點;塔桅代維業(yè)務(wù)以檢查為主,可聘請第三方檢查,抽查的比例不得低于塔桅代維規(guī)模的3%,同一區(qū)域有多家代維公司的,每家代維公司抽查的比例不得低于1.5%。
第三章 代維考核結(jié)果管理
第十九條 在代維合同中與代維公司對考核結(jié)果進行合同約定,把考核結(jié)果與代維費用核算和結(jié)算、代維份額分配、準(zhǔn)入資格等相掛鉤。
第二十條 月度考核結(jié)果作為代維費用支付的依據(jù),各地市將考核結(jié)果及時上報省公司;考核作為代維公司準(zhǔn)入、退出以及份額調(diào)整、后續(xù)招標(biāo)評比的依據(jù),各省將考核結(jié)果及時上報總部。
第二十一條 出現(xiàn)以下情況,區(qū)公司應(yīng)要求代維公司立即落實整改,整改時間為3個月,整改期間代維費按9折計算,如整改達不到要求的,區(qū)公司可直接終止該代維公司在該地市的代維合同。對于代維公司在區(qū)內(nèi)全部退出的,應(yīng)上報總部備案,并將取消該代維公司兩年內(nèi)(由合同終止日起)在區(qū)內(nèi)承擔(dān)代維工作的資格。
1)對代維人員因違反有關(guān)操作維護規(guī)范造成重大安全事故(人員傷亡、嚴重設(shè)備損壞、重大網(wǎng)絡(luò)故障)的。
2)3)代維公司在合同期一年內(nèi)任一專業(yè)累計有3個月考核不合格的。代維公司在資源配置投入要求中規(guī)定的各項條款弄虛作假的,或在合同期一年內(nèi)累計有3個月公司資質(zhì)或資源配置(駐點、人員、儀器儀表、車輛)數(shù)量達不到合同要求的。
4)代維公司在維護區(qū)域內(nèi)的相關(guān)網(wǎng)絡(luò)指標(biāo)一直無改善或處于較差水平的,有半數(shù)考核月份的考核成績與同專業(yè)其他代維公司得分差距在10分以上的。
5)6)將代維合同所列各項內(nèi)容全部或部分轉(zhuǎn)包給任何第三方的。干擾正常代維考核的。
代維費用與月度考核結(jié)果掛鉤,掛鉤方式如下: 第二十二條
單站總代維費用=單站得分費用+區(qū)域得分費用
1、單站得分費用:
該站月度考核得分≥95分,本月應(yīng)支付該站代維費用=月代維單價×50%; 該站月度考核得分<60分,扣罰當(dāng)該站月代維單價的50%;
60≤該站月度考核得分<95分,本月應(yīng)支付代維費用=月代維單價×〔60%
+(考核得分-60)/35×40%)〕×50%。
2、區(qū)域得分費用:
區(qū)域月度考核得分≥95分,本月應(yīng)支付該站代維費用=月代維單價×50%; 區(qū)域月度考核得分<60分,扣罰當(dāng)該站月代維單價的50%;
60≤區(qū)域月度考核得分<95分,本月應(yīng)支付代維費用=月代維單價×〔60%+(考核得分-60)/35×40%)〕×50%。
第二十三條 第二十四條 代維費用原則上每月度與代維公司結(jié)算一次。
對于考核不合格的代維公司,將中止合約,并取消該代維公司本次招標(biāo)期及下次招標(biāo)期在當(dāng)?shù)爻袚?dān)代維工作的資格,同時上報總部備案。
第二十五條 對于合同期內(nèi)由于代維考核結(jié)果未達到要求導(dǎo)致的代維合同終止的情況,由區(qū)公司發(fā)起代維公司退出流程執(zhí)行替換。
第二十六條 在代維合同期結(jié)束時,暫停支付最后一個季度的代維費,用作“代維交接工作保證金”,代維交接確認完畢1個月后,再向代維公司進行核算并支付。
第二十七條 合同終止前的30-60天為交接期。
6.1
第二十八條
交接考核要求
原代維公司未按照最終交接時間完成交接工作的,扣減“代維交接工作保證金”的20%。
第二十九條 原代維公司原因?qū)е妈F塔公司或客戶設(shè)備資產(chǎn)、儀器儀表、備件、手持終端、維護材料、發(fā)電設(shè)施等缺失損壞,按原值賠償或按原材料質(zhì)量補全所缺材料,同時,出現(xiàn)一次,扣減“代維交接工作保證金”的2%。
第三十條 交接期間由于原代維公司原因造成第三方人員傷亡、財產(chǎn)損失的,由原代維公司承擔(dān)全部責(zé)任,同時,出現(xiàn)一次,扣減“代維交接工作保證金”的20%。
第三十一條 由于原代維公司偷盜、人為破壞導(dǎo)致基站中斷的,原代維公司應(yīng)負責(zé)修復(fù)增補并承擔(dān)有關(guān)費用,同時,出現(xiàn)一次,扣減“代維交接工作保證金”的20%。
第三十二條 如交接期間原代維公司與新代維公司發(fā)生推諉扯皮等不配合現(xiàn)象,如屬原代維公司原因,鐵塔公司將根據(jù)責(zé)任情況扣減1%-5%“代維交接工作保證金”。
第三十三條 如被鐵塔公司發(fā)現(xiàn)有意留存與鐵塔公司或客戶相關(guān)的資料、圖紙等或外泄的,原代維公司承擔(dān)全部責(zé)任有關(guān)費用,同時,出現(xiàn)一次,扣減“代維交接工作保證金”的5%。
第三十四條 如為新代維公司原因造成如上問題,按照上述扣款比例扣除新代維公司合同期內(nèi)第一個月的月度代維款。
第五篇:運維故障處理思路
事件/故障處理應(yīng)該要有什么思路 導(dǎo)讀:
在講解事件、故障處理思路前,我先講一個故障場景(以呼叫中心系統(tǒng)作為一例子):
業(yè)務(wù)人員反映呼叫中心系統(tǒng)運行緩慢,部份電話在自助語言環(huán)節(jié)系統(tǒng)處理超時,話務(wù)轉(zhuǎn)人工座席,人工座席出現(xiàn)爆線情況。
運維人員開始忙活了,查資源使用情況、查服務(wù)是否正常、查日志是否報錯、查交易量還有沒有??時間不知不覺的在敲鍵盤、敲鍵盤、敲鍵盤中過去,但是原因還未定位。
經(jīng)理過來了解情況:“系統(tǒng)恢復(fù)了嗎?”、“故障影響是什么?”、“交易中斷了嗎?”??
運維人員趕緊敲鍵盤,寫sql,看交易量;敲鍵盤,寫命令,看系統(tǒng)資源、情況??
最終,定位到問題原因是其中一個功能沒有控制返回數(shù)量,導(dǎo)致內(nèi)存泄露。針對這個故障,業(yè)務(wù)希望運維能否更快的解決故障的恢復(fù),經(jīng)理希望制定優(yōu)化呼叫中心故障處理流程,做了以下幾件事:
1.優(yōu)先故障處理過程的時間——”能通過鼠標(biāo)完成的工作,不要用鍵盤“ 2.提前發(fā)現(xiàn)故障,加強監(jiān)控——“技術(shù)早于業(yè)務(wù)發(fā)現(xiàn)問題,監(jiān)控不僅是報警,還要協(xié)助故障定位”
3.完善故障應(yīng)急方案——“應(yīng)急方案是最新的、準(zhǔn)確的、簡單明了的” 4.長遠目標(biāo):故障自愈——”能固化的操作自動化,能機器做的讓機器做“ 下面將從故障常見的處理方法開始介紹,再從故障前的準(zhǔn)備工作(完善監(jiān)控、制定應(yīng)急方案等方式)來解決經(jīng)理提出的問題,并提出未來解決故障的想法。
1、常見的方法:
1)確定故障現(xiàn)象并初判問題影響
在處理故障前,運維人員首先要知道故障現(xiàn)象,故障現(xiàn)象直接決定故障應(yīng)急方案的制定,這依賴于運維人員需要對應(yīng)用系統(tǒng)的整體功能有一定的熟悉程度。確認了故障現(xiàn)象后,才能指導(dǎo)運維人員初判斷故障影響。2)應(yīng)急恢復(fù)
運維最基本的指標(biāo)就是系統(tǒng)可用性,應(yīng)急恢復(fù)的時效性是系統(tǒng)可用性的關(guān)鍵指標(biāo)。
有了上述故障現(xiàn)象與影響的判斷后,就可以制定故障應(yīng)急操作,故障應(yīng)急有很多,比如:
? ? ? ? ? ? ? 服務(wù)整體性能下降或異常,可以考慮重啟服務(wù); 應(yīng)用做過變更,可以考慮是否需要回切變更; 資源不足,可以考慮應(yīng)急擴容;
應(yīng)用性能問題,可以考慮調(diào)整應(yīng)用參數(shù)、日志參數(shù); 數(shù)據(jù)庫繁忙,可以考慮通過數(shù)據(jù)庫快照分析,優(yōu)化SQL; 應(yīng)用功能設(shè)計有誤,可以考慮緊急關(guān)閉功能菜單; 還有很多??
另外,需要補充的是,在故障應(yīng)急前,在有條件的情況需要保存當(dāng)前系統(tǒng)場景,比如在殺進程前,可以先抓個CORE文件或數(shù)據(jù)庫快照文件。
3)快速定位故障原因
? 是否為偶發(fā)性、是否可重現(xiàn)
故障現(xiàn)象是否可以重現(xiàn),對于快速解決問題很重要,能重現(xiàn)說明總會有辦法或工具幫助我們定位到問題原因,而且能重現(xiàn)的故障往往可能是服務(wù)異常、變更等工作導(dǎo)致的問題。
但,如果故障是偶發(fā)性的,是有極小概率出現(xiàn)的,則比較難排查,這依賴于系統(tǒng)是否有足夠的故障期間的現(xiàn)場信息來決定是否可以定位到總是原因。
? 是否進行過相關(guān)變更
大部份故障是由于變更導(dǎo)致,確定故障現(xiàn)象后,如果有應(yīng)的變更,有助于從變更角度出現(xiàn)分析是否是變更引起,進而快速定位故障并準(zhǔn)備好回切等應(yīng)急方案。
? 是否可縮小范圍
一方面應(yīng)用系統(tǒng)提倡解耦,一支交易會流經(jīng)不同的應(yīng)用系統(tǒng)及模塊;另一方面,故障可能由于應(yīng)用、系統(tǒng)軟件、硬件、網(wǎng)絡(luò)等環(huán)節(jié)的問題。在排查故障原因時應(yīng)該避免全面性的排查,建議先把問題范圍縮小到一定程序后再開始協(xié)調(diào)關(guān)聯(lián)團隊排查。
? 關(guān)聯(lián)方配合分析問題 與第(3)點避免同時各關(guān)聯(lián)團隊同時無頭緒的排查的同時,對于牽頭方在縮小范圍后需要開放的態(tài)度去請求關(guān)聯(lián)方配合定位,而對于關(guān)聯(lián)方則需要有積極配合的工作態(tài)度。
? 是否有足夠的日志
定位故障原因,最常用的方法就是分析應(yīng)用日志,對運維人員不僅需要知道業(yè)務(wù)功能對應(yīng)哪個服務(wù)進程,還要知道這個服務(wù)進程對應(yīng)的哪些應(yīng)用日志,并具備一些簡單的應(yīng)用日志異常錯誤的判斷能力。
? 是否有core或dump等文件
故障期間的系統(tǒng)現(xiàn)場很重要,這個在故障應(yīng)急前建議在有條件的情況下留下系統(tǒng)現(xiàn)場的文件,比如COREDUMP,或TRACE采集信息等,備份好一些可能被覆蓋的日志等。
上述是一般性的故障常見的方法,在重大故障或多方處理的故障出現(xiàn)時,往往小范圍的排查不利于快速解決,需要啟動緊急處理的流程,建議可以考慮以下溝通:
? ? ? ? ? ? 召集相關(guān)人員 描述故障現(xiàn)狀
說明正常應(yīng)用邏輯流程 陳述變更
排查進展,展示信息 領(lǐng)導(dǎo)決策
2、完善監(jiān)控
1)從監(jiān)控可視化上完善
完善的監(jiān)控策略需要有統(tǒng)一的可視化操作界面,在制定完善的監(jiān)控策略后,故障處理人員需要能夠快速的看到相應(yīng)的運行數(shù)據(jù),比如:能夠看到一段時間的趨勢、故障期間的數(shù)據(jù)表現(xiàn)、性能分析的情況等等數(shù)據(jù),且這些數(shù)據(jù)可以提前制定好策略直接推出分析結(jié)果給故障處理人員,這樣就大大提高了故障的處理效率,以呼叫中心系統(tǒng)為例,需要提前配置好以下實時交易數(shù)據(jù),以便故障定位:
-交易性能數(shù)據(jù):平均交易耗時、系統(tǒng)內(nèi)部模塊交易耗時(IVR交易耗時、接口總線交易耗時)、關(guān)聯(lián)系統(tǒng)交易耗時(核心交易耗時、工單系統(tǒng)交易耗時等)-重要交易指標(biāo)數(shù)據(jù):交易量、IVR交易量、話務(wù)量、座席通話率、核心交易筆數(shù)、工單等系統(tǒng)交易量
-交易異常情況數(shù)據(jù):交易成功率、失敗率、錯誤碼最多交易-按服務(wù)器分析交易數(shù)據(jù):按server統(tǒng)計各服務(wù)交易處理筆數(shù),交易總耗時 有了以上交易數(shù)據(jù),并通過監(jiān)控按一定頻率統(tǒng)計,運維人員在出現(xiàn)故障時,通過鼠標(biāo)即點擊即可看到故障什么時候開始,是系統(tǒng)內(nèi)部有問題還是關(guān)聯(lián)系統(tǒng)有問題,最突出的交易是哪一支,各服務(wù)器交易量是否均衡等情況。
2)從監(jiān)控面上完善
監(jiān)控最基本的工作就是實現(xiàn)對負載均衡設(shè)備、網(wǎng)絡(luò)設(shè)備、服務(wù)器、存儲設(shè)備、安全設(shè)備、數(shù)據(jù)庫、中間件及應(yīng)用軟件等IT資源的全面監(jiān)控管理。在應(yīng)用軟件類的監(jiān)控工作中,不僅需要有服務(wù)進程、端口等監(jiān)控,還需要有業(yè)務(wù)、交易層的監(jiān)控。
全面性的應(yīng)用監(jiān)控可以讓故障提前預(yù)警,并保存了影響應(yīng)用運行環(huán)境的數(shù)據(jù),以縮短故障處理時間。
3)從監(jiān)控告警上完善
完善的監(jiān)控策略需要有清晰的監(jiān)控告警提示,值班人員要以根據(jù)監(jiān)控告警即可作出簡單的問題定位與應(yīng)急處理方案。比如類似以下的監(jiān)控短信:
22時,【理財應(yīng)用系統(tǒng)】中【應(yīng)用服務(wù)器LC_APPsvrA 10.2.111.111】的【前置應(yīng)用模塊】出現(xiàn)【應(yīng)用端口:9080】不存在,該端口作用【提供理財應(yīng)用處理(負載均衡部署)】,原因可能為【SERVER1服務(wù)異常停止】,監(jiān)控系統(tǒng)己進行以下應(yīng)急處理【自動執(zhí)行端口進程啟動】,該事件緊急程度【高】。管理員可以通過短信內(nèi)容看到哪個系統(tǒng)、哪個應(yīng)用、哪個模塊出了什么問題,可能是什么原因,對業(yè)務(wù)有什么影響,是否需要馬上處理(比如凌晨出現(xiàn)此預(yù)警是否可以延遲到次日處理)等信息。
4)從監(jiān)控分析上完善
完善的監(jiān)控策略不僅需要有實時的數(shù)據(jù)告警,也要有匯總數(shù)據(jù)的分析告警,實時數(shù)據(jù)分析的告警的重要性不用多說,對于匯總分析的數(shù)據(jù)則能發(fā)現(xiàn)潛在風(fēng)險,同時也為分析疑難雜癥提供幫忙。
5)從監(jiān)控主動性上完善
監(jiān)控不僅僅是報警,它還可以做得更多,只要我們想辦法賦予它主動解決事件的規(guī)則,它便有為管理員處理故障的能力。
3、應(yīng)急方案
提前制定好故障應(yīng)急方案是很有必要的,但在日常工作過程中我們的應(yīng)急方案遇到一些問題: 1)應(yīng)急方案缺乏持續(xù)維護,缺乏演練,信息不及時、不準(zhǔn)確; 2)應(yīng)急方案過于追求大而全,導(dǎo)致不利于閱讀與使用; 3)應(yīng)急方案形式大于實際使用效果,方案針對性不強; 4)只關(guān)注應(yīng)急方案的內(nèi)容,但沒有關(guān)注運維人員對方案的理解; 針對上述常見問題,我認為應(yīng)急方案需要做到以下幾點:
1)內(nèi)容精&簡
很多人可能會認為故障出現(xiàn)的形式各種各樣,所以應(yīng)急方案需要涉及到方方面面。但實際的故障處理過程中,我們可以發(fā)現(xiàn)其實我們的應(yīng)急措施往往重復(fù)使用幾個常用的步驟,所以我認為應(yīng)急方案要有重點,如果一個應(yīng)急方案可以應(yīng)對平時故障處理80%的場景,那這個應(yīng)急手冊應(yīng)該是合格的。過于追求影響應(yīng)用系統(tǒng)方方面面的內(nèi)容,會導(dǎo)致這個方案可讀性變差,最終變更一個應(yīng)付檢查的文檔。以下是我覺得應(yīng)用系統(tǒng)應(yīng)急方案應(yīng)該有的內(nèi)容:(1)系統(tǒng)級:
能知道當(dāng)前應(yīng)用系統(tǒng)在整個交易中的角色,當(dāng)前系統(tǒng)出現(xiàn)問題或上下游出現(xiàn)問題時,可以知道如何配合上下游分析問題,比如:上下游系統(tǒng)如何通訊,通訊是否有唯一的關(guān)鍵字等。
另外,系統(tǒng)級里還涉及一些基本應(yīng)急操作,比如擴容、系統(tǒng)及網(wǎng)絡(luò)參數(shù)調(diào)整等。(2)服務(wù)級:
能知道這個服務(wù)影響什么業(yè)務(wù),服務(wù)涉及的日志、程序、配置文件在哪里,如何檢查服務(wù)是否正常,如何重啟服務(wù),如何調(diào)整應(yīng)用級參數(shù)等。(3)交易級:
能知道如何查到某支或某類交易出現(xiàn)了問題,是大面積、局部,還是偶發(fā)性問題,能用數(shù)據(jù)說明交易影響的情況,能定位到交易報錯的信息。這里最常用的方法就是數(shù)據(jù)庫查詢或工具的使用。
知道最重要的交易如何檢查是否正常,重要的定時任務(wù)的應(yīng)急處理方案,比如開業(yè)、換日、對賬的時間要求及應(yīng)急措施。(4)輔助工具的使用:
有時候,需要借助一些工具或自動化工具輔助分析并應(yīng)急,這時需要有輔助工具如何使用的方法。(5)溝通方案:
溝通方案涉及通訊錄,包括上下游系統(tǒng)、第三方單位、業(yè)務(wù)部門等渠道。(6)其它:
上述5點內(nèi)容如何都完備,相信這個應(yīng)急手冊己可以解決80%的故障恢復(fù)工作。
2)應(yīng)急方案是一項持續(xù)的工作
有了應(yīng)急方案,如何讓運維人員持續(xù)去更新是難點。我認為要解決這個難點,需要先讓運維人員經(jīng)常使用這個手冊。如果一個手冊沒有場景可以用,那就需要管理者為運維人員創(chuàng)造機會去使用這個手冊,比如應(yīng)急演練。
3)關(guān)注運維人員對應(yīng)用關(guān)鍵信息的認識
前兩點關(guān)注了手冊,最后一點我覺得有必要關(guān)注使用這個手冊的人。有些運維人員認為應(yīng)用運維人員沒有能力去把應(yīng)用系統(tǒng)本身的內(nèi)容了解得很透徹,所以應(yīng)用運維人員在故障處理過程中的地位很尷尬,運維人員掌握操作權(quán),但卻不知道應(yīng)該操作什么。
對此,我認同應(yīng)用運維人員不需要掌握應(yīng)用系統(tǒng)的業(yè)務(wù)功能,但我覺得就對應(yīng)用系統(tǒng)本身來講應(yīng)用運維人員需要具備以下最基本的能力:(1)知道應(yīng)用系統(tǒng)這個是干什么的,基本的業(yè)務(wù)是什么;(2)知道應(yīng)用架構(gòu)部署、上下游系統(tǒng)邏輯關(guān)系;
(3)知道應(yīng)用下的服務(wù)的作用、端口、服務(wù)級的應(yīng)急處理,日志等數(shù)據(jù)信息如何找到并簡單定位。
(4)知道應(yīng)用系統(tǒng)重要的時間點及任務(wù),比如開業(yè)、停業(yè)、換日、定時任務(wù)的時間點以及如何判斷這些任務(wù)是否正確(5)知道最重要的幾支交易的流程;(6)知道常見數(shù)據(jù)庫表結(jié)構(gòu),并能使用。
4、智能化事件處理
處理方法如下圖(詳細的智能化涉及監(jiān)控、規(guī)則引擎、配置工具、CMDB、應(yīng)用配置庫等模塊協(xié)同工作,具體介紹后續(xù)分析)