第一篇：IT運(yùn)維心得分享范文

360公司運(yùn)維心得分享

在很多“外人”的眼中，運(yùn)維工程師的工作不過是搬機(jī)器、調(diào)網(wǎng)絡(luò)、裝軟件、處理故障、7×24小時(shí)值班，簡單而又枯燥至極。但事實(shí)并非如此，運(yùn)維工作涵蓋很多技術(shù)領(lǐng)域，運(yùn)維工程師要掌握硬件、軟件、操作系統(tǒng)、開發(fā)等多方面的知識，核心目標(biāo)是為億萬用戶使用的產(chǎn)品保駕護(hù)航。

當(dāng)今互聯(lián)網(wǎng)行業(yè)的發(fā)展日新月異，新技術(shù)層出不窮。為了適應(yīng)發(fā)展趨勢，運(yùn)維工程師只有提升技術(shù)能力才能更好地完成艱巨的運(yùn)維任務(wù)，必須要對傳統(tǒng)運(yùn)維發(fā)出自我挑戰(zhàn)。

在360，運(yùn)維團(tuán)隊(duì)由基礎(chǔ)運(yùn)維團(tuán)隊(duì)、網(wǎng)絡(luò)運(yùn)維團(tuán)隊(duì)和應(yīng)用運(yùn)維團(tuán)隊(duì)三部分組成。我們將運(yùn)維從技術(shù)支持領(lǐng)域升級，進(jìn)行產(chǎn)品化改進(jìn)，核心目標(biāo)是為了降低運(yùn)維成本、縮短研發(fā)周期、讓產(chǎn)品試錯(cuò)更廉價(jià)。理想很豐滿，現(xiàn)實(shí)很骨感，從最初服務(wù)少量項(xiàng)目、幾十臺服務(wù)器，發(fā)展到大量具有數(shù)億用戶的項(xiàng)目，我們也在不斷摸索，在試錯(cuò)中成長。在這個(gè)過程中，我們經(jīng)歷了兩次重要的升級。第一次升級：運(yùn)維工具化

運(yùn)維工作中有很多瑣碎的、重復(fù)的事情，初期我們只有兩個(gè)IDC，服務(wù)器數(shù)量有限，項(xiàng)目數(shù)量也較少，靠純手工勞作還可以應(yīng)付。但隨著時(shí)間的推移，項(xiàng)目暴增，隨之IDC和服務(wù)器的數(shù)量也成倍增長，同時(shí)360各項(xiàng)目都是小團(tuán)隊(duì)在做，開發(fā)風(fēng)格不同、習(xí)慣各異，但極致要求響應(yīng)速度，如果運(yùn)維工作按照之前方式進(jìn)行，很難滿足需求。大勢所趨，我們必須進(jìn)行工具化升級，將重復(fù)的事情自動化。

在工具化過程中，我們秉著低成本、拿來即用的原則，借鑒業(yè)界成型的方案，同時(shí)將精力用在對開源軟件的研究中，有開源工具就絕不自己憑空創(chuàng)造。初期，我們只圍繞開源軟件做周邊腳本開發(fā)，不動核心代碼，在實(shí)踐中總結(jié)經(jīng)驗(yàn)。例如，在最基礎(chǔ)的部署軟件環(huán)境中，我們基于YUM搭建了自己的包管理系統(tǒng)，將常用軟件打包，同時(shí)根據(jù)項(xiàng)目做成模板，這樣無論是初始安裝還是擴(kuò)容都能在分分鐘完成。配置文件管理利用Puppet完成，服務(wù)器批量操控依賴SaltStack。就這樣 我們的運(yùn)維兵器譜在不斷地豐富。

另外，運(yùn)維工作離不開監(jiān)控報(bào)警，這是一件讓無數(shù)運(yùn)維人苦不堪言的事情。而會休息才會工作，監(jiān)控體系必須優(yōu)化。

我們的監(jiān)控大概分為系統(tǒng)級、應(yīng)用級、項(xiàng)目邏輯和用戶體驗(yàn)四部分。系統(tǒng)級主要監(jiān)控硬件和網(wǎng)絡(luò)等；應(yīng)用級主要監(jiān)控常用軟件的健康狀況；項(xiàng)目邏輯監(jiān)控主要模擬用戶行為探測項(xiàng)目功能點(diǎn)是否運(yùn)行正常；用戶體驗(yàn)監(jiān)控主要聯(lián)動博睿和基調(diào)等第三方監(jiān)控一起優(yōu)化用戶體驗(yàn)。我們用過的工具很多，開源工具有Nagios、Cacti、Ganglia、Zabbix等，同時(shí)自己也開發(fā)了一些針對項(xiàng)目場景的監(jiān)控工具，但萬變不離其宗，都是圍繞上述幾個(gè)維度進(jìn)行監(jiān)控，然后再進(jìn)行分級預(yù)警和報(bào)警。

為了減少報(bào)警騷擾，我們分級處理，將報(bào)警分為郵件預(yù)警、短信報(bào)警和瘋狂短信報(bào)警。以磁盤空間監(jiān)控為例：每天下午6點(diǎn)，統(tǒng)計(jì) 磁盤使用率超過80%的機(jī)器，發(fā)出郵件預(yù)警，下班前解決；在預(yù)警的基礎(chǔ)上，超過85%觸發(fā)短信報(bào)警；超過90%就要持續(xù)報(bào)警，避免事故的發(fā)生。此外，隨著 服務(wù)器數(shù)量的增多，硬件故障在所難免，架構(gòu)設(shè)計(jì)需要考慮高可用方案，冗余范圍內(nèi)的服務(wù)器故障會以郵件預(yù)警的方式發(fā)出，避免對運(yùn)維工程師的騷擾。

有了監(jiān)控工具和分級機(jī)制，還需要有好的制度。為了大部分人可以安心休息，我們每天有專人負(fù)責(zé)處理常規(guī)報(bào)警，遇到無法解決的問題才要求他人協(xié)助。第二天的負(fù)責(zé) 人要針對第一天的報(bào)警找出根本原因，并盡力解決，因?yàn)槿绻麩o法根治，困擾將持續(xù)發(fā)生。所謂線上無小事，實(shí)際工作中復(fù)雜場景引發(fā)的問題數(shù)不勝數(shù)，所以可以寬 容第一次錯(cuò)誤，但不能接受同樣問題發(fā)生第二次，要不斷地總結(jié)和完善。

工具化是運(yùn)維的必經(jīng)之路，是向更高層發(fā)展的基礎(chǔ)，面對運(yùn)維這樣復(fù)雜的學(xué)科，這樣一個(gè)極其磨煉人意志的工種，運(yùn)維工程師需要用聰明的方式解決復(fù)雜的問題，節(jié)省時(shí)間，去做更有意義的事情。

第二次升級：運(yùn)維產(chǎn)品化

我剛提出運(yùn)維產(chǎn)品化時(shí)，有朋友開玩笑說，你做后端運(yùn)維吃苦受罪這么多年，看著產(chǎn)品經(jīng)理吃香的喝辣的，羨慕嫉妒也想轉(zhuǎn)行做產(chǎn)品吧。也有人說，你是在偷換概念，不就是做自動化運(yùn)維平臺嘛。其實(shí)提出這個(gè)概念，一方面是源于有了足夠的工具化積累；另一方面是想換一種思路做運(yùn)維，培養(yǎng)產(chǎn)品觀，站在用戶的角度思考問題，讓處于后端的運(yùn)維工程師主動挖掘需求，圍繞運(yùn)維做更多的探索，提升團(tuán)隊(duì)技術(shù)能力，解決海量用戶帶來的問題。有了這個(gè)想法，就需要將無形的技術(shù)轉(zhuǎn)變?yōu)橛行蔚漠a(chǎn)品形態(tài)，同時(shí)要賦予它好的寓意。我們的產(chǎn)品取名為HULK——綠巨人，意在讓小伙伴們借助巨人的肩膀成長，輕點(diǎn)鼠標(biāo)，運(yùn)籌帷幄。

想到做這個(gè)平臺，源于對實(shí)際工作需求的觀察。產(chǎn)品經(jīng)理有了創(chuàng)新點(diǎn)之后，開發(fā)工程師就想以最快的速度上線，但又會很痛苦，因?yàn)楫a(chǎn)品就好比寶塔明珠，塔基需要一 層層地蓋。而開發(fā)工程師是與運(yùn)維工程師合作最緊密的兄弟，“兄弟有難得拔刀相助”，因此我們明確了開發(fā)工程師就是運(yùn)維平臺的用戶，運(yùn)維工程師在平臺的建設(shè) 中扮演了多重角色，是建設(shè)者也是使用者，但目標(biāo)是為用戶解決問題，讓我們的用戶有極致的用戶體驗(yàn)?；谶@些想法，我們勾畫出了宏偉藍(lán)圖，提供一個(gè)塔基，第一層提供核心基礎(chǔ)服務(wù)，如Web、RDB、NoSQL等；第二層提供通用基礎(chǔ)服務(wù)，構(gòu)造一個(gè)完美的平臺，讓開發(fā)工程師受益。但勾畫的平臺功 能大而全，需求都是我們替用戶假想的，這樣做的后果就是進(jìn)展緩慢，但做出的功能沒人用。我們在失敗中反思，意識到需求還得從日常工作中去挖掘，平臺上每個(gè)功能模塊都必須解決用戶的痛點(diǎn)?；ヂ?lián)網(wǎng)精神唯快不破，要圍繞“快”找痛點(diǎn)。早期開發(fā)和運(yùn)維的合作中，更多的是郵件、IM及當(dāng)面溝通，跨團(tuán)隊(duì)的溝通成本是第 一個(gè)痛點(diǎn)。初期平臺建設(shè)中，我們從加速流程開始進(jìn)行摸索，以“需求任務(wù)流”為核心，將通用需求規(guī)范流程，統(tǒng)一需求提交頁面，同時(shí)盡量為用戶提供選項(xiàng)，而不是隨意填寫，盡量減少溝通成本，同時(shí)為完全自動化打好基礎(chǔ)。由于完整的自動化流程開發(fā)成本比較高，初期我們還“投機(jī)取巧”，用戶提交需求以后，只是把格式 化的郵件發(fā)送給運(yùn)維工程師。運(yùn)維工程師使用半自動化工具干活，完成后再通過平臺任務(wù)流告知用戶結(jié)果，手工操作的部分是隱藏在平臺后面的，用戶不得而知。就 用這種方式，我們的平臺積累了不少用戶和口碑。之后我們將日常需求分層、分類：主機(jī)類包括主機(jī)申請、賬號授權(quán)、軟件部署等；Web類包括配置文件管理、域名管理等；DB類包括建庫、建表、SQL審核、授權(quán)等。再攻克技術(shù)難點(diǎn)將一個(gè)個(gè)需求實(shí)現(xiàn)完全自動化，點(diǎn)點(diǎn)鼠標(biāo)解決問題。

關(guān)于需求任務(wù)流，還有個(gè)小插曲，標(biāo)準(zhǔn)的任務(wù)流由提交、審核、駁回/通過組成。但這個(gè)流程太死板，例如用戶提交的一個(gè)需求，在審核的過程中有待商榷，運(yùn)維工程師會和開發(fā)工程師 溝通，最終達(dá)成一致意見即可，而如果按標(biāo)準(zhǔn)流程需要駁回再提交。為了讓用戶少一次操作，我們增加了管理員可編譯功能。有些同事反對這樣做，覺得不符合常 理。不過有時(shí)候常理是需要結(jié)合實(shí)際場景打破的，就為了讓用戶使用更簡單。

近期為了進(jìn)一步提升項(xiàng)目試錯(cuò)階段的速度，我們在平臺上推出了一個(gè)新功能：“項(xiàng)目孵化器”。以典型的Web業(yè)務(wù)為例，以往，申請Web Server、賬號、數(shù)據(jù)庫實(shí)例、負(fù)載均衡等是提給運(yùn)維最基本的需求，每一步都是時(shí)間成本。使用“項(xiàng)目孵化器”可以最大限度解決這個(gè)痛點(diǎn)，只需在平臺上進(jìn) 行兩個(gè)步驟：第一步填寫業(yè)務(wù)名稱，預(yù)估峰值QPS；第二步選用MySQL、MongoDB、Redis等相關(guān)數(shù)據(jù)庫資源。兩步之后，Web Server、數(shù)據(jù)庫實(shí)例等所需資源會瞬間展示在用戶面前，同時(shí)包管理、配置文件管理、代碼發(fā)布系統(tǒng)、監(jiān)控系統(tǒng)等配套輔助功能隨之開通。

與之前的模式相比，效率和規(guī)范化都有明顯提高。說起來很神奇，但實(shí)現(xiàn)理念很簡單，我們提煉日常項(xiàng)目中的通用方案，構(gòu)建資源池，在項(xiàng)目發(fā)展初期最小量匹配資源。在孵化器的設(shè)計(jì)階段，我們聽到了很多不同的聲音。例如，讓用戶填信息不夠全面，架構(gòu)太簡單不滿足全部需求，諸如此類問題，讓人頭痛欲裂。經(jīng)過過往項(xiàng)目 分析及用戶調(diào)研，發(fā)現(xiàn)項(xiàng)目尚處于試錯(cuò)階段，快速試錯(cuò)是首要需求。至于項(xiàng)目發(fā)展中衍生出來的需求，可以再用平臺擴(kuò)展功能去解決。當(dāng)利用孵化器建立一個(gè)試錯(cuò)項(xiàng)目之后，用戶進(jìn)入平臺想看見什么？展現(xiàn)形式如何？還能做什么？這些問題隨之而來。

眾所周知，項(xiàng)目中的關(guān)聯(lián)關(guān)系是個(gè)復(fù)雜的問題，解決不好，就像一盤散沙無法聯(lián)動。為了解決此問題，首先我們確定平臺各功能模塊以項(xiàng)目名為主鍵，將項(xiàng)目的域名、負(fù)載均衡、Web Server、數(shù)據(jù)庫、通用基礎(chǔ)服務(wù)等相關(guān)聯(lián)。項(xiàng)目后期各功能模塊的擴(kuò)容可以借助關(guān)聯(lián)關(guān)系自動化完成。例如增加一臺Web Server，即可自動部署軟件環(huán)境，完成相關(guān)節(jié)點(diǎn)授權(quán)、上傳代碼、測試上線。

展現(xiàn)形式上我們借鑒社交網(wǎng)站的實(shí)現(xiàn)方案，以“我的項(xiàng)目”為中心，用戶進(jìn)入平臺以后默認(rèn)頁展示項(xiàng)目在平臺中用到的各功能模塊信息，例如域名、主機(jī)數(shù)量、數(shù)據(jù)庫實(shí)例和監(jiān)控指標(biāo)等。做到信息清晰可見，操控簡單易用。

在平臺建設(shè)中，我們一直遵循兩個(gè)準(zhǔn)則：第一，把事情由復(fù)雜變簡單；第二，給用戶極致的用戶體驗(yàn)。所謂極致，就是要超出用戶的預(yù)期，但只有挖掘用戶潛在的需求，才能做出超出預(yù)期的功能。傳統(tǒng)的運(yùn)維模式，大多是開發(fā)工程師提需求，運(yùn)維工程師滿足需求，運(yùn)維工程師主動推進(jìn)的意識不夠。360的文化中有很重要的一點(diǎn)是Ownership，一個(gè)項(xiàng)目的成功與失敗，運(yùn)維工程師是有責(zé)任的，因此需要在日常工作中時(shí)刻提醒自己“這個(gè)項(xiàng)目是我的，為了讓項(xiàng)目變得更好，我們需要主動思考，為開發(fā)工程師提供更多的增值服務(wù)”。例如一個(gè)項(xiàng)目上線前，會默認(rèn)部署日志收集模塊，收集匯總后進(jìn)行訪問日志自動化分析，以時(shí)間維度展示訪問量走勢，同時(shí)輔以IP地址分析模塊展示地域及運(yùn)營商分布。同時(shí)基于訪問日志狀態(tài)碼做進(jìn)一步的頁面分析，然后以日、周、月維度生成一份體檢報(bào)告，以及應(yīng)對方案推送給開發(fā)工程師。這些增值服務(wù)是超出預(yù)期的，拉近了開發(fā)工程師和我們的距離，一起去探討、改進(jìn)，做出更多有利于項(xiàng)目發(fā)展的功能。結(jié)束語

運(yùn)維工作在一家公司中至關(guān)重要，但傳統(tǒng)的運(yùn)維模式一定程度上限制了運(yùn)維工程師的技術(shù)發(fā)展，更抑制了創(chuàng)新思維，我們需要利用運(yùn)維“寬泛技術(shù)”定位的優(yōu)勢開拓思路。例如運(yùn)維工作需要和很多開發(fā)團(tuán)隊(duì)合作，協(xié)助架構(gòu)設(shè)計(jì)，在這個(gè)過程中會接觸到很多開發(fā)團(tuán)隊(duì)的技術(shù)積累，可以把各家之所長進(jìn)行聚合，將一些基礎(chǔ)服務(wù)進(jìn)行平臺化改造，資源共享。也可以根據(jù)項(xiàng)目的需要，主動做技術(shù)研究，將基礎(chǔ)服務(wù)做成一個(gè)個(gè)小產(chǎn)品，提供給開發(fā)團(tuán)隊(duì)使用，幫助項(xiàng)目縮短研發(fā)周期，穩(wěn)定發(fā)展。在當(dāng)今技術(shù)背景下，運(yùn)維工程師應(yīng)該在紅海中尋找藍(lán)海的思維模式，培養(yǎng)產(chǎn)品觀，由外至內(nèi)地思考，突破傳統(tǒng)運(yùn)維的壁壘，開拓創(chuàng)新。

第二篇：網(wǎng)絡(luò)運(yùn)維培訓(xùn)心得（精選）

第四期網(wǎng)絡(luò)運(yùn)維培訓(xùn)心得體會

隨著網(wǎng)絡(luò)時(shí)代的到來，網(wǎng)絡(luò)學(xué)習(xí)為我們提供了新的人生起點(diǎn)，迎來了新的教育方式，讓我們隨時(shí)隨地不受地區(qū)、時(shí)間與空間的限制，能夠快捷、方便地接受更多的新的知識，尋找到適合我們自己的教育教學(xué)方法。在網(wǎng)絡(luò)學(xué)習(xí)中我與同行們互相交流，互相學(xué)習(xí)，在互動中我學(xué)到了一些粗淺的網(wǎng)絡(luò)知識，從不知怎樣建立博客、怎樣進(jìn)入博客到怎樣發(fā)表文章等。老師們的答疑解惑讓我在學(xué)習(xí)上信心百倍，更使我的學(xué)習(xí)進(jìn)步很快，教育教學(xué)工作有了動力和努力的方向。是網(wǎng)絡(luò)學(xué)習(xí)讓我體味到了人生從來未有過的快樂與欣喜。

網(wǎng)絡(luò)就象一個(gè)強(qiáng)大的磁場，深深地吸引著我，影響著我。使我把它融入我教學(xué)工作之中。利用網(wǎng)絡(luò)教學(xué)有助于構(gòu)建新型的教學(xué)模式，真正對教育教學(xué)起到全方位的變革作用。

2017年11月24日我參加了鄂爾多斯市信息辦組織的第四期網(wǎng)絡(luò)運(yùn)維培訓(xùn)。本次培訓(xùn)，我受益良多，現(xiàn)總結(jié)心得如下：

本次培訓(xùn)是有包頭科技學(xué)院的老師以及工程師給我們講授的，在他們嶄新的圖書館電子教室里，劉老師首先強(qiáng)調(diào)了“智力儲備”。在新的信息技術(shù)快速發(fā)展的時(shí)代，提前儲備了足夠的知識，就占領(lǐng)了技術(shù)的前沿，這是我今后努力的方向。趙老師講得精簡干練，但讓我認(rèn)識到要有作為就要有目標(biāo)，有思路，有方法，要有管理方案。翟老師語重心長的告訴我們，我們要作為一名管理者，而不是維修工，更讓我們的工作有了主體方向。

曾記得開幕的第一天特別的開心，我們學(xué)員們做到屬于自己的桌子上，由包頭科技大學(xué)的劉老師致開幕詞，劉老師精美的語速，富有風(fēng)趣的講解，帶來了一陣陣熱戀的掌聲，劉老師強(qiáng)調(diào)了學(xué)習(xí)的時(shí)間安排，上午講解的老師，以及下午講解的老師，晚上實(shí)驗(yàn)課的老師等等，可想而之老師們對我們學(xué)習(xí)的認(rèn)真，對我們學(xué)習(xí)的上心，我們也下定決心盡自己的最大努力在這僅有的十天中，把我們學(xué)習(xí)的知識學(xué)好，學(xué)通，以便日后回到自己的崗位學(xué)以致用。

接下來工程師為我們著重講解了操作系統(tǒng)、應(yīng)用軟件等相關(guān)知識。Win7系統(tǒng)要留夠50GB的空間，盡量使用純凈版系統(tǒng)進(jìn)行安裝，慚愧的說，我日常用的系統(tǒng)都是Ghost版本，里面總是或多或少有一些廣告軟件等等，往往給系統(tǒng)的穩(wěn)定性帶來不良后果。這是今后應(yīng)該注意的地方了，由于自己是首次接受這么大規(guī)模的培訓(xùn)，由于工程師的語言過快，思路過于敏捷，使得我很難跟的上，學(xué)起來也是非常的吃力，有一點(diǎn)力不從心的感覺，信好工程師老師從我們僵硬的臉上看出了我們的不懂，他有從新的細(xì)細(xì)的講解，直到我們聽明白，聽懂得為止。像這樣的老師我只能說是非常非常的敬業(yè)，認(rèn)真。

還學(xué)到了一個(gè)很有用的dos命令：ipcongfig /all >d:ip.txt這個(gè)命令用來備份維修機(jī)的IP地址十分方便，要記住，要常用。

對于電腦故障的排查，工程師介紹了計(jì)算機(jī)系統(tǒng)故障的判斷思路和方法：

1、先軟件后硬件。

2、先電源后負(fù)載。

3、先表面后里面。

4、先外設(shè)后主機(jī)。

5、先一般故障后特殊故障。

6、先公共性故障后局部性故障。

7、先主要性故障后次要性故障。這些方法十分有助于我理清思路，找到真正的故障所在，能有效的提高工作效率。

工程師還重點(diǎn)介紹了Ghost這個(gè)工具軟件的使用。尤其是Ghost Explorer 這個(gè)小軟件的運(yùn)用是我以前較少使用的。經(jīng)過學(xué)習(xí)我了解到：它是一款可以對ghost生成的映像文件進(jìn)行解壓、查看以及編輯程序，利用他可以非常簡單的對 GHOST 映像文件進(jìn)行編輯，可以按自己的意愿向映像文件里添加、刪除文件，也可以將需要的文件提取出來。這樣，以后再維修無法開機(jī)的電腦時(shí)就能為老師們最大限度的保留數(shù)據(jù)了。

關(guān)于網(wǎng)絡(luò)管理工作，還屬包頭科技大學(xué)的趙老師，講得深入淺出，Ipconfig 命令，Netstat，Nslookup 命令還有用于檢查路由tracert 命令等都十分的實(shí)用。他還通過分析一些網(wǎng)絡(luò)故障實(shí)例教會我們一些更實(shí)際的運(yùn)用。還給我們講解了城域網(wǎng)網(wǎng)絡(luò)分析系統(tǒng)的功能和使用方法。路由器交換機(jī)的配置，以及IP地址的分類，子網(wǎng)掩碼的計(jì)算劃分，城域網(wǎng)的建設(shè)以及在講授的過程中不乏講解他自己的一些學(xué)習(xí)經(jīng)歷，謀財(cái)之道等等知識。

網(wǎng)絡(luò)為我們提供了豐富的教學(xué)情景，它淡化了課堂與“真實(shí)世界”之間的距離，擴(kuò)展了教師的學(xué)習(xí)空間，在真正意義上實(shí)現(xiàn)了教師與真實(shí)世界的接觸與聯(lián)系。語文課堂上，課前我們可以到網(wǎng)絡(luò)上搜索資料（包括文本、圖片等），課上再把搜集到的大量資料與伙伴交流共享。在這樣的學(xué)習(xí)情境中，教師可以積極主動去探求知識，保持最旺盛的求知欲望，對資料的搜集、整理與分析為學(xué)生批判性思維與創(chuàng)造性思維的培養(yǎng)搭建平臺，有利于建構(gòu)新型的教學(xué)模式。

網(wǎng)絡(luò)學(xué)習(xí)有利于教師共同探究問題，網(wǎng)上交流等活動，使業(yè)余生活趣味化，其核心是要發(fā)揮教師學(xué)習(xí)的主動性、積極性，網(wǎng)絡(luò)的學(xué)習(xí)能夠給予教師一個(gè)自主學(xué)習(xí)的空間。

參加網(wǎng)絡(luò)學(xué)習(xí)，對于我們一線教師來說，絕不是為了一時(shí)的興趣，更不是為了完成任務(wù)或是趕時(shí)髦、裝門面。而是要通過知識的積淀，充實(shí)自己、完善自己。鋪設(shè)一條使自己成為一名合格教師的人生之路。

達(dá)拉特旗第二期張偉 時(shí)間：2017年12月11日

第三篇：大型網(wǎng)站運(yùn)維探討和心得分享

大型網(wǎng)站運(yùn)維探討和心得分享

看到一篇不錯(cuò)的心得體會；相信我們做技術(shù)的都會有或多或少的擔(dān)憂自己的未來職業(yè)發(fā)展，下面和大家一起來探討一下。

一、什么是大型網(wǎng)站運(yùn)維?

首先明確一下，全文所講的”運(yùn)維“是指：大型網(wǎng)站運(yùn)維，與其它運(yùn)維的區(qū)別還是蠻大的；然后我們再對大型網(wǎng)站與小型網(wǎng)站進(jìn)行范圍定義，此定義主要從運(yùn)維復(fù)雜性角度考慮，如網(wǎng)站規(guī)范、知名度、服務(wù)器量級、pv量等考慮，其它因素不是重點(diǎn)；因此，我們先定義服務(wù)器規(guī)模大于1000臺，pv每天至少上億（至少國內(nèi)排名前10），如sina、baidu、QQ，51.com等等；其它小型網(wǎng)站可能沒有真正意義上的運(yùn)維工程師，這與網(wǎng)站規(guī)范不夠和成本因素有關(guān)，更多的是集合網(wǎng)絡(luò)、系統(tǒng)、開發(fā)工作于一身的“復(fù)合性人才”，就如有些公司把一些合同采購都納入了運(yùn)維職責(zé)范圍，還有如IDC網(wǎng)絡(luò)規(guī)劃也納入運(yùn)維職責(zé)。所以，非常重要一定需要明白：運(yùn)維對其它關(guān)聯(lián)工種必須非常了解熟悉：網(wǎng)絡(luò)、系統(tǒng)、系統(tǒng)開發(fā)、存儲，安全,DB等；我在這里所講的運(yùn)維工程師就是指專職運(yùn)維工程師。我們再來說說一般產(chǎn)品的“出生”流程：

1、首先公司管理層給出指導(dǎo)思想，PM定位市場需求（或copy成熟應(yīng)用）進(jìn)行調(diào)研、分析、最終給出詳細(xì)設(shè)計(jì)。

2、架構(gòu)師根據(jù)產(chǎn)品設(shè)計(jì)的需求，如pv大小預(yù)估、服務(wù)器規(guī)模、應(yīng)用架構(gòu)等因素完成網(wǎng)絡(luò)規(guī)劃,架構(gòu)設(shè)計(jì)等（基本上對網(wǎng)絡(luò)變動不大，除非大項(xiàng)目）

3、開發(fā)工程師將設(shè)計(jì)code實(shí)現(xiàn)出來、測試工程師對應(yīng)用進(jìn)行測試。

4、好，到運(yùn)維工程師出馬了，首先明確一點(diǎn)不是說前三步就與運(yùn)維工作無關(guān)了，恰恰相反，前三步與運(yùn)維關(guān)系很大：應(yīng)用的前期架構(gòu)設(shè)計(jì)、軟/硬件資源評估申請采購、應(yīng)用設(shè)計(jì)性能隱患及評估、IDC、服務(wù)性能安全調(diào)優(yōu)、服務(wù)器系統(tǒng)級優(yōu)化（與特定應(yīng)用有關(guān)）等都需運(yùn)維全程參與，并主導(dǎo)整個(gè)應(yīng)用上線項(xiàng)目；運(yùn)維工程師負(fù)責(zé)產(chǎn)品服務(wù)器上架準(zhǔn)備工作，服務(wù)器系統(tǒng)安裝、網(wǎng)絡(luò)、IP、通用工具集安裝。運(yùn)維工程師還需要對上線的應(yīng)用系統(tǒng)架構(gòu)是否合理、是否具備可擴(kuò)展性、及安全隱患等因素負(fù)責(zé)，并負(fù)責(zé)最后將產(chǎn)品（程序）、網(wǎng)絡(luò)、系統(tǒng)三者進(jìn)行拼接并最優(yōu)化的組合在一起，最終完成產(chǎn)品上線提供用戶使用，并周而復(fù)使：需求->開發(fā)（升級）->測試->上線（性能、安全問題等之前預(yù)估外的問題隨之慢慢就全出來了）在這里提一點(diǎn)：網(wǎng)站開發(fā)模式與傳統(tǒng)軟件開發(fā)完全不一樣，網(wǎng)站一天開發(fā)上線1~5個(gè)升級版本是家常便飯，用戶體驗(yàn)為王嘛，如果某個(gè)線上問題像M$需要1年解決，用戶早跑光了；應(yīng)用上線后，運(yùn)維工作才剛開始，具體工作可能包括：升級版本上線工作、服務(wù)監(jiān)控、應(yīng)用狀態(tài)統(tǒng)計(jì)、日常服務(wù)狀態(tài)巡檢、突發(fā)故障處理、服務(wù)日常變更調(diào)整、集群管理、服務(wù)性能評估優(yōu)化、數(shù)據(jù)庫管理優(yōu)化、隨著應(yīng)用PV增減進(jìn)行應(yīng)用架構(gòu)的伸縮、安全、運(yùn)維開發(fā)工作： a、盡量將日常機(jī)械性手工工作通過工具實(shí)現(xiàn)（如服務(wù)監(jiān)控、應(yīng)用狀態(tài)統(tǒng)計(jì)、服務(wù)上線等等），提高效率。

b、解決現(xiàn)實(shí)中服務(wù)存在的問題，如高可靠性、可擴(kuò)展性問題等。

c、大規(guī)模集群管理工具的開發(fā)，如1萬臺機(jī)器如何在1分鐘內(nèi)完成密碼修改、或運(yùn)行指定任務(wù)？2000臺服務(wù)器如何快速安裝操作系統(tǒng)？各分布式IDC、存儲集群中數(shù)PT級的數(shù)據(jù)如何快速的存儲、共享、分析？等一系列挑戰(zhàn)都需運(yùn)維工程師的努力。在此說明一下其它配合工種情況，在整個(gè)項(xiàng)目中，前端應(yīng)用對于網(wǎng)絡(luò)/系統(tǒng)工程師來說是黑匣子，同時(shí)開發(fā)工程師職責(zé)只是負(fù)責(zé)完成應(yīng)用的功能性開發(fā)，并對應(yīng)用本身性能、安全性等應(yīng)用本身負(fù)責(zé)，它不負(fù)責(zé)或關(guān)心網(wǎng)絡(luò)/系統(tǒng)架構(gòu)方面事宜，當(dāng)然軟/硬件采購人員等事業(yè)部其它同事也不會關(guān)心這些問題，各司其職，但項(xiàng)目的核心是運(yùn)維工程師~！所有其它部門的橋梁。

上面說了很多，我想大家應(yīng)該對運(yùn)維有一些概念了，在此打個(gè)比方吧，如果我們是一輛高速行駛在高速公路上的汽車，那運(yùn)維工程師就是司機(jī)兼維修工，這個(gè)司機(jī)不簡單，有時(shí)需要在高速行駛過程中換輪胎、并根據(jù)道路情況換檔位、當(dāng)汽車速度越來越快，汽車本身不能滿足高速度時(shí)對汽車性能調(diào)優(yōu)或零件升級、高速行進(jìn)中解決汽車故障及性能問題、時(shí)刻關(guān)注前方安全問題，并先知先覺的采取規(guī)避手段。這就是運(yùn)維工作~！

最后說一下運(yùn)維工程師的職責(zé)：”確保線上穩(wěn)定“，看似簡單，但實(shí)屬不容易，運(yùn)維工程師必須在諸多不利因素中進(jìn)行權(quán)衡：新產(chǎn)品模式對現(xiàn)有架構(gòu)及技術(shù)的沖擊、產(chǎn)品高頻度的升級帶來的線上BUG隱患、運(yùn)維自動化管理承度不高導(dǎo)致的人為失誤、IT行業(yè)追求的高效率導(dǎo)致流程執(zhí)行上的缺失、用戶增漲帶來的性能及架構(gòu)上的壓力、IT行業(yè)寬松的技術(shù)管理文化、創(chuàng)新風(fēng)險(xiǎn)、互聯(lián)網(wǎng)安全性問題等因素，都會是網(wǎng)站穩(wěn)定的大敵，運(yùn)維工程師必須把控好這最后一關(guān)，需具體高度的責(zé)任感、原則性及協(xié)調(diào)能力，如果能做到各因素的最佳平衡，那就是一名優(yōu)秀的運(yùn)維工程師了。

另外在此聊點(diǎn)題外話，我在這里看到有很多人要sina、QQ、baidu,51.com等聊自已的運(yùn)維方面的經(jīng)驗(yàn)，其實(shí)這對于它們有點(diǎn)免為其難：

a、各公司自已網(wǎng)絡(luò)架構(gòu)、規(guī)模、或多或少還算是公司的核心秘密，要保密，另外，對于大家所熟知的通用軟件、架構(gòu)，由于很多公司會根據(jù)自已實(shí)際業(yè)務(wù)需要，同時(shí)因?yàn)樵嫘阅?、安全性、已知bug、功能等原因，進(jìn)行過二次開發(fā)（如apache,php,mysql），操作系統(tǒng)內(nèi)核也會根據(jù)不同業(yè)務(wù)類型進(jìn)行定制的，如某些應(yīng)用屬于運(yùn)算型、某些是高IO型、或大存儲大內(nèi)存型。根據(jù)這些特點(diǎn)進(jìn)行內(nèi)核優(yōu)化定制，如sina就在memcache上進(jìn)行過二次開發(fā)，搞出了一個(gè)MemcacheDB，具體做得如何我們不談，但開源了，是值得稱贊的，國內(nèi)公司對于開源基本上是索取，沒有貢獻(xiàn)；另外，服務(wù)器也不是大家所熟知的型號，根據(jù)業(yè)務(wù)特點(diǎn)，大部份都是找DELL/HP/ibm進(jìn)行過定制；另外，在分布式儲存方面都有自已解決方案，要不就是使用現(xiàn)成開源hadoop等解決方案，或自已開發(fā)。但90%都是借鑒googleGFS的思想:分布式存儲、計(jì)算、大表。

b、各公司業(yè)務(wù)方向不一樣，會導(dǎo)致運(yùn)維模式或方法都不一樣，如51.com和baidu運(yùn)維肯定區(qū)別很大，因?yàn)樗麄儤I(yè)務(wù)模式?jīng)Q定了其架構(gòu)、服務(wù)器量級、IDC分布、網(wǎng)絡(luò)結(jié)構(gòu)、通用技術(shù)都會不一樣，主打新聞門戶的sina與主打sns的51.com運(yùn)維模式差異就非常大,甚至職責(zé)都不大一樣；但有一點(diǎn)，通用技術(shù)及大致架構(gòu)上都大同小異，大家不要太神化，更多的公司只是玩壘積木的游戲罷了，沒什么技術(shù)含量。

c、如上面所講，目前大型網(wǎng)站運(yùn)維還處于幼年時(shí)期理念和經(jīng)驗(yàn)都比較零散，沒有成熟的知識體系，可能具體什么是運(yùn)維，大家都要先思索一番，或壓根沒想過，真正討論也只是運(yùn)維工作的冰山一角，局限于具體技術(shù)細(xì)節(jié)，或某某著名網(wǎng)站大的框架，真正運(yùn)維體系化東西沒有，這也許是目前網(wǎng)上運(yùn)維相關(guān)資料比較少的原故吧?；蛘咭彩菄鴥?nèi)運(yùn)維人員比較難招，比較牛的運(yùn)維工程師比較少見的原因之一吧。

二、運(yùn)維工作師需要什么樣的技能及素質(zhì)

做為一名運(yùn)維工程師需要什么樣的技能及素質(zhì)呢，首先說說技能吧，如大家上面所看到，運(yùn)維是一個(gè)集多IT工種技能與一身的崗位，對系統(tǒng)->網(wǎng)絡(luò)->存儲->協(xié)議->需求->開發(fā)->測試->安全等各環(huán)節(jié)都需要了解一些，但對于某些環(huán)節(jié)需熟悉甚至精通，如系統(tǒng)(基本操作系統(tǒng)的熟悉使用,*nix,windows..)、協(xié)議、系統(tǒng)開發(fā)(日常很重要的工作是自動運(yùn)維化相關(guān)開發(fā)、大規(guī)模集群工具開發(fā)、管理）、通用應(yīng)用（如lvs、ha、webserver、db、中間件、存儲等）、網(wǎng)絡(luò),IDC拓樸架構(gòu)； 技能方面總結(jié)以下幾點(diǎn)：

1、開發(fā)能力，這點(diǎn)非常重要，因?yàn)檫\(yùn)維工具都需要自已開發(fā)，開發(fā)語言：c/c++（必備其中之一）、perl、python、php（其中之一）、shell（awk,sed,expect….等），需要有過實(shí)際開發(fā)經(jīng)驗(yàn)，否則工作會非常痛苦。

2、通用應(yīng)用方面需要了解：操作系統(tǒng)（目前國內(nèi)主要是linux、bsd）、webserver相關(guān)(nginx,apahe,php,lighttpd,java。。)、數(shù)據(jù)庫(mysql,oralce)、其它雜七八拉的東東。。系統(tǒng)優(yōu)化，高可靠性。。這些只是加分項(xiàng)，不需必備，可以邊工作邊慢慢學(xué)，這些東西都不難。當(dāng)然在運(yùn)維中，有些是有分工偏重點(diǎn)不一樣。

3、系統(tǒng)、網(wǎng)絡(luò)、安全，存儲，CDN，DB等需要相當(dāng)了解，知道其相關(guān)原理。個(gè)人素質(zhì)方面：

1、溝通能力、團(tuán)隊(duì)協(xié)作：運(yùn)維工作跨部門、跨工種工作很多，需善于溝通、并且團(tuán)隊(duì)協(xié)作能力要強(qiáng)；這應(yīng)該是現(xiàn)代企業(yè)的基本素質(zhì)要求了，不多說。

2、工作中需膽大心細(xì)：膽大才能創(chuàng)新、不走尋常路，特別對于運(yùn)維這種新的工種，更需創(chuàng)新才能促進(jìn)發(fā)展；心細(xì)，運(yùn)維工程師是網(wǎng)站admin,最高線上權(quán)限者，一不小心就會遺憾終生或打入十八層地獄。

3、主動性、執(zhí)行力、精力旺盛、抗壓能力強(qiáng)：由于IT行業(yè)的特性，變化快；往往計(jì)劃趕不上變化，運(yùn)維工作就更突出了，比如國內(nèi)各大公司服務(wù)器往往是全國各地，哪里便宜性價(jià)比高，就那往搬，進(jìn)行大規(guī)模服務(wù)遷移（牽扯的服務(wù)器成百上千臺），這是一個(gè)非常頭痛的問題；往往時(shí)間非常緊迫，如限1周內(nèi)完成，這種情況下，運(yùn)維工程師的主動性及執(zhí)行力就有很高的要求了：計(jì)劃、方案、服務(wù)無縫遷移、機(jī)器搬遷上架、環(huán)境準(zhǔn)備、安全評估、性能評估、基建、各關(guān)聯(lián)部門扯皮,7X24小緊急事故響應(yīng)等。

4、其它就是一些基本素質(zhì)了：頭腦要靈光、邏輯思維能力強(qiáng)、為人謙虛穩(wěn)重、親和力、樂于助人、有大局觀。

5、最后一點(diǎn)，做網(wǎng)站運(yùn)維需要有探索創(chuàng)新精神，通過創(chuàng)新型思維解決現(xiàn)實(shí)中的問題，因?yàn)檫@是一個(gè)處于幼年的職業(yè)（國外也一樣，但比國內(nèi)起步早點(diǎn)），沒有成熟體系或方法論可以借鑒，只能靠大家自已摸索努力。

三、怎樣才算是一個(gè)合格的運(yùn)維工程師

1、保證服務(wù)達(dá)到要求的線上標(biāo)準(zhǔn)，如99.9%；保證線上穩(wěn)定，這是運(yùn)維工程師的基本責(zé)職所在。

2、不斷的提升應(yīng)用的可靠性與健壯性、性能優(yōu)化、安全提升；這方面非?？简?yàn)主動性、和創(chuàng)新思維。

3、網(wǎng)站各層面監(jiān)控、統(tǒng)計(jì)的覆蓋度，軟件、硬件、運(yùn)行狀態(tài)，能監(jiān)控的都需要監(jiān)控統(tǒng)計(jì)，避免監(jiān)控死角、并能實(shí)時(shí)了解應(yīng)用的運(yùn)轉(zhuǎn)情況。

4、通過創(chuàng)新思維解決運(yùn)維效率問題；目前各公司大部份運(yùn)維主要工作還是依賴人工操作干預(yù)，需要盡可能的解放雙手。

5、運(yùn)維知識的積累與沉淀、文檔的完備性，運(yùn)維是一個(gè)經(jīng)驗(yàn)性非常強(qiáng)的崗位，好的經(jīng)驗(yàn)與陷阱都需積累下來，避免重復(fù)性范錯(cuò)。

6、計(jì)劃性和執(zhí)行力；工作有計(jì)劃，計(jì)劃后想法設(shè)法達(dá)到目標(biāo)，不找借口。

7、自動化運(yùn)維；能對日常機(jī)械化工作進(jìn)行提煉、設(shè)計(jì)并開發(fā)成工具、系統(tǒng)，能讓系統(tǒng)自動完成的盡量依靠系統(tǒng)；讓大家更多的時(shí)間用于思考、創(chuàng)新思維、做自已喜歡的事情。以上只是技術(shù)上的一些層面，當(dāng)然個(gè)人意識也是很重要的。

四、運(yùn)維職業(yè)的迷惘、現(xiàn)狀與發(fā)展前景

運(yùn)維崗位不像其它崗位，如研發(fā)工程師、測試工程師等，有非常明確的職責(zé)定位及職業(yè)規(guī)劃，比較有職業(yè)認(rèn)同感與成就感；而運(yùn)維工作可能給人的感覺是哪方面都了解一些，但又都比上專職工程師更精通、感覺平時(shí)被關(guān)注度比較低（除非線上出現(xiàn)故障），慢慢的大家就會迷惘，對職業(yè)發(fā)展產(chǎn)生困惑,為什么會有這種現(xiàn)象呢？除了職業(yè)本身特點(diǎn)外，主要還是因?yàn)閷\(yùn)維了解不深入、做得不深入導(dǎo)致；其實(shí)這個(gè)問題其它崗位也會出現(xiàn)，但我發(fā)現(xiàn)運(yùn)維更典型，更容易出現(xiàn)這個(gè)問題；

針對這個(gè)問題我談一下網(wǎng)站運(yùn)維的現(xiàn)狀及發(fā)展前景（也在思考中，可能不太深入全面，也請大家斧正補(bǔ)充）運(yùn)維現(xiàn)狀：

1、處于剛起步的初級階段，各大公司有此專職，但重視或重要承度不高，可替代性強(qiáng)；小公司更多是由其它崗位來兼顧做這一塊工作，沒有專職，也不可能做得深入

2、技術(shù)層次比較低；主要處于技術(shù)探索、積累階段，沒有型成體系化的理念、技術(shù)。

3、體力勞動偏大；這個(gè)問題主要與第二點(diǎn)有關(guān)系，很多事情還是依靠人力進(jìn)行，沒有完成好的提練，對于大規(guī)模集群沒有成熟的自動化管理方法，在此說明一下，大規(guī)模集群與運(yùn)維工作是息息相關(guān)的如果只是百十來臺機(jī)器，那就沒有運(yùn)維太大的生存空間了。

4、優(yōu)秀運(yùn)維人才的極度缺乏；目前各大公司基本上都靠自已培養(yǎng)，這個(gè)現(xiàn)狀導(dǎo)致行業(yè)內(nèi)運(yùn)維人才的流動性非常低，非常多好的技術(shù)都局限在各大公司內(nèi)部，如google50萬臺機(jī)器科學(xué)的管理,或者國內(nèi)互聯(lián)公司top10的一些運(yùn)維經(jīng)驗(yàn)，這些經(jīng)驗(yàn)是非常有價(jià)值的東西并決定了一個(gè)公司的核心競爭力；這些問題進(jìn)而導(dǎo)致業(yè)內(nèi)先進(jìn)運(yùn)維技術(shù)的流通、貫通、與借簽，并最終將限制了運(yùn)維發(fā)展。

5、很多優(yōu)秀的運(yùn)維經(jīng)驗(yàn)都掌握在大公司手中；這不在于公司的技術(shù)實(shí)力，而在于大公司的技術(shù)規(guī)模、海量PV、硬件規(guī)模足夠大，如baidu可怕的流量、51.com海量數(shù)據(jù)~~~~這些因素決定了他們遇到的問題都是其它中/小公司還沒有遇到的，或即將遇到。但大公司可能已有很好的解決方案或系統(tǒng)。發(fā)展前景：

1、從行業(yè)角度來看，隨著中國互聯(lián)網(wǎng)的高速發(fā)展（目前中國網(wǎng)民已躍升為全球第一）、網(wǎng)站規(guī)模越來越來大、架構(gòu)越來越復(fù)雜；對專職網(wǎng)站運(yùn)維工程師、網(wǎng)站架構(gòu)師的要求會越來越急迫,特別是對有經(jīng)驗(yàn)的優(yōu)秀運(yùn)維人才需求量大，而且是越老越值錢；目前國內(nèi)基本上都是選擇畢業(yè)生培養(yǎng)（限于大公司），培養(yǎng)成本高，而且沒有經(jīng)驗(yàn)人才加入會導(dǎo)致公司技術(shù)更新緩慢、影響公司的技術(shù)發(fā)展；當(dāng)然，畢業(yè)生也有好處：白紙一張，可塑性強(qiáng)，比較認(rèn)同并容易融入企業(yè)文化。

2、從個(gè)人角度，運(yùn)維工程師技術(shù)含量及要求會越來越高，同時(shí)也是對公司應(yīng)用、架構(gòu)最了解最熟悉的人、越來越得到重視。

3、網(wǎng)站運(yùn)維將成為一個(gè)融合多學(xué)科（網(wǎng)絡(luò)、系統(tǒng)、開發(fā)、安全、應(yīng)用架構(gòu)、存儲等）的綜合性技術(shù)崗位，給大家提供一個(gè)很好的個(gè)人能力與技術(shù)廣度的發(fā)展空間。

4、運(yùn)維工作的相關(guān)經(jīng)驗(yàn)將會變得非常重要，而且也將成為個(gè)人的核心競爭力，具備很好的各層面問題的解決能力及方案提供、全局思考能力等。

5、特長發(fā)控和興趣的培養(yǎng)；由于運(yùn)維崗位所接觸的知識面非常廣闊，更容易培養(yǎng)或發(fā)揮出個(gè)人某些方面的特長或愛好，如內(nèi)核、網(wǎng)絡(luò)、開發(fā)、數(shù)據(jù)庫等方面，可以做得非常深入精通、成為這方面的專家。

6、如果真要以后不想做運(yùn)維了，轉(zhuǎn)到其它崗位也比較容易，不會有太大的局限性。當(dāng)然了，你得真正用心去做。

7、技術(shù)發(fā)展方向、網(wǎng)站/系統(tǒng)架構(gòu)師。

五、運(yùn)維關(guān)鍵技術(shù)點(diǎn)解剖

1、大規(guī)模集群管理問題

首先我們先要明確集群的概念，集群不是泛指各功能服務(wù)器的總合，而是指為了達(dá)到某一目的或功能的服務(wù)器、硬盤資源的整合（機(jī)器數(shù)大于兩臺），對于應(yīng)用來說它就是一個(gè)整體，目前常規(guī)集群可分為：高可用性集群（HA），負(fù)載均衡集群（如lvs），分布式儲、計(jì)算存儲集群（DFS，如googlegfs,yahoohadoop），特定應(yīng)用集群（某一特定功能服務(wù)器組合、如db、cache層等），目前互聯(lián)網(wǎng)行業(yè)主要基于這四種類型；對于前兩種類似，如果業(yè)務(wù)簡單、應(yīng)用上post操作比較少，可以簡單的采用四層交換機(jī)解決（如f5），達(dá)到服務(wù)高可用/負(fù)責(zé)均衡的作用，對于資源緊張的公司也有一些開源解決辦法如lvs+ha,非常靈活；對于后兩種，那就考驗(yàn)公司技術(shù)實(shí)力及應(yīng)用特點(diǎn)了，第三種DFS主要應(yīng)用于海量數(shù)據(jù)應(yīng)用上，如郵件、搜索等應(yīng)用，特別是搜索要求就更高了，除了簡單海量存儲，還包括數(shù)據(jù)挖掘、用戶行為分析；如google、yahoo就能保存分析近一年的用戶記錄數(shù)據(jù)，而baidu應(yīng)該少于30天、soguo就更少了。。這些對于搜索準(zhǔn)備性、及用戶體驗(yàn)是至關(guān)重要的。接下來，我們再談?wù)勅绾慰茖W(xué)的管理集群，有以下關(guān)鍵幾點(diǎn)： I、監(jiān)控

主要包括故障監(jiān)控和性能、流量、負(fù)載等狀態(tài)監(jiān)控，這些監(jiān)控關(guān)系到集群的健康運(yùn)行，及潛在問題的及時(shí)發(fā)現(xiàn)與干預(yù)；

a、服務(wù)故障、狀態(tài)監(jiān)控：主要是對服務(wù)器自身、上層應(yīng)用、關(guān)聯(lián)服務(wù)數(shù)據(jù)交互監(jiān)控；例如針對前端webserver，我們就可以有很多種類型的監(jiān)控，包括應(yīng)用端口狀態(tài)監(jiān)控，便于及時(shí)發(fā)現(xiàn)服務(wù)器或應(yīng)用本身是否crash、通過icmp包探測服務(wù)器健康狀態(tài)，更上層可能還包括應(yīng)用各頻道業(yè)務(wù)的監(jiān)控，常用方法是采用面業(yè)特征碼進(jìn)行判斷，或?qū)χ攸c(diǎn)頁面進(jìn)行簽名，以網(wǎng)站被黑篡改（報(bào)警、并自動恢復(fù)被篡改數(shù)據(jù)）等等，這些只是一部份，還有N多監(jiān)控方式，依應(yīng)用特點(diǎn)而定，還有一些問題需解決，如集群過大，如何高性能的進(jìn)行監(jiān)控也是一個(gè)現(xiàn)實(shí)問題。

b、其它就是集群狀態(tài)類的監(jiān)控或統(tǒng)計(jì)，為我們合理管理調(diào)優(yōu)集群提供數(shù)據(jù)參考、包括服務(wù)瓶頸、性能問題、異常流量、攻擊等問題。II、故障管理 a、硬件故障問題；對于成百上千或上萬機(jī)器的N多集群，服務(wù)器死機(jī)、硬件故障概率是非常大的，幾乎每時(shí)每刻都有服務(wù)硬件問題，死機(jī)、硬盤損壞、電源、內(nèi)存、交換機(jī)。針對這種情況，我們在設(shè)計(jì)網(wǎng)站架構(gòu)時(shí)需要充分考慮到這些問題，并將其視為常態(tài)；更多的依靠應(yīng)用的冗余機(jī)制來規(guī)避這種風(fēng)險(xiǎn)，但給系統(tǒng)工程師足夠?qū)捲５奶幚頃r(shí)間。（如google不是號稱同時(shí)死800臺機(jī)器，服務(wù)不會受到任何影響嗎）；這就是考驗(yàn)運(yùn)維工程師及網(wǎng)站架構(gòu)師功能的地方了，好的設(shè)計(jì)能達(dá)到google所描述自恢復(fù)能力，如gfs，糟糕的設(shè)計(jì)那就是一臺服務(wù)器的死機(jī)可能會造成大面積服務(wù)的連鎖故障反映，直接對用戶拒絕響應(yīng)。

b、應(yīng)用故障問題；可能是某一bug被觸發(fā)、或某一性能閥值被超越、攻擊等情況不一而定，但重要的一點(diǎn)，是要有對這些問題的預(yù)防性措施，不能想當(dāng)然，它不會出問題，如真出問題了，如何應(yīng)對?這需要運(yùn)維工程師平時(shí)做足功夫，包括應(yīng)急響應(yīng)速度、故障處理的科學(xué)性、備用方案的有效等。III、自動化

自動化：簡而言之，就是將我們?nèi)粘Ｊ謩舆M(jìn)行的一些工作通過工具，系統(tǒng)自動來完成，解放我們的雙手及枯燥的重復(fù)性勞動，例如：沒有工具前，我們安裝系統(tǒng)需要一臺一臺裸機(jī)安裝，如2000臺，可能需要10人/10天，搞爛N張光盤，人力成本更大。。而現(xiàn)在通過自動化工具，只需幾個(gè)簡單命令就能搞定、還有如機(jī)器人類程序，自動完成以往每天人工干預(yù)的工作，使其自動完成、匯報(bào)結(jié)果，并具備一定的專家系統(tǒng)能力，能做一些簡單的是/非判斷、優(yōu)化選擇等。。這些好處非常明顯不再多說。。應(yīng)該說，自動化運(yùn)維是運(yùn)維工程師職業(yè)化的一個(gè)追求，利已利公，雖然這是一個(gè)異常艱巨的任務(wù)：不斷變更的業(yè)務(wù)、不規(guī)范化的應(yīng)用設(shè)計(jì)、開發(fā)模式、網(wǎng)絡(luò)架構(gòu)變更、IDC變更、規(guī)范變動等因素，都可能會對現(xiàn)有自動化系統(tǒng)產(chǎn)生影響，所以需要模塊化、接口化、變因參數(shù)化等因此，自動化相關(guān)工作，是運(yùn)維工程師的核心重點(diǎn)工作之一，也是價(jià)值的體現(xiàn)。

2、運(yùn)維中關(guān)鍵技術(shù)點(diǎn)解剖（比較實(shí)際，現(xiàn)實(shí)中的案例，今天先想出這幾條，如大家有其它感覺興趣的，可以提出，一起交流～）

1、大量高并發(fā)網(wǎng)站的設(shè)計(jì)方案

2、高可靠、高可伸縮性網(wǎng)絡(luò)架構(gòu)設(shè)計(jì)

3、網(wǎng)站安全問題，如何避免被黑？

4、南北互聯(lián)問題,動態(tài)CDN解決方案

5、海量數(shù)據(jù)存儲架構(gòu)

第四篇：IT運(yùn)維工作心得總結(jié)

運(yùn)維工作心得總結(jié)

運(yùn)維工作直接關(guān)系到應(yīng)用系統(tǒng)運(yùn)行的正常穩(wěn)定，但運(yùn)維工作紛繁復(fù)雜，正規(guī)化、系統(tǒng)化相對比較弱，如何改變這種現(xiàn)狀？從眾多的運(yùn)維工作者的成功失敗中進(jìn)行經(jīng)驗(yàn)總結(jié)，并提升為運(yùn)維規(guī)則，是提高運(yùn)維水平，保障應(yīng)用系統(tǒng)正常穩(wěn)定運(yùn)行的有效途徑。

筆者通過自己的多年運(yùn)維經(jīng)驗(yàn)，總結(jié)出以下必須遵守的基本運(yùn)維規(guī)則，可以大大減少缺乏經(jīng)驗(yàn)的運(yùn)維人員因?yàn)樽陨硎д`導(dǎo)致系統(tǒng)出故障的可能性。

一、系統(tǒng)變更、升級應(yīng)先在同樣的環(huán)境測試通過，執(zhí)行前應(yīng)有經(jīng)過驗(yàn)證的回退預(yù)案

運(yùn)維是一門經(jīng)驗(yàn)的學(xué)科、是一門試錯(cuò)的學(xué)科。沒有做過的東西、總是會給你出意想不到的難題，因此變更前，一定要在相同或者相似運(yùn)行環(huán)境下進(jìn)行測試，通過后才能在正式環(huán)境下執(zhí)行變更。同時(shí)應(yīng)準(zhǔn)備好變更失敗的回退預(yù)案，比如，做好系統(tǒng)備份、數(shù)據(jù)庫備份、配置備份，固化變更前的運(yùn)行現(xiàn)場，讓變更有回頭的機(jī)會。

二、對破壞性的操作要先確認(rèn)符合預(yù)定方案，然后謹(jǐn)慎執(zhí)行

什么是破壞性的操作？ 比如：

對MSSQLServer，執(zhí)行update操作，因?yàn)椴恍枰猚ommit，所以特別容易忽視也特別危險(xiǎn)，還有delete、drop等操作更不用說。

對 Oracle 而言：truncate table_name、delete table_name、drop table_name，這些語句執(zhí)行起來輕松簡單也愜意極了、但記?。〖幢銛?shù)據(jù)可被回滾、代價(jià)也是非常大！

對 Linux 而言，rm-r 所有當(dāng)前及其子目錄的所有數(shù)據(jù)都將被刪除。經(jīng)歷過這種故障的人、大多會給 rm 上個(gè)別名 A liasrm='rm-i' 同理、cp 和 mv 也可以有同樣的選項(xiàng)：

aliascp='cp-i' alias mv='mv-i' 對window而言，shift+del文件或者目錄 對任何系統(tǒng)而言，無備份直接修改文件等

三、備份并驗(yàn)證備份的有效性

不管是硬件還是軟件總有意外崩潰的時(shí)候，怎么辦？備份??！備份的學(xué)問很大、按照不同的維度可以分：冷備和熱備、實(shí)時(shí)和非實(shí)時(shí)、物理和邏輯、全備增量備。

備份有了、可以高忱無憂了嗎？不行！尚須驗(yàn)證備份的有效性。一個(gè)總有那么幾次、備份無法保證 100% 恢復(fù)，簡單的驗(yàn)證就是找個(gè)空庫恢復(fù)出來。

四、對生產(chǎn)環(huán)境永保敬畏之心

這是避免應(yīng)用系統(tǒng)發(fā)生故障的一條鐵規(guī)，也是被開發(fā)、運(yùn)維人員容易忽視的地方。要堅(jiān)決杜絕直接在生產(chǎn)環(huán)境做開發(fā)、測試和bug修復(fù)，這些操作只能在開發(fā)和測試環(huán)境做，否則一旦出事，將欲哭無淚。

五、交接和休假最容易出故障

接手別人的工作要一而再，再而三的確認(rèn)變更方案，請教人并不見得就是能力不行的表現(xiàn)；

? 休假前最好各種可以做好的事情，最好能夠準(zhǔn)備一份文檔，指明在什么情況下怎么做和聯(lián)系哪些人；

? 在別人放假的時(shí)候接手工作，“能拖則拖”，實(shí)在需要執(zhí)行：必須不厭其煩的跟原系統(tǒng)管理人員確認(rèn)各個(gè)操作細(xì)節(jié)。? 六、一定要有監(jiān)控手段和報(bào)警措施

運(yùn)維人員賴于生存的工具就是報(bào)警和監(jiān)控。

報(bào)警可以讓你及時(shí)知道系統(tǒng)出現(xiàn)了什么異常、以便及時(shí)跟進(jìn)、把故障扼殺于搖籃；

? 監(jiān)控可以讓你了解系統(tǒng)的歷史性能信息、以歷為鑒、可以知興替、早做優(yōu)化。?

報(bào)警和監(jiān)控是衣寬帶水的好兄弟、相鋪相成、互相促進(jìn)。

七、使用自動切換技術(shù)需謹(jǐn)慎

為了保障數(shù)據(jù)庫安全，往往會使用HA或者RAC之類的技術(shù)，但是這類技術(shù)能否真正在關(guān)鍵時(shí)刻起作用，則是需要經(jīng)過反復(fù)驗(yàn)證和確認(rèn)的。并不是按照文檔要求做好了就夠的，很多意外因素或者系統(tǒng)因素會導(dǎo)致自動切換技術(shù)并不能如期發(fā)揮作用。如果到事后才發(fā)現(xiàn)這一點(diǎn)，將悔之晚矣。

八、要有偏執(zhí)狂的精神，方案要檢查，檢查，再檢查

有這么一個(gè)人： ① 他在做一個(gè)變更的時(shí)候，會先提前一兩周發(fā)送郵件并電話手機(jī)通知相關(guān)人

② 在測試機(jī)上寫好腳本，召集大家 review 操作步驟和腳本 ③ 測試完成以后拷貝到生產(chǎn)環(huán)境

④ 登錄對應(yīng)機(jī)器，“打開，關(guān)閉，打開，關(guān)閉”該腳本

⑤ 跟相關(guān)人員再次確認(rèn)執(zhí)行的操作，順序，時(shí)間點(diǎn)，可能的影響和回滾是否都準(zhǔn)備好了

⑥ 執(zhí)行前還要退出這個(gè)機(jī)器，然后再登錄進(jìn)去，“打開，關(guān)閉”腳本 ⑦ 最后才在后臺運(yùn)行腳本，同時(shí)在另外一個(gè)窗口登錄著，隨時(shí)ps和查看結(jié)果輸出

期間姿勢端正，呼吸急促而均勻，眼神凝重。操作的人不覺得累，倒是一邊觀摩的人很累。

九、簡單即是美

我們總是面臨各種誘惑：新的系統(tǒng)架構(gòu)，新的更智能的命令和工具，最新的硬件平臺，功能更全的HA軟件...你可以在線下安裝，測試，怎么做都行。但是如果想要在生產(chǎn)環(huán)境下使用起來、請三思！

能夠使用系統(tǒng)內(nèi)置命令的話，就不用考慮其他要專門下載安裝的軟件了 ? 腳本本身就能完成的功能，就沒有必要專門找一個(gè)功能豐富的軟件來做 ? Linux本身自帶的字符界面比那些復(fù)雜的圖形界面要簡潔方便 ?

如果能做到堅(jiān)持這九條鐵規(guī)，你的應(yīng)用系統(tǒng)就能長久穩(wěn)定運(yùn)行了。

第五篇：國家電網(wǎng)變電運(yùn)維培訓(xùn)心得

體驗(yàn)變電運(yùn)維 感受美好生活

平凡的崗位，不平凡的經(jīng)歷。培訓(xùn)生活已經(jīng)進(jìn)行了大半，一切都在有條不紊的繼續(xù)進(jìn)行中，生活總是在忙碌中在能體會到充實(shí)和愉悅，培訓(xùn)的這四個(gè)月，終將會成為我們的美好回憶。

在過去的培訓(xùn)生活中，我們從無到有，從第一次進(jìn)行倒閘操作的那一刻，我們在心里就已經(jīng)明確的認(rèn)知了自己的工作性質(zhì)，從枯燥到疲累，從滿心歡喜的躍躍欲試到真正了解了工作的辛苦與勞累，從一無所知到胸有成竹，我們在這段歷程中整的收獲了很多很多，時(shí)常會想起自己初來乍到時(shí)的滿頭霧水，到一點(diǎn)點(diǎn)接受適應(yīng)培訓(xùn)生活的從容不迫，我們在這段經(jīng)歷中真的是成長了太多太多。

想起之前培訓(xùn)時(shí)的迷惑與不解，慢慢的才感悟到的的確確的應(yīng)該用心做好本職工作，只有這樣腳踏實(shí)地地認(rèn)認(rèn)真真的做好每一件事，生活才會充滿陽光，工作才會充滿樂趣，夢想才會向自己靠攏，人生才會有所作為。今天的我們不管有多麼的平凡，我們也要告訴自己：“一定要做平凡崗位中最優(yōu)秀的那一位?！庇昧ψ龉ぷ鞑拍馨压ぷ髯鐾?，用心工作才能把工作做好。假如你熱愛工作，那你的生活就是天堂。假如你討厭你的工作，你的生活就是地獄。把每一件小事都和自己心目中的目標(biāo)結(jié)合起來。力爭做出最優(yōu)秀的成績來，人生的理想才能逐步實(shí)現(xiàn)。要相信，你的夢想就在你的前方。