Linux運維工程師到底是怎樣一種存在

運維關鍵技術點解剖：1 量高并發(fā)網(wǎng)站設計案 ；2 高靠、高伸縮性網(wǎng)絡架構設計；3 網(wǎng)站安全問題何避免黑4 南北互聯(lián)問題,態(tài)CDN解決案；5 海量數(shù)據(jù)存儲架構、型網(wǎng)站運維首先明確全文所講運維指：型網(wǎng)站運維與其運維區(qū)別蠻；我再型網(wǎng)站與型網(wǎng)站進行范圍定義定義主要運維復雜性角度考慮網(wǎng)站規(guī)范、知名度、服務器 量級、pv量等考慮其素重點；我先定義服務器規(guī)模于1000臺pv每至少億（至少內(nèi)排名前10）sina、baidu、 QQhttp://51.com等等；其型網(wǎng)站能沒真意義運維工程師與網(wǎng)站規(guī)范夠本素關更集合網(wǎng)絡、系統(tǒng) 、發(fā)工作于身復合性才些公司些合同采購都納入運維職責范圍IDC網(wǎng)絡規(guī)劃納入運維職責所非重要定需要明白：運維其關聯(lián)工種必須非解熟悉：網(wǎng)絡、系統(tǒng)、系統(tǒng)發(fā)、存儲安全,DB等；我所講運維工程師指專職運維工程師我再說說般產(chǎn)品流程：1、首先公司管理層給指導思想PM定位市場需求（或copy熟應用）進行調(diào)研、析、終給詳細設計2、架構師根據(jù)產(chǎn)品設計需求pv預估、服務器規(guī)模、應用架構等素完網(wǎng)絡規(guī)劃,架構設計等（基本網(wǎng)絡變除非項目）3、發(fā)工程師設計code實現(xiàn)、測試工程師應用進行測試4、運維工程師馬首先明確點說前三步與運維工作關恰恰相反前三步與運維關系：應用前期架構設計、軟/硬件資源評估申請采購、應用設計性能隱患及評估、IDC、服務性能\安全調(diào)優(yōu)、服務器系統(tǒng)級優(yōu)化（與特定應用關）等都需運維全程參與并主導整應用線項目；運維工程師負責產(chǎn)品服務器架準備工作服務器系統(tǒng)安裝、網(wǎng)絡、IP、通用工具集安裝運維工程師需要線應用系統(tǒng)架構否合理、否具備擴展性、及安全隱患等素負責并負責產(chǎn)品（程序）、網(wǎng)絡、系統(tǒng)三者進行拼接并優(yōu)化組合起終完產(chǎn)品線提供用戶使用并周復使：需求->發(fā)（升級）->測試->線（性能、安全問題等前預估外問題隨慢慢全）提點：網(wǎng)站發(fā)模式與傳統(tǒng)軟件發(fā)完全網(wǎng)站發(fā)線1~5升級版本家便飯用戶體驗王嘛某線問題像M$ 需要1解決用戶早跑光；應用線運維工作才剛始具體工作能包括：升級版本線工作、服務監(jiān)控、應用狀態(tài)統(tǒng)計、服務狀態(tài)巡檢、突發(fā)故障處理、服務變更調(diào)整、集群管理、服務性能評估優(yōu)化、數(shù)據(jù)庫管理優(yōu)化、隨著應用PV增減進行應用架構伸縮、安全、運維發(fā)工作：a 、盡量機械性手工工作通工具實現(xiàn)（服務監(jiān)控、應用狀態(tài)統(tǒng)計、服務線等等）提高效率b、解決現(xiàn)實服務存問題高靠性、擴展性問題等c、規(guī)模集群管理工具發(fā)1萬臺機器何1鐘內(nèi)完密碼修改、或運行指定任務2000臺服務器何快速安裝操作系統(tǒng)各布式IDC、存儲集群數(shù)PT級數(shù)據(jù)何快速存儲、共享、析等系列挑戰(zhàn)都需運維工程師努力說明其配合工種情況整項目前端應用于網(wǎng)絡/系統(tǒng)工程師說黑匣同發(fā)工程師職責負責完應用功能性發(fā)并應用本身性能、安全性等應用本身負責負責或關網(wǎng)絡/系統(tǒng)架構面事宜軟/硬件采購員等事業(yè)部其同事關些問題各司其職項目核運維工程師~所其部門橋梁面說我想家應該運維些概念打比吧我輛高速行駛高速公路汽車運維工程師司機兼維修工司機簡單需要高速行駛程換輪胎、并根據(jù)道路情況換檔位、汽車速度越越快汽車本身能滿足高速度汽車性能調(diào)優(yōu)或零件升級、高速行進解決汽車故障及性能問題、刻關注前安全問題并先知先覺采取規(guī)避手段運維工作~說運維工程師職責：確保線穩(wěn)定看似簡單實屬容易運維工程師必須諸利素進行權衡：新產(chǎn)品模式現(xiàn)架構及技術沖擊、產(chǎn)品高頻度升級帶線BUG隱患、運維自化管理承度高導致失誤、IT行業(yè)追求高效率導致流程執(zhí)行缺失、用戶增漲帶性能及架構壓力、IT行業(yè)寬松技術管理文化、創(chuàng)新風險、互聯(lián)網(wǎng)安全性問題等素都網(wǎng)站穩(wěn)定敵運維工程師必須控關需具體高度責任、原則性及協(xié)調(diào)能力能做各素佳平衡名優(yōu)秀運維工程師另外聊點題外我看要sina、QQ、baidu,http://51.com等聊自已運維面經(jīng)驗其實于點免其難：a、各公司自已網(wǎng)絡架構、規(guī)模、或或少算公司核秘密要保密另外于家所熟知通用軟件、架構由于公司根據(jù)自已實際業(yè)務需要同原版性能、安全性、已知bug、功能等原進行二發(fā)（apache,php,mysql ）操作系統(tǒng)內(nèi)核根據(jù)同業(yè)務類型進行定制某些應用屬于運算型、某些高IO型、或存儲內(nèi)存型根據(jù)些特點進行內(nèi)核優(yōu)化定制sina memcache進行二發(fā)搞MemcacheDB具體做何我談源值稱贊內(nèi)公司于源基本索取沒貢獻；另外服務器家所熟知型號根據(jù)業(yè)務特點部份都找DELL/HP/ibm進行定制；另外布式儲存面都自已解決案要使用現(xiàn)源hadoop等解決案或自已發(fā)90%都借鑒google GFS思想:布式存儲、計算、表b、各公司業(yè)務向導致運維模式或都http://51.combaidu運維肯定區(qū)別業(yè)務模式?jīng)Q定其架構、服務器量級、 IDC布、網(wǎng)絡結構、通用技術都主打新聞門戶sina與主打snshttp://51.com運維模式差異非,甚至職責都；點通用技術及致架構都同異家要太神化更公司玩壘積木游戲罷沒技術含量c、面所講目前型網(wǎng)站運維處于幼期理念經(jīng)驗都比較零散沒熟知識體系能具體運維家都要先思索番或壓根沒想真討論運維工作冰山角局限于具體技術細節(jié)或某某著名網(wǎng)站框架真運維體系化東西沒許目前網(wǎng)運維相關資料 比較少原故吧或者內(nèi)運維員比較難招比較牛運維工程師比較少見原吧二、運維工作師需要技能及素質做名運維工程師需要技能及素質呢首先說說技能吧家面所看運維集IT工種技能與身崗位系統(tǒng)->網(wǎng)絡 ->存儲->協(xié)議->需求->發(fā)->測試->安全等各環(huán)節(jié)都需要解些于某些環(huán)節(jié)需熟悉甚至精通系統(tǒng) (基本操作系統(tǒng)熟悉使用,*nix,windows ..)、協(xié)議、系統(tǒng)發(fā)(重要工作自運維化相關發(fā)、規(guī)模集群工具發(fā)、管理）、通用應用（lvs、ha、web server 、db、間件、存儲等）、網(wǎng)絡,IDC拓樸架構；技能面總結幾點：1、發(fā)能力點非重要運維工具都需要自已發(fā)發(fā)語言：perl、python、php（其）、shell（awk,sed,expect….等）需要實際項目發(fā)經(jīng)驗否則工作非痛苦2、通用應用面需要解：操作系統(tǒng)（目前內(nèi)主要linux、bsd）、webserver相關 (nginx,apahe,php,lighttpd,java)、數(shù)據(jù)庫(mysql,oralce)、其雜七八拉東東；系統(tǒng)優(yōu)化高靠性；些加項需必備邊工作邊慢慢些東西都難運維些工偏重點3、系統(tǒng)、網(wǎng)絡、安全存儲CDNDB等需要相解知道其相關原理素質面：1、溝通能力、團隊協(xié)作：運維工作跨部門、跨工種工作需善于溝通、并且團隊協(xié)作能力要強；應該現(xiàn)代企業(yè)基本素質要求說2、工作需膽細：膽才能創(chuàng)新、走尋路特別于運維種新工種更需創(chuàng)新才能促進發(fā)展；細運維工程師網(wǎng)站admin,高線權限者遺憾終或打入十八層獄3、主性、執(zhí)行力、精力旺盛、抗壓能力強：由于IT行業(yè)特性變化快；往往計劃趕變化運維工作更突比內(nèi)各公司服務器往往全各哪便宜性價比高往搬進行規(guī)模服務遷移（牽扯服務器百千臺）非痛問題；往往間 非緊迫限1周內(nèi)完種情況運維工程師主性及執(zhí)行力高要求：計劃、案、服務縫遷移、機器搬遷架、環(huán)境準備、安全評估、性能評估、基建、各關聯(lián)部門扯皮,7X24緊急事故響應等4、其些基本素質：腦要靈光、邏輯思維能力強、謙虛穩(wěn)重、親力、樂于助、局觀5、點做網(wǎng)站運維需要探索創(chuàng)新精神通創(chuàng)新型思維解決現(xiàn)實問題處于幼職業(yè)（外比內(nèi)起步早點）沒熟體系或論借鑒能靠家自已摸索努力三、才算合格運維工程師1、保證服務達要求線標準99.9%；保證線穩(wěn)定運維工程師基本責職所2、斷提升應用靠性與健壯性、性能優(yōu)化、安全提升；面非考驗主性創(chuàng)新思維3、網(wǎng)站各層面監(jiān)控、統(tǒng)計覆蓋度軟件、硬件、運行狀態(tài)能監(jiān)控都需要監(jiān)控統(tǒng)計避免監(jiān)控死角、并能實解應用運轉情況4、通創(chuàng)新思維解決運維效率問題；目前各公司部份運維主要工作依賴工操作干預需要盡能解放雙手5、運維知識積累與沉淀、文檔完備性運維經(jīng)驗性非強崗位經(jīng)驗與陷阱都需積累避免重復性范錯6、計劃性執(zhí)行力；工作計劃計劃想設達目標找借口7、自化運維；能機械化工作進行提煉、設計并發(fā)工具、系統(tǒng)能讓系統(tǒng)自完盡量依靠系統(tǒng)；讓家更間用于思考、創(chuàng)新思維、做自已喜歡事情技術些層面意識重要四、運維職業(yè)迷惘、現(xiàn)狀與發(fā)展前景運維崗位像其崗位研發(fā)工程師、測試工程師等非明確職責定位及職業(yè)規(guī)劃比較職業(yè)認同與；運維工作能給覺哪面都解些都比專職工程師更精通、覺平關注度比較低（除非線現(xiàn)故障）慢慢家迷惘職業(yè)發(fā)展產(chǎn)困惑,種現(xiàn)象呢除職業(yè)本身特點外主要運維解深入、做深入導致；其實問題其崗位現(xiàn)我發(fā)現(xiàn)運維更典型更容易現(xiàn)問題；針問題我談網(wǎng)站運維現(xiàn)狀及發(fā)展前景（思考能太深入全面請家斧補充）運維現(xiàn)狀：1、處于剛起步初級階段各公司專職重視或重要程度高替代性強；公司更由其崗位兼顧做塊工作沒專職能做深入2、技術層比較低；主要處于技術探索、積累階段沒型體系化理念、技術3、體力勞偏；問題主要與第二點關系事情依靠力進行沒完提練于規(guī)模集群沒熟自化管理說明規(guī)模集群與運維工作息息相關百十臺機器沒運維太存空間4、優(yōu)秀運維才極度缺乏；目前各公司基本都靠自已培養(yǎng)現(xiàn)狀導致行業(yè)內(nèi)運維才流性非低非技術都局限各公司內(nèi)部 google 50萬臺機器科管理,或者內(nèi)互聯(lián)公司top 10 些運維經(jīng)驗些經(jīng)驗非價值東西并決定公司核競爭力；些問題進導致業(yè)內(nèi)先進運維技術流通、貫通、與借簽并終限制運維發(fā)展5、優(yōu)秀運維經(jīng)驗都掌握公司手；于公司技術實力于公司技術規(guī)模、海量PV、硬件規(guī)模足夠baidu怕流量、 http://51.com海量數(shù)據(jù)~~~~些素決定遇問題都其/公司沒遇或即遇公司能已解決案或系統(tǒng)發(fā)展前景：1、行業(yè)角度看隨著互聯(lián)網(wǎng)高速發(fā)展（目前網(wǎng)民已躍升全球第）、網(wǎng)站規(guī)模越越、架構越越復雜；專職網(wǎng)站運維工程師、網(wǎng)站架構師要求越越急迫,特別經(jīng)驗優(yōu)秀運維才需求量且越越值錢；目前內(nèi)基本都選擇畢業(yè)培養(yǎng)（限于公司）培養(yǎng)本高且沒經(jīng)驗才加入導致公司技術更新緩慢、影響公司技術發(fā)展；畢業(yè)處：白紙張塑性強比較認同并容易融入企業(yè)文化2、角度運維工程師技術含量及要求越越高同公司應用、架構解熟悉、越越重視3、網(wǎng)站運維融合科（網(wǎng)絡、系統(tǒng)、發(fā)、安全、應用架構、存儲等）綜合性技術崗位給家提供能力與技術廣度發(fā)展空間4、運維工作相關經(jīng)驗變非重要且核競爭力具備各層面問題解決能力及案提供、全局思考能力等5、特發(fā)揮興趣培養(yǎng)；由于運維崗位所接觸知識面非廣闊更容易培養(yǎng)或發(fā)揮某些面特或內(nèi)核、網(wǎng)絡、發(fā)、數(shù)據(jù)庫等面做非深入精通、面專家6、真要想做運維轉其崗位比較容易太局限性真用做7、技術發(fā)展向：網(wǎng)站/系統(tǒng)架構師五、運維關鍵技術點解剖1、 規(guī)模集群管理問題首先我先要明確集群概念集群泛指各功能服務器總合指達某目或功能服務器、硬盤 資源整合（機器數(shù)于兩臺）于應用說整體目前規(guī)集群：高用性集群（HA）負載均衡集群（lvs）布式儲、計算存儲集群（DFSgoogle gfs ,yahoo hadoop）特定應用集群（某特定功能服務器組合、db、cache層等）目前互聯(lián)網(wǎng)行業(yè)主要基于四種類型；于前兩種類似業(yè)務簡單、應用post操作比較少簡單采用四層交換機 解決（f5）達服務高用/負責均衡作用于資源緊張公司些源解決辦lvs+ha,非靈；于兩種考驗公司技術實力及應用特點第三種DFS主要應用于海量數(shù)據(jù)應用郵件、搜索等應用特別搜索要求更高除簡單海量存儲包括數(shù)據(jù)挖掘、用戶行析； google、yahoo能保存析近用戶記錄數(shù)據(jù)baidu應該少于30、soguo更少些于搜索準備性、及用戶體驗至關重要接我再談談何科管理集群關鍵幾點：I、監(jiān)控主要包括故障監(jiān)控性能、流量、負載等狀態(tài)監(jiān)控些監(jiān)控關系集群健康運行及潛問題及發(fā)現(xiàn)與干預；a、服務故障、狀態(tài)監(jiān)控：主要服務器自身、層應用、關聯(lián)服務數(shù)據(jù)交互監(jiān)控；例針前端web server我種類型監(jiān)控包括應用端口 狀態(tài)監(jiān)控便于及發(fā)現(xiàn)服務器或應用本身否crash、通icmp包探測服務器健康狀態(tài)更層能包括應用各頻道業(yè)務監(jiān)控用采用面業(yè)特征碼進行判斷或重點頁面進行簽名網(wǎng)站黑篡改（報警、并自恢復篡改數(shù)據(jù)）等等些部份N監(jiān)控式依應用特點定些問題需解決集群何高性能進行監(jiān)控現(xiàn)實問題b、其集群狀態(tài)類監(jiān)控或統(tǒng)計我合理管理調(diào)優(yōu)集群提供數(shù)據(jù)參考、包括服務瓶頸、性能問題、異流量、攻擊等問題II、故障管理a、硬件故障問題；于百千或萬機器N集群服務器死機、硬件故障概率非幾乎每每刻都服務硬件問題死機、硬盤損壞、電源、內(nèi)存、交換機針種情況我設計網(wǎng)站架構需要充考慮些問題并其視態(tài)；更依靠應用冗余機制規(guī)避種風險給系統(tǒng)工程師足夠寬裕處理間（google號稱同死800臺機器服務受任何影響）；考驗運維工程師及網(wǎng)站架構師功能設計能達google所描述自恢復能力gfs糟糕設計臺服務器死機能造面積服務連鎖故障反映直接用戶拒絕響應b、應用故障問題；能某bug觸發(fā)、或某性能閥值超越、攻擊等情況定重要點要些問題預防性措施能想問題真問題何應需要運維工程師平做足功夫包括應急響應速度、故障處理科性、備用案效等III、自化自化：簡言我手進行些工作通工具系統(tǒng)自完解放我雙手及枯燥重復性勞例：沒工具前我安裝系統(tǒng)需要臺臺裸機安裝2000臺能需要10/10搞爛N張光盤力本更現(xiàn)通自化工具需幾簡單命令 能搞定、機器類程序自完往每工干預工作使其自完、匯報結并具備定專家系統(tǒng)能力能做些簡單/非判斷、優(yōu)化選擇等些處非明顯再說應該說自化運維運維工程師職業(yè)化追求利已利公雖異艱巨任務：斷變更業(yè)務、規(guī)范化應用設計、發(fā)模式、網(wǎng)絡架構變更、IDC變更、規(guī)范變等素都能現(xiàn)自化系統(tǒng)產(chǎn)影響所需要模塊化、接口化、變參數(shù)化等自化相關工作運維工程師核重點工作價值體現(xiàn)
備注：數(shù)據(jù)僅供參考，不作為投資依據(jù)。