分布式系統中的日志分析及應用
摘要:分布式系統是支撐當前大數據時(shí)代各種大數據應用和在線(xiàn)服務(wù)的基礎平臺,分布式系統的質(zhì)量是大數據應用提供良好服務(wù)的基礎和前提。伴隨著(zhù)大規模分布式系統的廣泛應用,由分布式系統缺陷帶來(lái)的影響和危害日益嚴重。但分布式系統在設計、實(shí)現和部署方面的復雜性,導致系統的開(kāi)發(fā)和維護人員很難準確地理解和掌握整個(gè)系統的行為,難以及時(shí)發(fā)現系統中存在的故障并進(jìn)行修復。分布式系統日志涵蓋了豐富的信息,是輔助用戶(hù)理解分布式系統邏輯、剖析系統性能、檢測系統異常以及診斷故障原因的重要依據。但復雜的日志結構、龐大的日志規模以及屬于不同功能模塊、不同用戶(hù)請求的日志之間相互交錯,為人工分析、挖掘日志中的有效信息帶來(lái)了巨大的困難。本文對近年來(lái)針對分布式系統日志的分析和應用技術(shù)進(jìn)行綜述:首先總結了分布式系統日志分析與應用的通用流程,提煉出其中的3個(gè)關(guān)鍵步驟,即日志的收集與解析、日志劃分、以及日志特征的挖掘與應用;然后針對上述3個(gè)關(guān)鍵步驟,逐一分析需要解決的技術(shù)問(wèn)題,分類(lèi)闡述目前主流的技術(shù)方案,對比技術(shù)特征或適用場(chǎng)景。文章還歸納了目前常用的3類(lèi)日志特征,并從4個(gè)方面就該領(lǐng)域未來(lái)可能的研究方向提出展望。
注: 保護知識產(chǎn)權,如需閱讀全文請聯(lián)系高技術(shù)通訊雜志社