基于Hadoop與Spark的大數據處理平臺的構建研究

打開文本圖片集

摘要：鑒于當前的數據治理管控方法缺乏統(tǒng)一標準約束，治理管控效果比較差，故此設計一種基于Hadoop與Spark大數據平臺的數據治理管控方法。使用Apache Atlas元數據管理工具，配合Hadoop與Spark平臺完成管理工具的伸縮和擴展，實現元數據管理，利用Hadoop與Spark大數據平臺中自帶的分布式文件系統(tǒng)GFS的結構，內置的大量塊服務器與客戶端功能使用的過程中進行交互，搭建并行計算框架，數據治理過程主要針對數據的一致性、完整性和實時性三個方面進行治理過程設計。（剩余4418字）