大數(shù)據(jù)Hadoop集群下Sqoop數(shù)據(jù)傳輸技術(shù)研究

打開(kāi)文本圖片集

摘 要：【目的】Hadoop系統(tǒng)是大數(shù)據(jù)分布式集群系統(tǒng)，其開(kāi)源的生態(tài)圈中有眾多功能組件，通過(guò)在大數(shù)據(jù)Hadoop集群系統(tǒng)上部署Sqoop組件，將本地關(guān)系型Mysql數(shù)據(jù)庫(kù)中的數(shù)據(jù)和Hive數(shù)據(jù)倉(cāng)庫(kù)中存儲(chǔ)的數(shù)據(jù)進(jìn)行快速導(dǎo)入導(dǎo)出，進(jìn)一步研究數(shù)據(jù)傳輸性能?！痉椒ā渴紫仍谄髽I(yè)服務(wù)器上部署配置Hadoop分布式集群系統(tǒng)，其次在該集群上部署Sqoop組件并測(cè)試與Mysql數(shù)據(jù)庫(kù)和Hive數(shù)據(jù)倉(cāng)庫(kù)的連通性，最后使用Sqoop技術(shù)測(cè)試本地Mysql數(shù)據(jù)庫(kù)和Hive數(shù)據(jù)倉(cāng)庫(kù)之間的導(dǎo)入和導(dǎo)出。（剩余7575字）