大數(shù)據(jù)分析
hadoop就是一個(gè)生態(tài)圈,它是HDFS 、MapReduce 、Hive和ZooKeeper等組成,一系列的運(yùn)行就像一條生態(tài)鏈。
1)Pig:一個(gè)基于Hadoop的大規(guī)模數(shù)據(jù)分析平臺(tái),為海量數(shù)據(jù)的并行計(jì)算,提供了一個(gè)簡單的操作和編程接口
2)Hive:就是一個(gè)工具,有完整的SQL查詢的功能,可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行 ,當(dāng)然也要基于hadoop
3)ZooKeeper:高效的,可拓展的協(xié)調(diào)系統(tǒng),存儲(chǔ)和協(xié)調(diào)關(guān)鍵共享狀態(tài)
4)HBase:一個(gè)開源的,基于列存儲(chǔ)模型的分布式數(shù)據(jù)庫
5)HDFS:一個(gè)分布式文件系統(tǒng),有著高容錯(cuò)性的特點(diǎn),適合那些超大數(shù)據(jù)集的應(yīng)用程序;
6)MapReduce:一種編程模型,用于大規(guī)模數(shù)據(jù)集(大于1TB)的并行運(yùn)算