Hadoop源于Google的map/reduce和GFS的开源实现，提供对海量数据进行分布式处理的软件框架，它是一种可靠、高效、可伸缩的分布式基础架构。它的主要子项目有Hbase、Hive、Zookeeper、以及Avro。Hbase在Hadoop之上提供了类似于Big-table的能力，它是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，此外Hive还为Hbase的提供了高层语言的支持，使得在Hbase上进行数据统计处理变的简单。