“大数据”是最近比较火热的一个词条，在国家的大力支持下，大数据发展的前途非常光明，很多人投入到了大数据技术学习的怀抱中，有初入大数据技术学习中的小白经常会看到与大数据相关联的hadoop，那么hadoop是什么？使用hadoop又需要学习什么知识呢?

一、什么是hadoop

1、专业介绍：

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的为例进行高速运算和存储。Hadoop实现了一个分布式文件系统HDFS，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，而MApReduce则为海量的数据提供了计算。

2、通俗介绍：

一个可以存储和计算单台计算机存储和计算不了的大量数据的框架。

Hadoop是一个基于Linux系统运行并用Java语言来编程的技术框架，想要学习使用hadoop的前提得先学习Java语言和Linux系统。

二、Java和Linux学习

1、Java

Java是编程语言的一种，具有功能强大和简单易用两个特征，Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程。

Java学习内容：

①　了解Java开发环境配置

②　Java基础语法

③　面向对象

④　学习集合

⑤　多线程与并发

⑥　异常

⑦　网络编程

2、Linux

Linux，全称GNU/Linux，是一种类似UNIX的操作系统，可以自由使用和传播。它主要受MINIX和UNIX思想的启发，是一个基于POSIX的多用户、多任务、支持多线程、多CPU的操作系统。

Linux学习内容：

①　熟练操作linux常用命令以及网络配置；

②　熟悉用户以及权限管理操作；

③　熟悉软件包以及系统命令管理；

④　学习shell编程。

在掌握了Java和Linux的基础知识后就可以正式学习hadoop，hadoop生态中有着诸多的组件，我们需要去了解这些组件的作用，以便更好的使用hadoop技术框架。

三、hadoop组件

Hadoop生态当中的诸多组件有HDFS、MapReduce、Yarn、HBase、Kafka、Hive、ZooKeeper

①　HDFS是一个分布式文件系统。有着高容错性的特点，并且设计用来部署在低廉的硬件上，适合那些有着超大数据集的应用程序。

②　MapReduce是一种编程模型，用于大规模数据集（>1tb）的并行运算。

③　Yarn是一种Hadoop资源管理器，一个通用资源管理系统，可为上层应用提供统一的资源管理和调度。

④　HBase是一个开源的，基于列序模型的分布式数据库。

⑤　Kafka一个开源流处理平台，可以通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时消息。

⑥　Hive是基于Hadoop的一个工具，提供完整的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。

⑦　ZooKeeper是一个高效的，可扩展的协调系统，存储和协调关键共享状态。

Hadoop是学习大数据所必须要掌握的一种技术框架，所以学习Hadoop时，是需要掌握以上的基础知识，现在大家知道大数据技术框架Hadoop需要学习什么知识了吗？