java 基础知识之hadoop源码阅读必备(一)

java 程序员你真的懂java吗？

一起来看下hadoop中的如何去使用java的

大数据是目前IT技术中最火热的话题，也是未来的行业方向，越来越多的人参与到大数据的学习行列中。从最基础的伪分布式环境搭建，再到分布式环境搭建，再进入代码的编写工作。这时候码农和大牛的分界点已经出现了，所谓的码农就是你让我做什么我就做什么，我只负责实现，不管原理，也不想知道原理。大牛就开始不听的问自己why？why？why？于是乎，很自然的去看源码了。然而像hadoop这样的源码N多人参与了修改和完善，看起来非常的吃力。然后不管如何大牛就是大牛，再硬的骨头也要啃。目前做大数据的80%都是从WEB开发转变过来的，什么spring mvc框架、SSH框架非常熟悉，其实不管你做了多少年的WEB开发，你很少接触到hadoop中java代码编写的风格，有些人根本就看不懂什么意思。下面我来介绍下hadoop源码怎么看。

hadoop体现的是分布式框架，因此所有的通信都基于RPC来操作，关于RPC的操作后续再介绍。hadoop源码怎么看系列分多个阶段介绍，下面重点介绍下JA V A基础知识。

一、多线程编程

在hadoop源码中，我们能看到大量的类似这样的代码

return executor.submit(new Callable() {

@Override

public String call() throws Exception {

//方法类

}

下面简单介绍下java的多线程编程

启动一个线程可以使用下列几种方式

1、创建一个Runnable，来调度，返回结果为空。

ExecutorService executor = Executors.newFixedThreadPool(5);

executor.submit(new Runnable() {

@Override

public void run() {

System.out.println("runnable1 running.");

}

});

这种方式启动一个线程后，在后台运行，不用等到结果，因为也不会返回结果

2、创建一个Callable，来调度，有返回结果

Future future1 = executor.submit(new Callable() {

@Override

public String call() throws Exception {

// TODO Auto-generated method stub

//具体执行一些内部操作

return "返回结果了！";

}

});

System.out.println("task1: " + future1.get());

这种启动方式一直等到call的方法体执行完毕后，并返回结果了才继续执行下面的代码二、内部类实现

hadoop中同样能看到大量这样形式的代码

status = ugi.doAs(new PrivilegedExceptionAction() {

public JobStatus run() throws IOException, InterruptedException,

ClassNotFoundException {

return submitter.submitJobInternal(Job.this, cluster);

}

});

这是一个典型的内部类实现，PrivilegedExceptionAction是一个接口，里面有一个run方法需要实现，程序调用的时候，会执行里面的submitter.submitJobInternal方法体

为了方便大家理解，我写了一个模拟程序来演示

先定义一个接口类

public interface TransactionAction {

void execute() throws Exception;

}

再定义一些模板方法，参数对象是一个接口来处理相关业务

public class TemplateAction {

public void transactionProcess(TransactionAction action, ActionEvent event){

System.out.println("lock");

try {

action.execute();

} catch (Exception e) {

// TODO Auto-generated catch block

e.printStackTrace();

}

System.out.println("unlock");

}

}

调用过程

public void doSome(){

TemplateAction t=new TemplateAction();

//public void transactionProcess(TransactionAction action, ActionEvent event)

event2 =new ActionEvent ();

event2.setMsg("内部类");

final DoAction doaction=new DoAction();

t.transactionProcess(new TransactionAction() {

@Override

public void execute() throws Exception {

// TODO Auto-generated method stub

doaction.sayWhatEvent(event2);

}

}, new ActionEvent());

}

运行结果如下：

lock

say:内部类

unlock

上面的内部类执行过程很明确，到底execute何时执行不是由dosome来设定，而是由TemplateAction中的transactionProcess来确定

三、枚举类型

枚举类型比较容易理解，例如在我们习惯定义一些常量，

static int ACTION_TYPE=0; //0表示初始，1表示启动，2表示运行中3表示停止

程序中我们这样判断

if(ACTION_TYPE==1){

doSomeThing()

}

例如：

// TODO Auto-generated method stub

JobState state = JobState.DEFINE;

if(state==JobState.RUNNING){

System.out.println("运行状态");

}else{

System.out.println("初始状态");

}

if(jobType==0){

System.out.println("初始状态");

}else if(jobType==1){

System.out.println("启动状态");

}