一、Building OOzie
特别注意的是修改Pom.xml文件中的版本与本机中安装的版本相同
二、 install Oozie
1.为 hadoop 添加 Oozie 的代理用户,添加如下配置到 hadoop 的 core-site.xml 中(需Hadoop读取之后才会生效)
hadoop.proxyuser.cen.hosts cen-ubuntu hadoop.proxyuser.cen.groups *
2.解压hadooplibs(包含支持 Oozie 版本的 Hadoop 分布式支持--也就是支持 MapReduce job 的依赖包)
$ tar -xzvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz
3.创建文件夹 libext
$ mkdir libext
4.拷贝运行使用的 Hadoop jars 包(不带mr1的那一个,yarn 版本的)到 libext 目录下
$ cp oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/
5.拷贝 ExtJs2.2.zip 文件到 libext 目录
$ cp ~/package/ExtJs2.2.SDK.zip libext/
6.创建 war 包包含的 jars (在解压目录的oozie-server下)
$ bin/oozie-setup.sh prepare-war [-d directory] [-secure] sharelib create -fs[-locallib ] sharelib upgrade -fs [-locallib ] db create|upgrade|postupgrade -run [-sqlfile ]# 创建 war 包指定包含的 jars $ bin/oozie-setup.sh prepare-war# 上传 jar 包到 HDFS 文件系统(HDFS 要在运行)、指定本地要上传的支持包(选择YARN版本的),创建数据库$ bin/oozie-setup.sh sharelib create -fs hdfs://cen-ubuntu:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz# 创建数据库$ bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection.
7.配置Oozie-site.xml文件中的HDFS信息
oozie.service.HadoopAccessorService.hadoop.configurations *=/opt/cdh5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop
8.启动 Oozie
# 守护进程$ bin/oozied.sh start# 前台$ bin/oozied.sh run# 停止$ bin/oozied.sh stop
注1:使用 MySQL 数据库步骤
1.拷贝依赖包到 libext 目录
2.编辑 Oozie-site.xml 文件(注意数据库名)
三、运行 example 程序
1.解压oozie-examples.tar.gz
2.复制 example 到 HDFS 问价主目录下
3.修改 URL 地址 apps/job.properties(入口配置文件:指向workflow.xml文件和输出目录)
注意:( job.properties 必须在本地,workflow.xml 必须在 HDFS 上)
nameNode=hdfs://cen-ubuntu:8020# 端口根据ResourceManage配置文件可知(默认8032)jobTracker=cen-ubuntu:8032examplesRoot=examplesoozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce/workflow.xmloutputDir=map-reduce
4.运行 example 的 map-reduce APP(其他使用请参考oozie help)
$ bin/oozie job -oozie http://cen-ubuntu.cenzhongman.com:11000/oozie -config examples/apps/map-reduce/job.properties -run
5.查看状态信息
# 命令行$ oozie job -oozie http://cen-ubuntu.cenzhongman.com:11000/oozie -info 14-20090525161321-oozie-tucu# Web 界面http://cen-ubuntu:11000/oozie/
注:编辑Oozie 配置文件后重启 Tomcat 服务需要清除相关的编译文件
$ rm -r $OOZIE_HOME/oozie-server/work/Catalina $ rm -r $OOZIE_HOME/oozie-server/conf/Catalina