博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Oozie 安装及 examples app 的使用
阅读量:5328 次
发布时间:2019-06-14

本文共 2622 字,大约阅读时间需要 8 分钟。

一、Building OOzie

特别注意的是修改Pom.xml文件中的版本与本机中安装的版本相同

二、 install Oozie

1.为 hadoop 添加 Oozie 的代理用户,添加如下配置到 hadoop 的 core-site.xml 中(需Hadoop读取之后才会生效)

hadoop.proxyuser.cen.hosts
cen-ubuntu
hadoop.proxyuser.cen.groups
*

2.解压hadooplibs(包含支持 Oozie 版本的 Hadoop 分布式支持--也就是支持 MapReduce job 的依赖包)

$ tar -xzvf oozie-hadooplibs-4.0.0-cdh5.3.6.tar.gz

3.创建文件夹 libext

$ mkdir libext

4.拷贝运行使用的 Hadoop jars 包(不带mr1的那一个,yarn 版本的)到 libext 目录下

$ cp oozie-4.0.0-cdh5.3.6/hadooplibs/hadooplib-2.5.0-cdh5.3.6.oozie-4.0.0-cdh5.3.6/* libext/

5.拷贝 ExtJs2.2.zip 文件到 libext 目录

$ cp ~/package/ExtJs2.2.SDK.zip libext/

6.创建 war 包包含的 jars (在解压目录的oozie-server下)

$ bin/oozie-setup.sh prepare-war [-d directory] [-secure]                     sharelib create -fs 
[-locallib
] sharelib upgrade -fs
[-locallib
] db create|upgrade|postupgrade -run [-sqlfile
]# 创建 war 包指定包含的 jars $ bin/oozie-setup.sh prepare-war# 上传 jar 包到 HDFS 文件系统(HDFS 要在运行)、指定本地要上传的支持包(选择YARN版本的),创建数据库$ bin/oozie-setup.sh sharelib create -fs hdfs://cen-ubuntu:8020 -locallib oozie-sharelib-4.0.0-cdh5.3.6-yarn.tar.gz# 创建数据库$ bin/ooziedb.sh create -sqlfile oozie.sql -run DB Connection.

7.配置Oozie-site.xml文件中的HDFS信息

oozie.service.HadoopAccessorService.hadoop.configurations
*=/opt/cdh5.3.6/hadoop-2.5.0-cdh5.3.6/etc/hadoop

8.启动 Oozie

# 守护进程$ bin/oozied.sh start# 前台$ bin/oozied.sh run# 停止$ bin/oozied.sh stop

注1:使用 MySQL 数据库步骤

1.拷贝依赖包到 libext 目录

2.编辑 Oozie-site.xml 文件(注意数据库名)

三、运行 example 程序

1.解压oozie-examples.tar.gz

2.复制 example 到 HDFS 问价主目录下

3.修改 URL 地址 apps/job.properties(入口配置文件:指向workflow.xml文件和输出目录)

注意:( job.properties 必须在本地,workflow.xml 必须在 HDFS 上)

nameNode=hdfs://cen-ubuntu:8020# 端口根据ResourceManage配置文件可知(默认8032)jobTracker=cen-ubuntu:8032examplesRoot=examplesoozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/map-reduce/workflow.xmloutputDir=map-reduce

4.运行 example 的 map-reduce APP(其他使用请参考oozie help)

$ bin/oozie job -oozie http://cen-ubuntu.cenzhongman.com:11000/oozie -config examples/apps/map-reduce/job.properties -run

5.查看状态信息

# 命令行$ oozie job -oozie  http://cen-ubuntu.cenzhongman.com:11000/oozie -info 14-20090525161321-oozie-tucu# Web 界面http://cen-ubuntu:11000/oozie/

1047249-20170724225022840-448771764.png

注:编辑Oozie 配置文件后重启 Tomcat 服务需要清除相关的编译文件

$ rm -r $OOZIE_HOME/oozie-server/work/Catalina    $ rm -r $OOZIE_HOME/oozie-server/conf/Catalina

转载于:https://www.cnblogs.com/cenzhongman/p/7231663.html

你可能感兴趣的文章
微软职位内部推荐-Sr. SE - Office incubation
查看>>
微软职位内部推荐-SOFTWARE ENGINEER II
查看>>
centos系统python2.7更新到3.5
查看>>
C#类与结构体究竟谁快——各种函数调用模式速度评测
查看>>
我到底要选择一种什么样的生活方式,度过这一辈子呢:人生自由与职业发展方向(下)...
查看>>
poj 题目分类
查看>>
windows 安装yaml支持和pytest支持等
查看>>
读书笔记:季羡林关于如何做研究学问的心得
查看>>
面向对象的优点
查看>>
套接口和I/O通信
查看>>
阿里巴巴面试之利用两个int值实现读写锁
查看>>
浅谈性能测试
查看>>
Winform 菜单和工具栏控件
查看>>
CDH版本大数据集群下搭建的Hue详细启动步骤(图文详解)
查看>>
巧用Win+R
查看>>
浅析原生js模仿addclass和removeclass
查看>>
Python中的greenlet包实现并发编程的入门教程
查看>>
java中遍历属性字段及值(常见方法)
查看>>
深入理解jQuery框架-框架结构
查看>>
YUI3自动加载树实现
查看>>