Azkaban是什么？
Azkaban是由Linkedin公司推出的一個批量工作流任務調度器，主要用于在一個工作流內以一個特定的順序運行一組工作和流程，它的配置是通過簡單的key:value對的方式，通過配置中的dependencies 來設置依賴關系，這個依賴關系必須是無環的，否則會被視為無效的工作流。Azkaban使用job配置文件建立任務之間的依賴關系，并提供一個易于使用的web用戶界面維護和跟蹤你的工作流。
一、前提安裝
1.1 Java1.8環境搭建
1) 下載jdk1.8并解壓：
|
1
|
# tar -zxvf jdk-8u201-linux-i586.tar.gz -C /usr/local |
2) 添加Java環境變量，在/etc/profile中添加：
|
1
2
3
4
|
export JAVA_HOME=/usr/local/jdk1.8.0_201 export PATH=$PATH:$JAVA_HOME/binexport JRE_HOME=$JAVA_HOME/jreexport CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib |
3) 保存后刷新環境變量：
# source /etc/profile
4) 檢查Java是否配置成功，成功配置會有如下圖所示。
# java -version
1.2 MySQL安裝
Ubuntu可以參考我的MySQL安裝博文。
1.3 git安裝
# sudo apt-get install git
1.4 下載azkaban
從github選取版本下載azkaban：
https://github.com/azkaban/azkaban/releases
在這里我選取了azkaban-3.18.4版本：
# wget https://github.com/azkaban/azkaban/archive/3.84.4.tar.gz
解壓：
|
1
2
|
# tar -zxvf azkaban-3.84.4.tar.gz -C /mnt/addDisk1/BigData/# cd /mnt/addDisk1/BigData/azkaban-3.84.4 |
1.5 編譯
執行gradlew編譯命令，跳過測試：
# ./gradlew distTar -x test
它會一下編譯，直到編譯成功，運行之后會生成5個壓縮包，分別放在在azkaban-*/build/distributions/目錄下：
|
1
2
3
4
5
|
azkaban-db-3.47.0-10-gdd67b02.tar.gzazkaban-exec-server-3.47.0-10-gdd67b02.tar.gzazkaban-hadoop-security-plugin-3.47.0-10-gdd67b02.tar.gzazkaban-solo-server-3.47.0-10-gdd67b02.tar.gzazkaban-web-server-3.47.0-10-gdd67b02.tar.gz |
接著把五個包分別解壓在另外的目錄下(/mnt/addDisk1/BigData/azkaban)，并重命名：
|
1
2
3
4
5
6
7
8
9
10
11
|
cd /mnt/addDisk1/BigDatatar -zxvf ./azkaban-3.81.4/azkaban-db/build/distributions/azkaban-db-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/tar -zxvf ./azkaban-3.81.4/azkaban-exec-server/build/distributions/azkaban-exec-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/tar -zxvf ./azkaban-3.81.4/azkaban-hadoop-security-plugin/build/distributions/azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/tar -zxvf ./azkaban-3.81.4/azkaban-solo-server/build/distributions/azkaban-solo-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/tar -zxvf ./azkaaban-3.81.4/azkaban-web-server/build/distributions/azkaban-web-server-0.1.0-SNAPSHOT.tar.gz -C ./azkaban/mv azkaban-solo-server-0.1.0-SNAPSHOT/ azkaban-solo-servermv azkaban-exec-server-0.1.0-SNAPSHOT/ azkaban-exec-servermv azkaban-web-server-0.1.0-SNAPSHOT/ azkaban-web-servermv azkaban-db-0.1.0-SNAPSHOT/ azkaban-dbmv azkaban-hadoop-security-plugin-0.1.0-SNAPSHOT/ azkaban-hadoop-security-plugin |
二、azkaban部署
2.1在MySQL中創建azkaban數據庫：
|
1
2
3
4
5
6
|
create database azkaban;grant all privileges on azkaban.* to azkaban@'%' identified by 'azkaban';flush privileges;use azkaban;# 將azkaban sql表結構導入mysqlsource /mnt/addDisk1/BigData/azkaban/azkaban-db/create-all-sql-0.1.0-SNAPSHOT.sql |
2.2 創建SSL配置：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
|
# keytool -keystore keystore -alias jetty -genkey -keyalg RSA運行此命令后,會提示輸入當前生成 keystor的密碼及相應信息,輸入的密碼請勞記,信息如下:輸入keystore密碼： 再次輸入新密碼:您的名字與姓氏是什么？ [Unknown]： 您的組織單位名稱是什么？ [Unknown]： 您的組織名稱是什么？ [Unknown]： 您所在的城市或區域名稱是什么？ [Unknown]： 您所在的州或省份名稱是什么？ [Unknown]： 該單位的兩字母國家代碼是什么 [Unknown]： CNCN=Unknown, OU=Unknown, O=Unknown, L=Unknown, ST=Unknown, C=CN 正確嗎？ [否]： y密碼在此我輸入的是hadoop輸入<jetty>的主密碼 （如果和 keystore 密碼相同，按回車）： 再次輸入新密碼: |
完成上述工作后,將在當前目錄生成 keystore 證書文件,將keystore 考貝到 azkaban web服務器根目:
|
1
|
# sudo mv keystore azkaban/azkaban-web-server |
2.3部署 azkaban-web-server
|
1
2
3
|
# cd ./azkaban# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-web-server/# cd ./azkaban-web-server/conf |
配置azkaban.properties:
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
|
# 默認時區,已改為亞洲/上海 默認為美國default.timezone.id=Asia/Shanghaidatabase.type=mysql #數據庫類型# h2.path=./h2# h2.create.tables=truemysql.port=3306 #端口號mysql.host=localhost #數據庫連接IPmysql.database=azkaban #數據庫實例名mysql.user=root #數據庫用戶名mysql.password=root #數據庫密碼jetty.use.ssl=truejetty.maxThreads=25 #最大線程數jetty.ssl.port=8443 #Jetty SSL端口jetty.port=8081 #Jetty端口jetty.keystore=keystore #SSL文件名jetty.password=hadoop #SSL文件密碼jetty.keypassword=hadoop #Jetty主密碼 與 keystore文件相同jetty.truststore=keystore #SSL文件名jetty.trustpassword=hadoop # SSL文件密碼# 執行服務器屬性executor.port=12321 #執行服務器端口# 郵件設置 可不設計[email protected] #發送郵箱mail.host=smtp.163.com #發送郵箱smtp地址mail.user=xxxxxxxx #發送郵件時顯示的名稱mail.password=********** #郵箱密碼[email protected] #任務失敗時發送郵件的地址[email protected] #任務成功時發送郵件的地址lockdown.create.projects=false #cache.directory=cache #緩存目錄 |
配置log4j.properties（默認就可以了，如有其他需求可修改）:
|
1
2
3
4
5
6
7
8
9
10
11
|
log4j.rootLogger=INFO, Consolelog4j.logger.azkaban=INFO, serverlog4j.appender.server=org.apache.log4j.RollingFileAppenderlog4j.appender.server.layout=org.apache.log4j.PatternLayoutlog4j.appender.server.File=logs/azkaban-webserver.loglog4j.appender.server.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%nlog4j.appender.server.MaxFileSize=102400MBlog4j.appender.server.MaxBackupIndex=2log4j.appender.Console=org.apache.log4j.ConsoleAppenderlog4j.appender.Console.layout=org.apache.log4j.PatternLayoutlog4j.appender.Console.layout.ConversionPattern=%d{yyyy/MM/dd HH:mm:ss.SSS Z} %p [%c{1}] [Azkaban] %m%n |
添加管理員用戶:
|
1
2
3
4
5
6
7
8
9
|
# sudo vim azkaban-users.xml<azkaban-users> <user groups="azkaban" password="azkaban" roles="admin" username="azkaban"/> <user password="metrics" roles="metrics" username="metrics"/> <user username="admin" password="admin" roles="admin,metrics" /> <role name="admin" permissions="ADMIN"/> <role name="metrics" permissions="METRICS"/></azkaban-users> |
2.4部署 azkaban-exec-server
|
1
2
3
|
# cd /mnt/addDisk1/BigData/azkaban# sudo cp -r ./azkaban-solo-server/conf/ ./azkaban-exec-server/# cd ./azkaban-exec-server/conf |
配置azkaban.properties：
|
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
|
# sudo vim azkaban.properties#Azkabandefault.timezone.id=Asia/Shanghai #時區# Azkaban JobTypes 插件配置azkaban.jobtype.plugin.dir=plugins/jobtypes #jobtype 插件所在位置#Loader for projectsexecutor.global.properties=conf/global.propertiesazkaban.project.dir=projects#數據庫設置database.type=mysql #數據庫類型(目前只支持mysql)mysql.port=3306 #數據庫端口號mysql.host=localhost #數據庫IP地址mysql.database=azkaban #數據庫實例名mysql.user=azkaba #數據庫用戶名mysql.password=azkaba #數據庫密碼mysql.numconnections=100 #最大連接數# 執行服務器配置executor.maxThreads=50 #最大線程數executor.port=12321 #端口號(如修改,請與web服務中一致)executor.flow.threads=30 #線程數 |
在azkaban-exec-server和azkaban-web-server安裝目錄下創建extlib目錄，將lib目錄下的mysql-connector-java-5.1.28.jar包拷備這extlib目錄：
|
1
2
3
|
# cd /mnt/addDisk1/BigData/azkaban# sudo cp ./azkaban-web-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-web-server/extlib/# sudo cp ./azkaban-exec-server/lib/mysql-connector-java-5.1.28.jar ./azkaban-exec-server/extlib/ |
2.5啟動web-server和exec-server
|
1
2
|
# ./azkaban-exec-server/bin/start-exec.sh# ./azkaban-web-server/bin/start-web.sh |
2.6訪問https://ip:8443打開azkaban的web頁面
2.7 測試
三、遇到的問題
3.1、 找到guava-*.jar包版本過低，但在/lib/下的是0.21版本，不低了，根據排除可知找到系統中版本過低的而使用。
|
1
2
3
4
5
6
7
8
9
10
11
|
2019/12/20 14:25:34.573 +0800 ERROR [StdOutErrRedirect] [Azkaban] Exception in thread "main"2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap(Ljava/util/function/Function;Ljava/util/function/Function;)Ljava/util/stream/Collector;2019/12/20 14:25:34.574 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.Status.<clinit>(Status.java:40)2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao$FetchActiveExecutableFlows.<clinit>(FetchActiveFlowDao.java:177)2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.FetchActiveFlowDao.fetchActiveFlows(FetchActiveFlowDao.java:148)2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.JdbcExecutorLoader.fetchActiveFlows(JdbcExecutorLoader.java:102)2019/12/20 14:25:34.575 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.loadRunningExecutions(ExecutorManager.java:384)2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.initialize(ExecutorManager.java:136)2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.executor.ExecutorManager.start(ExecutorManager.java:149)2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.launch(AzkabanWebServer.java:231)2019/12/20 14:25:34.576 +0800 ERROR [StdOutErrRedirect] [Azkaban] at azkaban.webapp.AzkabanWebServer.main(AzkabanWebServer.java:224) |
解決方案：http://m.ythuaji.com.cn/article/97595.html
# vim /mnt/addDisk1/BigData/azkaban/azkaban-web-server/bin/internal/internal-start-web.sh
|
1
2
3
4
5
6
7
8
9
10
11
|
將如下：for file in $azkaban_dir/lib/*.jar;do CLASSPATH=$CLASSPATH:$filedone改為：for file in $azkaban_dir/lib/*.jar;do CLASSPATH=$file:$CLASSPATHdone |
# vim /mnt/addDisk1/BigData/azkaban/azkaban-exec-server/bin/internal/internal-start-executor.sh
|
1
2
3
4
5
6
7
8
9
10
11
|
將如下：for file in $azkaban_dir/lib/*.jar;do CLASSPATH=$CLASSPATH:$filedone改為：for file in $azkaban_dir/lib/*.jar;do CLASSPATH=$file:$CLASSPATHdone |
3.2解決executor非active的問題
解決方案：
1）
|
1
2
|
# cd ./azkaban/azkaban-exec-server/# curl -G "localhost:$(<./executor.port)/executor?action=activate" && echo |
2）也可以通過在MySQL中修改：http://m.ythuaji.com.cn/article/97596.html
到此這篇關于Azkaban3.81.x部署過程及遇到的坑的文章就介紹到這了,更多相關Azkaban3.81.x部署內容請搜索服務器之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持服務器之家！
原文鏈接：https://www.cnblogs.com/luengmingbiao/p/12820576.html
