网站策划师,平台优化方案,临沂做网站首选,wordpress主题更改首页前言 通过通过yarn.provided.lib.dirs配置选项指定位置#xff0c;将flink的依赖上传到hdfs文件管理系统 1. 实践 #xff08;1#xff09;生产集群为cdh集群#xff0c;从cm上下载配置文件#xff0c;设置环境
export HADOOP_CONF_DIR/home/conf/auth
export HADOOP_CL…前言 通过通过yarn.provided.lib.dirs配置选项指定位置将flink的依赖上传到hdfs文件管理系统 1. 实践 1生产集群为cdh集群从cm上下载配置文件设置环境
export HADOOP_CONF_DIR/home/conf/auth
export HADOOP_CLASSPATHhadoop classpath2上传flink的lib和plugins、自己的jar包到hdfs上
hdfs dfs -put lib/ /flink-dist
hdfs dfs -put plugins/ /flink-dist
hdfs dfs -put examples/FlinkTutorial-1.17-1.0-SNAPSHOT.jar /flink-jars3提交作业
bin/flink run-application -t yarn-application -Dyarn.provided.lib.dirshdfs://nameservice1/flink-dist -c com.hex.wc.WordCountStreamUnboundedDemo hdfs://nameservice1/flink-jars/FlinkTutorial-1.17-1.0-SNAPSHOT.jar
