商城网站建设公司价格,物业管理系统功能结构图,东莞seo建站公司,app官方安装下载一、单机模式
步骤#xff1a;
1、使用XFTP将Flink安装包flink-1.13.5-bin-scala_2.11.tgz发送到master机器的主目录。
2、解压安装包#xff1a;
tar -zxvf ~/flink-1.13.5-bin-scala_2.11.tgz
3、修改文件夹的名字#xff0c;将其改为flume#xff0c;或者创建软连接…一、单机模式
步骤
1、使用XFTP将Flink安装包flink-1.13.5-bin-scala_2.11.tgz发送到master机器的主目录。
2、解压安装包
tar -zxvf ~/flink-1.13.5-bin-scala_2.11.tgz
3、修改文件夹的名字将其改为flume或者创建软连接也可
mv ~/flink-1.13.5 ~/flink
4、配置环境变量
vim ~/.bashrc
然后在文件末尾添加以下内容
export FLINK_HOME/home/hadoop/flinkexport PATH$FLINK_HOME/bin:$PATH
保存文件然后刷新环境变量或重新启动命令行终端
source ~/.bashrc 5、可以使用以下命令开启一个Flink的Scala控制台
start-scala-shell.sh local 二、Flink Standalone模式集群
步骤
1、使用vim命令配置Flink的flink-conf.yaml配置文件
cd ~/flink/conf
vim flink-conf.yaml
配置内容如下注意这里仅展示其中要修改的参数其余参数配置保持不变
jobmanager.rpc.address: masterjobmanager.rpc.port: 6123jobmanager.memory.process.size: 1600mtaskmanager.memory.process.size: 1728mtaskmanager.numberOfTaskSlots: 3parallelism.default: 3high-availability: zookeeperhigh-availability.zookeeper.quorum: master:2181,slave1:2181,slave2:2181high-availability.cluster-id: /cluster_onehigh-availability.zookeeper.path.root: /flinkhigh-availability.storageDir: hdfs://mycluster/flink/ha/ 2、配置workers
vim workers
修改为以下内容
master
slave1
slave2 3、配置masters为节省资源我们只在master启动主节点即可如需启动备用节点则需要在此处添加其他节点以作为备用节点
vim masters
修改为以下内容
master:8088
可指定端口可访问web
4、添加Hadoop依赖包若打算使Flink与Hadoop能够协同工作比如后续在YARN上运行Flink、使用Flink连接到HDFS、HBase等那么就需要将Flink对应Hadoop版本的shaded包放到Flink安装目录的lib文件夹内或者添加到Hadoop的环境变量中这里使用第一种方法进行配置
使用XFTP将 flink-shaded-hadoop-2-uber-2.8.3-10.0.jar 放到 ~/flink/lib 文件夹内 5、接着把配置好的Flink安装目录使用scp命令发送到其他节点
scp -r ~/flink hadoopslave1:~scp -r ~/flink hadoopslave2:~ 6、如第3步中配置了其他备用主节点则需要做这步只配置了一个master的话这一步可以跳过在备用主节点slave1上修改flink-conf.yaml将其中的jobmanager.rpc.address一项修改为
slave1cd ~/flink/confvim flink-conf.yaml
修改内容如下
jobmanager.rpc.address: slave1 7、依次启动ZooKeeper、HDFS、YARN集群以启动Hadoop 8、在master节点上启动Flink Standalone集群
start-cluster.sh 三、Flink on YARN模式
要使用Flink on YARN只需要修改环境变量让Flink可以从系统环境变量中读取到Hadoop的配置信息即可
vim ~/.bashrc
然后在末尾添加Hadoop配置文件夹的目录环境
export HADOOP_CONF_DIR$HADOOP_HOME/etc/hadoop
然后刷新环境变量
source ~/.bashrc
后续就可以使用 yarn-session.sh 启动 yarn session 来运行Flink任务或者使用 flink run 命令直接将Flink任务提交到YARN上运行。
