鹤岗手机网站建设,个人建 行业 网站,证券投资网站做哪些内容,广州传业建设有限公司网站文章目录 搭建前准备安装搭建解压并重命名环境变量配置配置文件yarn-site.xmlspark-env.sh 官网求 π(PI) 案例启动spark-shell通过浏览器查看显示查看 Spark 的网页信息展示 搭建前准备
下载地址#xff1a;Index of /dist/spark (apache.org)
配置好 hadoop 环境#xff… 文章目录 搭建前准备安装搭建解压并重命名环境变量配置配置文件yarn-site.xmlspark-env.sh 官网求 π(PI) 案例启动spark-shell通过浏览器查看显示查看 Spark 的网页信息展示 搭建前准备
下载地址Index of /dist/spark (apache.org)
配置好 hadoop 环境hdfs 和 yarn 服务正常可以启动
start-dfs.sh
start-yarn.sh安装搭建
解压并重命名
将 Spark 压缩包解压解压后重命名
tar -zxvf software/spark-3.5.0-bin-hadoop3.tgz -C /opt/
mv /opt/spark-3.5.0-bin-hadoop3 /opt/spark-3.5.0环境变量配置
vim /etc/profile.d/spark.sh配置内容
# SPARK_HOME
export SPARK_HOME/opt/spark-3.5.0
export PATH$PATH:$SPARK_HOME/bin刷新一下环境变量
source /etc/profile配置文件
# 进入到 hadoop 配置目录下
cd $HADOOP_HOME/etc/hadoop/
# 对 yarn-site.xml 文件进行配置
vim yarn-site.xmlyarn-site.xml !--是否启动一个线程检查每个任务正使用的物理内存量如果任务超出分配值则直接将其杀掉默认是true --propertynameyarn.nodemanager.pmem-check-enabled/namevaluefalse/value/property!--是否启动一个线程检查每个任务正使用的虚拟内存量如果任务超出分配值则直接将其杀掉默认是true --propertynameyarn.nodemanager.vmem-check-enabled/namevaluefalse/value/propertyspark-env.sh
# 进入到 hadoop 配置目录下
cd $SPARK_HOME/conf
# 复制配置文件模板
cp spark-env.sh.template spark-env.sh
# 编辑配置文件
vim spark-env.sh配置内容添加到末尾处也可也直接输入 O 在第二行添加
YARN_CONF_DIR$HADOOP_HOME/etc/hadoop/官网求 π(PI) 案例
启动 yarn
start-dfs.sh
start-yarn.sh进入到 Spark 目录下
cd $SPARK_HOME执行 spark 求 π 案例
bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.5.0.jar 10运行成功可以看到
Pi is roughly 3.1425711425711427启动spark-shell
提示启动后不要关闭 # 进入到 spark 文件路径下bin/spark-shell通过浏览器查看显示
查看 Spark 的网页信息展示
浏览器地址hadoop102:4040 为配置 IP 映射填 hadoop102 地址
