江苏省义务教育标准化建设网站,美橙域名查询网站,个人建站公司,帝国网站搬家目录 1 打包需要的python包2 修改spark配置文件 1 打包需要的python包
首先我们用conda包管理工具对我们需要的python包进行虚拟环境创建#xff1a;
conda create -n python37 --copy -y -q python3.7 --prefix /your/workspace/path scikit-learn tensorflow下面是对每个参… 目录 1 打包需要的python包2 修改spark配置文件 1 打包需要的python包
首先我们用conda包管理工具对我们需要的python包进行虚拟环境创建
conda create -n python37 --copy -y -q python3.7 --prefix /your/workspace/path scikit-learn tensorflow下面是对每个参数的解释(这里让chatgpt给出的解释自己就不手打了
conda create: 这是创建Conda环境的命令。
-n python37: -n参数后跟着你想要创建的环境的名称这里是python37。你可以将环境名称替换为你喜欢的名称。
–copy: 这个选项指示Conda在创建环境时复制现有系统Python中的库。这有助于确保环境中包含与系统Python相同的库以避免潜在的问题。
-y: 这个选项用于自动确认环境的创建而不需要手动确认。
-q: 这个选项用于减少命令的输出即以静默模式运行。
python3.7: 这是要在环境中安装的Python版本的规范。在这个示例中它指定要安装Python 3.7。
–prefix: 环境的安装位置
scikit-learn: 这是一个Python机器学习库它会在新环境中安装。
tensorflow: 这是深度学习框架TensorFlow也会在新环境中安装。
这个命令的目的是创建一个名为python37的Conda环境将其中的Python版本设置为3.7同时在环境中安装了scikit-learn和tensorflow软件包后面可以放更多我们想要使用的python包以便在该环境中进行机器学习和深度学习的开发和实验。环境名称、Python版本和要安装的软件包可以根据你的需求进行修改。 然后我们将生成的python环境进行压缩打包
zip -r python37.zip /your/workspach/path/python372 修改spark配置文件
--archives /your/path/python37.zip#python37
--conf spark.yarn.appMasterEnv.PYSPARK_PYTHON./python37/python37/bin/python3.7 \–archives /your/path/python37.zip#python37 –archives参数用于在Spark应用程序运行期间将本地压缩档案文件解压到YARN集群节点上。 /your/path/python37.zip 是包含Python环境的压缩文件的本地文件路径。 #python37 是为档案文件定义的别名这将在Spark应用程序中使用。 这个参数的目的是将名为python37.zip的压缩文件解压到YARN集群节点并将其路径设置为python37以供Spark应用程序使用。这通常用于指定特定版本的Python环境以便在Spark任务中使用。 –conf spark.yarn.appMasterEnv.PYSPARK_PYTHON./python37/python37/bin/python3.7 –conf参数用于设置Spark配置属性。 spark.yarn.appMasterEnv.PYSPARK_PYTHON 是一个Spark配置属性它指定了YARN应用程序的主节点ApplicationMaster使用的Python解释器。 ./python37/python37/bin/python3.7 是实际Python解释器的路径它将在YARN应用程序的主节点上执行。 这个参数的目的是告诉Spark应用程序在YARN的主节点上使用特定的Python解释器即./python37/python37/bin/python3.7。这通常用于确保Spark应用程序使用正确的Python版本和环境来运行任务。 再宣传下这个方法是我们在用pyspark使用外部包的绝佳好方案
