做简单手机网站多少钱呀,wordpress en,wordpress 数据库 发布,提高网站建设管理水平1. 为什么需要对项目分发打包#xff1f;
平常我们习惯了使用 pip 来安装一些第三方模块#xff0c;这个安装过程之所以简单#xff0c;是因为模块开发者为我们默默地为我们做了所有繁杂的工作#xff0c;而这个过程就是 打包。
打包#xff0c;就是将你的源代码进一步封…1. 为什么需要对项目分发打包
平常我们习惯了使用 pip 来安装一些第三方模块这个安装过程之所以简单是因为模块开发者为我们默默地为我们做了所有繁杂的工作而这个过程就是 打包。
打包就是将你的源代码进一步封装并且将所有的项目部署工作都事先安排好这样使用者拿到后即装即用不用再操心如何部署的问题如果你不想对照着一堆部署文档手工操作的话。
不管你是在工作中还是业余准备自己写一个可以上传到 PyPI 的项目你都要学会如何打包你的项目。
Python 发展了这么些年了项目打包工具也已经很成熟了。他们都有哪些呢
你可能听过 distutils 、distutils2、setuptools等等好像很熟悉却又很陌生他们都是什么关系呢
2. 包分发的始祖distutils
distutils 是 Python 的一个标准库从命名上很容易看出它是一个分发distribute工具utlis它是 Python 官方开发的一个分发打包工具所有后续的打包工具全部都是基于它进行开发的。
distutils 的精髓在于编写 setup.py它是模块分发与安装的指导文件。
那么如何编写 setup.py 呢我会在后面进行详细的解析。
你有可能没写过 setup.py 但你绝对使用过 setup.py 来做一些事情比如下面这条命令我们经常用它来进行模块的安装。
$ python setup.py install这样的安装方法是通过源码安装与之对应的是通过二进制软件包的安装同样我也会在后面进行介绍。
3. 分发工具升级setuptools
setuptools 是 distutils 增强版不包括在标准库中。其扩展了很多功能能够帮助开发者更好的创建和分发 Python 包。大部分 Python 用户都会使用更先进的 setuptools 模块。
distribute或许你在其他地方也见过它这里也提一下。
distribute 是 setuptools 有一个分支版本分支的原因可能是有一部分开发者认为 setuptools 开发太慢了。但现在distribute 又合并回了 setuptools 中。因此我们可以认为它们是同一个东西。
还有一个大包分发工具是 distutils2其试图尝试充分利用distutilsdetuptools 和 distribute 并成为 Python 标准库中的标准工具。但该计划并没有达到预期的目的且已经是一个废弃的项目。
因此setuptools 是一个优秀的可靠的 Python 包安装与分发工具。
那么如何在一个干净的环境中安装 setuptools 呢
主要有两种方法
源码安装在 https://pypi.org/project/setuptools/#files 中下载 zip 包 解压执行 python setup.py install 安装通过引导程序安装下载引导程序它可以用来下载或者更新最新版本的 setuptools
$ wget http://peak.telecommunity.com/dist/ez_setup.py# 安装
$ python ez_setup.py# 更新以下两种任选
$ python ez_setup.py –U setuptools
$ pip install -U setuptools4. easy_install 使用指南
当你安装完 setuptools 后就拥有了一个叫做 easy_install 的第三方管理工具这也是它区分于 distutils 的一大改进。
这里简单介绍一下它的用法虽然它已经用得非常少了。
先是包的安装
# 通过包名从PyPI寻找最新版本自动下载、编译、安装
$ easy_install pkg_name# 通过包名从指定下载页寻找链接来安装或升级包
$ easy_install -f http://pythonpaste.org/package_index.html # 指定线上的包地址安装
$ easy_install http://example.com/path/to/MyPackage-1.2.3.tgz# 从本地的 .egg 文件安装
$ easy_install xxx.egg# 在安装时你可以添加额外的参数
指定安装目录--install-dirDIR, -d DIR
指定用户安装--user再者是包的升级
# 从 pypi 中搜索并升级包
$ easy_install --upgrade pkg_name# 指定版本进行升级
$ easy_install SomePackage2.0最后是包的删除
$ easy_install -m pkg_name需要注意的是这样的删除仅是在 easy-install.pth 文件中删除使其不能在 python 中使用 这个模块但实际的包还在你的电脑中若要删除彻底需要你手动删除相关的 .egg 及 其他文件。
默认情况下easy_install 只会从 pypi 上下载相关软件包由于这个源在国外下载包的速度并不理想使用过pip的朋友自然会想easy_install 是否能指定源进行安装呢
答案是可以的。
编辑配置文件 /root/.pydistutils.cfg
[easy_install]
index-urlhttp://mirrors.aliyun.com/pypi/simple/
find-linkshttp://mirrors.aliyun.com/pypi/simple/以上仅介绍了 easy_install 的一些常用的方法想要了解更多你可以点击官方文档https://setuptools.readthedocs.io/en/latest/easy_install.html
总结一句setuptools 是官方提供的一个专业用于包分发的工具若只从安装的角度来看它的功能确实简单。它更大的意义是对包的分发很有用定制化程序非常高我们现在也还在用它进行版本包的发布。
5. 源码包与二进制包什么区别
Python 包的分发可以分为两种
1、以源码包的方式发布
源码包安装的过程是先解压再编译最后才安装所以它是跨平台的由于每次安装都要进行编译相对二进包安装方式来说安装速度较慢。
源码包的本质是一个压缩包其常见的格式有
格式后缀zip.zipgztar.tar.gzbztar.tar.bz2ztar.tra.Ztar.tar
2、以二进制包形式发布
二进制包的安装过程省去了编译的过程直接进行解压安装所以安装速度较源码包来说更快。
由于不同平台的编译出来的包无法通用所以在发布时需事先编译好多个平台的包。
二进制包的常见格式有
格式后缀egg.eggwheel.whl
6. eggs 与 wheels 有什么区别
Egg 格式是由 setuptools 在 2004 年引入而 Wheel 格式是由 PEP427 在 2012 年定义。Wheel 的出现是为了替代 Egg它的本质是一个zip包其现在被认为是 Python 的二进制包的标准格式。
以下是 Wheel 和 Egg 的主要区别
Wheel 有一个官方的 PEP427 来定义而 Egg 没有 PEP 定义Wheel 是一种分发格式即打包格式。而 Egg 既是一种分发格式也是一种运行时安装的格式并且是可以被直接 importWheel 文件不会包含 .pyc 文件Wheel 使用和 PEP376 兼容的 .dist-info 目录而 Egg 使用 .egg-info 目录Wheel 有着更丰富的命名规则。Wheel 是有版本的。每个 Wheel 文件都包含 wheel 规范的版本和打包的实现Wheel 在内部被 sysconfig path type 管理因此转向其他格式也更容易
wheel 包可以通过 pip 来安装只不过需要先安装 wheel 模块然后再使用 pip 的命令。
$ pip install wheel
$ pip wheel --wheel-dir/local/wheels pkg7. 超详细讲解 setup.py 的编写
打包分发最关键的一步是编写 setup.py 文件。
以下是一个 setup.py 简单的使用示例
from setuptools import setup, find_packagessetup(# 指定项目名称我们在后期打包时这就是打包的包名称当然打包时的名称可能还会包含下面的版本号哟~namemytest,# 指定版本号version1.0,authorflp,author_emailflepeng163.com,# 这是对当前项目的一个描述description这只是一次测试,# 项目主页urlhttp://iswbm.com/, # 你要安装的包通过 setuptools.find_packages 找到当前目录下有哪些包packagesfind_packages()# 指定包名即你需要打包的包名称要实际在你本地存在哟它会将指定包名下的所有*.py文件进行打包哟但不会递归去拷贝所有的子包内容。# 综上所述我们如果想要把一个包的所有*.py文件进行打包应该在packages列表写下所有包的层级关系哟~这样就开源将指定包路径的所有.py文件进行打包!packages[devops, devops.dev, devops.ops],
)setup 函数常用的参数如下
参数说明name包名称version包版本author程序的作者author_email程序的作者的邮箱地址maintainer维护者maintainer_email维护者的邮箱地址url程序的官网地址license程序的授权信息description程序的简单描述long_description程序的详细描述platforms程序适用的软件平台列表classifiers程序的所属分类列表keywords程序的关键字列表packages需要处理的包目录(通常为包含 init.py 的文件夹)py_modules需要打包的 Python 单文件列表download_url程序的下载地址cmdclass添加自定义命令package_data指定包内需要包含的数据文件include_package_data自动包含包内所有受版本控制(cvs/svn/git)的数据文件exclude_package_data当 include_package_data 为 True 时该选项用于排除部分文件data_files打包时需要打包的数据文件如图片配置文件等ext_modules指定扩展模块scripts指定可执行脚本,安装时脚本会被安装到系统 PATH 路径下package_dir指定哪些目录下的文件被映射到哪个源码包entry_points动态发现服务和插件下面详细讲python_requires指定运行时需要的Python版本requires指定依赖的其他包provides指定可以为哪些模块提供依赖install_requiresextras_require当前包的高级/额外特性需要依赖的分发包tests_require在测试时需要使用的依赖包setup_requires指定运行 setup.py 文件本身所依赖的包dependency_links指定依赖包的下载地址zip_safe不压缩包而是以目录的形式安装
更多参数可见https://setuptools.readthedocs.io/en/latest/setuptools.html
接下来我将慢慢扩充这个setup函数增加更多的参数以便你能理解setup函数能做哪些事情。
程序分类信息
classifiers 参数说明包的分类信息。所有支持的分类列表见https://pypi.org/pypi?%3Aactionlist_classifiers
示例
from setuptools import setup, find_packagessetup(classifiers [# 发展时期,常见的如下# 3 - Alpha# 4 - Beta# 5 - Production/StableDevelopment Status :: 3 - Alpha,# 开发的目标用户Intended Audience :: Developers,# 属于什么类型Topic :: Software Development :: Build Tools,# 许可证信息License :: OSI Approved :: MIT License,# 目标 Python 版本Programming Language :: Python :: 2,Programming Language :: Python :: 2.7,Programming Language :: Python :: 3,Programming Language :: Python :: 3.3,Programming Language :: Python :: 3.4,Programming Language :: Python :: 3.5,]
)关于文件的分发
from setuptools import setup, find_packagessetup(namemytest,version1.0,authorwangbm,author_emailwongbingming163.com,descriptionLearn to Pack Python Module,urlhttp://iswbm.com/, packagesfind_packages(),# 安装过程中需要安装的静态文件如配置文件、service文件、图片等data_files[(, [conf/*.conf]),(/usr/lib/systemd/system/, [bin/*.service]),],# 希望被打包的文件package_data{:[*.txt],bandwidth_reporter:[*.txt]},# 不打包某些文件exclude_package_data{bandwidth_reporter:[*.txt]}
)除了以上的参数配置之外还可以使用一个叫做 MANIFEST.in 的文件来控制文件的分发。
如下这是一个 MANIFEST.in 的样例
include *.txt
recursive-include examples *.txt *.py
prune examples/sample?/build这些配置规定了如下几点
所有根目录下的以 txt 为后缀名的文件都会分发根目录下的 examples 目录 和 txt、py文件都会分发路径匹配上 examples/sample?/build 不会分发
MANIFEST.in 需要放在和 setup.py 同级的顶级目录下setuptools 会自动读取该文件。
关于依赖包下载安装
from setuptools import setup, find_packagessetup(...# 表明当前模块依赖哪些包若环境中没有则会从pypi中下载安装install_requires[docutils0.3],# setup.py 本身要依赖的包这通常是为一些setuptools的插件准备的配置# 这里列出的包不会自动安装。setup_requires[pbr],# 仅在测试时需要使用的依赖在正常发布的代码中是没有用的。# 在执行python setup.py test时可以自动安装这三个库确保测试的正常运行。tests_require[pytest3.3.1,pytest-cov2.5.1,],# 用于安装setup_requires或tests_require里的软件包# 这些信息会写入egg的 metadata 信息中dependency_links[http://example2.com/p/foobar-1.0.tar.gz,],# install_requires 在安装模块时会自动安装依赖包# 而 extras_require 不会这里仅表示该模块会依赖这些包# 但是这些包通常不会使用到只有当你深度使用模块时才会用到这里需要你手动安装extras_require{PDF: [ReportLab1.2, RXP],reST: [docutils0.3],}
)关于 install_requires 有以下五种常用的表示方法
argparse只包含包名。 这种形式只检查包的存在性不检查版本。 方便但不利于控制风险。setuptools38.2.4指定版本。 这种形式把风险降到了最低确保了开发、测试与部署的版本一致不会出现意外。 缺点是不利于更新每次更新都需要改动代码。docutils 0.3这是比较常用的形式。 当对某个库比较信任时这种形式可以自动保持版本为最新。Django 1.11, ! 1.11.1, 2这是比较复杂的形式。 如这个例子保证了Django的大版本在1.11和2之间也即1.11.x并且排除了已知有问题的版本1.11.1仅举例。 对于一些大型、复杂的库这种形式是最合适的。requests[security, socks] 2.18.4这是包含了额外的可选依赖的形式。 正常安装requests会自动安装它的install_requires中指定的依赖而不会安装security和socks这两组依赖。 这两组依赖是定义在它的extras_require中。 这种形式用在深度使用某些库时。
关于安装环境的限制
有些库并不是在所有的 Python 版本中都适用的若一个库安装在一个未兼容的 Python 环境中理论上不应该在使用时才报错而应该在安装过程就使其失败提示禁止安装。
这样的功能可以使用 python_requires 来实现。
setup(...python_requires2.7, 3,
)生成可执行文件的分发
from setuptools import setup, find_packagessetup(namemytest,version1.0,authorwangbm,author_emailwongbingming163.com,descriptionLearn to Pack Python Module,urlhttp://iswbm.com/, packagesfind_packages(),# 用来支持自动生成脚本安装后会自动生成 /usr/bin/foo 的可执行文件# 该文件入口指向 foo/main.py 的main 函数entry_points{console_scripts: [foo foo.main:main]},# 将 bin/foo.sh 和 bar.py 脚本生成到系统 PATH中# 执行 python setup.py install 后# 会生成 如 /usr/bin/foo.sh 和 如 /usr/bin/bar.pyscripts[bin/foo.sh, bar.py]
)上面的 scripts 里有的脚本中有 sh 和 py 后缀那么安装后setuptools 会原封不动的移动到 /usr/bin 中并添加可执行权限。
若你想对这些文件再作一些更改比如去掉多余的后缀可以这样做
from setuptools.command.install_scripts import install_scriptsclass InstallScripts(install_scripts):def run(self):setuptools.command.install_scripts.install_scripts.run(self)# Rename some script filesfor script in self.get_outputs():if basename.endswith(.py) or basename.endswith(.sh):dest script[:-3]else:continueprint(moving %s to %s % (script, dest))shutil.move(script, dest)setup(...scripts[bin/foo.sh, bar.py],cmdclass{install_scripts: InstallScripts}
)ext_modules
ext_modules 参数用于构建 C 和 C 扩展扩展包。其是 Extension 实例的列表每一个 Extension 实例描述了一个独立的扩展模块扩展模块可以设置扩展包名头文件、源文件、链接库及其路径、宏定义和编辑参数等。如
setup(# other arguments here...ext_modules[Extension(foo,glob(path.join(here, src, *.c)),libraries [ rt ],include_dirs[numpy.get_include()])]
)详细了解可参考https://docs.python.org/3.6/distutils/setupscript.html#preprocessor-options
指定release
setup.py 里只能指定 version而不能指定 release如果你需要变更版本号可以使用 --release 参数进行指定
python setup.py bdist_rpm --release202006178. 打包辅助神器PBR 是什么
pbr 是 setuptools 的辅助工具最初是为 OpenStack 开发(https://launchpad.net/pbr)基于d2to1。
pbr 会读取和过滤setup.cfg中的数据然后将解析后的数据提供给 setup.py 作为参数。包含如下功能
从git中获取Version、AUTHORS and ChangeLog信息Sphinx Autodoc。pbr 会扫描project找到所有模块生成stub filesRequirements。pbr会读取requirements.txt生成setup函数需要的install_requires/tests_require/dependency_links
这里需要注意在 requirements.txt 文件的头部可以使用--index https://pypi.python.org/simple/这一行把一个抽象的依赖声明如 requests1.2.0 转变为一个具体的依赖声明 requests 1.2.0 from pypi.python.org/simple/
long_description。从README.rst, README.txt or README file中生成long_description参数
使用pbr很简单
from setuptools import setupsetup(setup_requires[pbr],pbrTrue,
)使用pbr时setup.cfg中有一些配置。在[files]中有三个key packages:指定需要包含的包行为类似于setuptools.find_packages namespace_packages:指定namespace packages data_files: 指定目的目录和源文件路径一个示例
[files]
data_files etc/pbr etc/pbr/*etc/neutron etc/api-paste.inietc/dhcp-agent.inietc/init.d neutron.init[entry_points] 段跟 setuptools 的方式相同。
到此我讲了三种编写使用 setup.py 的方法
使用命令行参数指定一个一个将参数传递进去极不推荐在 setup.py 中的setup函数中指定推荐使用使用 pbr 在 setup.cfg 中指定易于管理更推荐
9. 如何使用 setup.py 构建包
0、查看setup.py工具的帮助信息
python setup.py --help-commandsStandard commands:build build everything needed to installbuild_py build pure Python modules (copy to build directory)build_ext build C/C extensions (compile/link to build directory)build_clib build C/C libraries used by Python extensionsbuild_scripts build scripts (copy and fixup #! line)clean clean up temporary files from build commandinstall install everything from build directoryinstall_lib install all Python modules (extensions and pure Python)install_headers install C/C header filesinstall_scripts install scripts (Python or otherwise)install_data install data filessdist create a source distribution (tarball, zip file, etc.)register register the distribution with the Python package indexbdist create a built (binary) distributionbdist_dumb create a dumb built distributionbdist_rpm create an RPM distributionbdist_wininst create an executable installer for MS Windowscheck perform some checks on the packageupload upload binary package to PyPIExtra commands:bdist_wheel create a wheel distributionalias define a shortcut to invoke one or more commandsbdist_egg create an egg distributiondevelop install package in development modedist_info create a .dist-info directoryeasy_install Find/get/install Python packagesegg_info create a distributions .egg-info directoryinstall_egg_info Install an .egg-info directory for the packagerotate delete older distributions, keeping N newest filessaveopts save supplied options to setup.cfg or other config filesetopt set an option in setup.cfg or another config filetest run unit tests after in-place build (deprecated)upload_docs Upload documentation to sites other than PyPi such as devpiptr run unit tests after in-place build (deprecated)pytest run unit tests after in-place build (deprecated)isort Run isort on modules registered in setuptoolsflake8 Run Flake8 on modules registered in setup.pyusage: setup.py [global_opts] cmd1 [cmd1_opts] [cmd2 [cmd2_opts] ...]or: setup.py --help [cmd1 cmd2 ...]or: setup.py --help-commandsor: setup.py cmd --help
1、构建源码发布包。
用于发布一个 Python 模块或项目将源码打包成 tar.gz 用于 Linux 环境中或者 zip 压缩包用于 Windows 环境中
$ python setup.py sdist那这种包如何安装呢,答案是使用 easy_install 工具。
$ easy_install xxx.tar.gz使用 sdist 将根据当前平台创建默认格式的存档。在类 Unix 平台上将创建后缀后为 .tar.gz 的 gzip 压缩的tar文件分发包而在Windows上为 ZIP 文件。
当然你也可以通过指定你要的发布包格式来打破这个默认行为
$ python setup.py sdist --formatsgztar,zip你可以指定的格式有哪些呢
创建一个压缩的tarball和一个zip文件。可用格式为
格式描述zip压缩档gztargzip 压缩的tar 文件bztarbzip2格式的tar 文件xztarxz 的tar 文件ztar压缩的tar文件tartar文件
对以上的格式有几点需要注意一下
在版本3.5中才添加了对 xztar 格式的支持zip 格式需要你事先已安装相应的模块zip程序或zipfile模块已成为Python的标准库ztar 格式正在弃用请尽量不要使用
另外如果您希望归档文件的所有文件归root拥有可以这样指定
python setup.py sdist --ownerroot --grouproot2、构建二进制分发包。
在windows中我们习惯了双击 exe 进行软件的安装Python 模块的安装也同样支持 打包成 exe 这样的二进制软件包。
$ python setup.py bdist_wininst # 创建*.exe的文件
$ python setup.py bdist_msi # 创建*.msi的文件
$ python setup.py bdist --formatmsi # 同样是创建*.msi的文件而在 Linux 中大家也习惯了使用 rpm 来安装包对此你可以使用这条命令实现 rpm 包的构建
$ python setup.py bdist_rpm若你喜欢使用 easy_install 或者 pip 来安装离线包。你可以将其打包成 egg 包
$ python setup.py bdist_egg若你的项目需要安装多个平台下既有 Windows 也有 Linux按照上面的方法多种格式我们要执行多次命令为了方便你可以一步到位执行如下这条命令即可生成多个格式的进制
$ python setup.py bdist3、打包whl和egg格式
修改setup.py文件
# from distutils.core import setup
from setuptools import setup # 注意哈setuptools是基于distutils进行封装的但打wheel包时要从setuptools包导入setup模块哟~setup(# 指定项目名称我们在后期打包时这就是打包的包名称当然打包时的名称可能还会包含下面的版本号哟~namedevops,# 指定版本号version0.1.1,# 这是对当前项目的一个描述descriptionPython automatic operation and maintenance platform,# 作者是谁指的是此项目开发的人这里就写你自己的名字即可authoryinzhengjie,# 作者的邮箱author_emaily1053419035qq.com,# 写上项目的地址比如你开源的地址开源写博客地址也开源写GitHub地址自定义的官网地址等等。urlhttps://www.cnblogs.com/yinzhengjie/p/14124623.html,# 指定包名即你需要打包的包名称要实际在你本地存在哟它会将指定包名下的所有*.py文件进行打包哟但不会递归去拷贝所有的子包内容。# 综上所述我们如果想要把一个包的所有*.py文件进行打包应该在packages列表写下所有包的层级关系哟~这样就开源将指定包路径的所有.py文件进行打包!packages[devops, devops.dev, devops.ops],
)运行命令
pip install wheel
python setup.py bdist_egg # 打*.egg的包
python setup.py bdist_wheel # 打*.whl的包10. 如何使用 setup.py 安装包
正常情况下我们都是通过以上构建的源码包或者二进制包进行模块的安装。
但在编写 setup.py 的过程中可能不能一步到位需要多次调试这时候如何测试自己写的 setup.py 文件是可用的呢
这时候你可以使用这条命令它会将你的模块安装至系统全局环境中
$ python setup.py install如若你的项目还处于开发阶段频繁的安装模块也是一个麻烦事。
这时候你可以使用这条命令安装该方法不会真正的安装包而是在系统环境中创建一个软链接指向包实际所在目录。这边在修改包之后不用再安装就能生效便于调试。
$ python setup.py develop11. 如何发布包到 PyPi
通过上面的学习你一定已经学会了如何打包自己的项目若你觉得自己开发的模块非常不错想要 share 给其他人使用你可以将其上传到 PyPi Python Package Index上它是 Python 官方维护的第三方包仓库用于统一存储和管理开发者发布的 Python 包。
如果要发布自己的包需要先到 pypi 上注册账号。然后创建 ~/.pypirc 文件此文件中配置 PyPI 访问地址和账号。如的.pypirc文件内容请根据自己的账号来修改。
典型的 .pypirc 文件
[distutils]
index-servers pypi[pypi]
username:xxx
password:xxx然后使用这条命令进行信息注册完成后你可以在 PyPi 上看到项目信息。
$ python setup.py register注册完了后你还要上传源码包别人才使用下载安装
$ python setup.py upload或者也可以使用 twine 工具注册上传它是一个专门用于与 pypi 进行交互的工具详情可以参考官网https://www.ctolib.com/twine.html这里不详细讲了。
参考文章
http://blog.konghy.cn/2018/04/29/setup-dot-py/https://note.qidong.name/2018/01/python-setup-requires/https://blog.konghy.cn/2018/04/29/setup-dot-py/https://zhuanlan.zhihu.com/p/276461821?utm_oi948852089393336320
