4个Python项目管理与构建工具,建议收藏!(4个python项目管理与构建工具,建议收藏的内容)

来源丨网络

Python 历时这么久以来至今还未有一个事实上标准的项目管理及构建工具,以至于造成 Python 项目的结构与构建方式五花八门。这或许是体现了 Python 的自由意志

不像 Java 在经历了最初的手工构建,到半自动化的 Ant, 再到 Maven 基本就是事实上的标准了。其间 Maven 还接受了其他的 Gradle(Android 项目主推), SBT(主要是 Scala 项目), Ant Ivy, Buildr 等的挑战,但都很难撼动 Maven 的江湖地位,而且其他的差不多遵循了 Maven 的目录布局。

回到 Python,产生过 pip, pipenv, conda 那样的包管理工具,但对项目的目录布局没有任何约定。

关于构建很多还是延续了传统的 Makefile 的方式,再就是加上 setup.py 和 build.py 用程序代码来进行安装与构建。关于项目目录布局,有做成项目模板的,然后做成工具来应用项目模板。

下面大概浏览一下四个工具的使用

  1. CookieCutter
  2. PyScaffold
  3. PyBuilder
  4. Poetry

CookieCutter 一个经典的 Python 项目目录结构

$ pip install cookiecutter$ cookiecutter gh:audreyr/cookiecutter-pypackage # 以 github 上的 audreyr/cookiecutter-pypackage 为模板,再回答一堆的问题生成一个 Python 项目......project_name [Python Boilerplate]: sample......

最后由 cookiecutter 生成的项目模板是下面的样子:

$ tree samplesample├── AUTHORS.rst├── CONTRIBUTING.rst├── HISTORY.rst├── LICENSE├── MANIFEST.in├── Makefile├── README.rst├── docs│ ├── Makefile│ ├── authors.rst│ ├── conf.py│ ├── contributing.rst│ ├── history.rst│ ├── index.rst│ ├── installation.rst│ ├── make.bat│ ├── readme.rst│ └── usage.rst├── requirements_dev.txt├── sample│ ├── __init__.py│ ├── cli.py│ └── sample.py├── setup.cfg├── setup.py├── tests│ ├── __init__.py│ └── test_sample.py└── tox.ini3 directories, 26 files

这大概是当前比较流行的目录结构的主体框架,主要元素是:

$ tree samplesample├── Makefile├── README.rst├── docs│ └── index.rst├── requirements.txt├── sample│ ├── __init__.py│ └── sample.py├── setup.cfg├── setup.py└── tests ├── __init__.py └── test_sample.py

项目 sample 目录中重复 sample 目录中放置 Python 源文件,tests 目录中是测试文件,再加一个 docs 目录放文档,README.rst, 其他的用于构建的 setup, setup.cfg 和 Makefile 文件。

这其实是一个很经典的 Python 项目结构,接下来的构建就用 make 命令了,输入 make 会看到定义在 Makefile 文件中的指令

$ makeclean remove all build, test, coverage and Python artifactsclean-build remove build artifactsclean-pyc remove Python file artifactsclean-test remove test and coverage artifactslint check styletest run tests quickly with the default Pythontest-all run tests on every Python version with toxcoverage check code coverage quickly with the default Pythondocs generate Sphinx HTML documentation, including API docsservedocs compile the docs watching for changesrelease package and upload a releasedist builds source and wheel packageinstall install the package to the active Python's site-packages

为使用上面的构建过程,需要安装相应的包,如 tox, wheel, coverage, sphinx, flake8, 它们都可以通过 pip 来安装。之后就可以 make test, make coverage, make docsmake dist 等。其中 make docs 可以生成一个很漂亮的 Web 文档。

PyScaffold 创建一个项目

PyScaffold 顾名思义,它是一个用来创建 Python 项目脚手架的工具,安装和使用:

$ pip install pyscaffold$ putup sample

这样创建了一个 Python 项目,目录结构与前面 cookiecutter 所选的模板差不多,只不过它把源文件放在了 src 目录,而非 sample 目录。

$ tree samplesample├── AUTHORS.rst├── CHANGELOG.rst├── CONTRIBUTING.rst├── LICENSE.txt├── README.rst├── docs│ ├── Makefile│ ├── _static│ ├── authors.rst│ ├── changelog.rst│ ├── conf.py│ ├── contributing.rst│ ├── index.rst│ ├── license.rst│ ├── readme.rst│ └── requirements.txt├── pyproject.toml├── setup.cfg├── setup.py├── src│ └── sample│ ├── __init__.py│ └── skeleton.py├── tests│ ├── conftest.py│ └── test_skeleton.py└── tox.ini

整个项目的构建就要用 tox 这个工具了。tox 是一个自动化测试和构建工具,它在构建过程中可创建 Python 虚拟环境,这让测试和构建能有一个干净的环境。

tox -av 能显示出定义在 tox.ini 中所有的任务:

$ tox -avdefault environments:default -> Invoke pytest to run automated testsadditional environments:build -> Build the package in isolation according to PEP517, see https://github.com/pypa/buildclean -> Remove old distribution files and temporary build artifacts (./build and ./dist)docs -> Invoke sphinx-build to build the docsdoctests -> Invoke sphinx-build to run doctestslinkcheck -> Check for broken links in the documentationpublish -> Publish the package you have been developing to a package index server. By default, it uses testpypi. If you really want to publish your package to be publicly accessible in PyPI, use the `-- --repository pypi` option.

要执行哪个命令便用 tox -e build, tox -e docs

在我体验 tox 命令过程中,每一步好像都比较慢,应该是创建虚拟机要花些时间。

PyBuilder

最好再看另一个构建工具 PyBuilder, 它所创建出的目录结构很接近于 Maven, 下面来瞧瞧

$ pip install pybuilder$ mkdir sample && cd sample # 项目目录需手工创建$ pyb --start-project # 回答一些问题后创建所需的目录和文件

完后看下它的目录结构:

$ tree sample.├── build.py├── docs├── pyproject.toml├── setup.py└── src ├── main │ ├── python │ └── scripts └── unittest └── python

构建过程仍然是用 pyb 命令,可用 pyb -h 查看帮助,pyb -t 列出所有的任务, PyBuilder 的任务是以插件的方式加入的,插件配置在 build.py 文件中。

$ pyb -t sampleTasks found for project "sample": analyze - Execute analysis plugins. depends on tasks: prepare run_unit_tests clean - Cleans the generated output. compile_sources - Compiles source files that need compilation. depends on tasks: prepare coverage - <no description available> depends on tasks: verify install - Installs the published project. depends on tasks: package publish(optional) package - Packages the application. Package a python application. depends on tasks: compile_sources run_unit_tests(optional) prepare - Prepares the project for building. Creates target VEnvs print_module_path - Print the module path. print_scripts_path - Print the script path. publish - Publishes the project. depends on tasks: package verify(optional) coverage(optional) run_integration_tests - Runs integration tests on the packaged application. depends on tasks: package run_unit_tests - Runs all unit tests. Runs unit tests based on Python's unittest module depends on tasks: compile_sources upload - Upload a project to PyPi. verify - Verifies the project and possibly integration tests. depends on tasks: run_integration_tests(optional)$ pyb run_unit_tests sample

PyBuilder 也是在构建或测试之前创建虚拟环境, 从 0.12.9 版开始可通过参数 –no-venvs 跳过创建虚拟环境这一步。使用了 –no-venvs 的话 Python 代码将会在运行 pyb 的当前 Python 环境中执行,所需的依赖将要手工安装。

项目的依赖也要定义在 build.py 文件中

@initdef set_properties(project): project.depends_on('boto3', '>=1.18.52') project.build_depends_on('mock')

随后在执行 pyb 创建虚拟环境时就会安装上面的依赖,并在其中运行测试与构建。

Poetry

最后一个 Poetry, 感觉这是一个更为成熟,项目活跃度也更高的 Python 构建,它有着更强大的信赖管理功能,用 poetry add boto3 就能添加依赖,poetry show –tree 显示出依赖树。看下如何安装及创建一个项目

$ pip install poetry$ poetry new sample

它创建的项目比上面都简单

$ tree samplesample├── README.rst├── pyproject.toml├── sample│ └── __init__.py└── tests ├── __init__.py └── test_sample.py

如果给 poetry new 带上 –src 参数,那么源文件目录 sample 会放在 src 目录下,即 sample/src/sample.

poetry init 会在当前目录中生成 pyproject.toml 文件,目录等的生成需手动完成。

它不关注文档的生成,代码规范的检查,代码覆盖率都没有。它的项目配置更集中,全部在 pyproject.toml 文件中,toml 是什么呢?它是一种配置文件的格式 Tom's Obvious, Minimal Language (https://github.com/toml-lang/toml).

pyproject.toml 有些类似 NodeJSpackage.json 文件,比如 poetry add, poetry install 命令的行

# 往 pyproject.toml 中添加对 boto3 的依赖并安装(add 还能从本地或 git 来安装依赖 ),poetry add boto3 # 将依照 pyproject.toml 文件中定义安装相应的依赖到当前的 Python 虚拟环境中 # 比如在 <test-venv>/lib/python3.9/site-packages 目录中,安装好模块后也可让测试用例使用poetry install

其他主要的

1. poetry build # 构建可安装的 *.whl 和 tar.gz 文件2. poetry shell # 会根据定义在 pyproject.toml 文件中的依赖创建并使用虚拟环境3. poetry run pytest # 运行使用 pytest 的测试用例,如 tests/test_sample.py4. poetry run python -m unittest tests/sample_tests.py # 运行 unittest 测试用例5. poetry export --without-hashes --output requirements.txt # 导出 requirements.txt 文件, --dev 导出含 dev 的依赖,或者用 poetry export --without-hashes > requirements.txt

poetry run 能执行任何系统命令,只是它会在它要的虚拟环境中执行。所以可以想见,poetry 的项目要生成文档或覆盖率都必须用 poetry run … 命令来支持 sphinx, coverageflake8

在 sample 目录(与 pyproject.toml 文件平级)中创建文件 my_module.py, 内容为

def main(): print('hello poetry')

然后在 pyproject.toml 中写上

[tool.poetry.scripts]my-script="sample.my_module:main"

再执行

$ poetry run my-script

就会输出 "hello poetry"。

通过对以上四个工具的认识,项目结构的复杂度由 cookiecutter-pyproject -> PyScaffold -> PyBuilder -> Poetry 依次降低,使用的难度大略也是相同的顺序

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至 举报,一经查实,本站将立刻删除。

(0)
上一篇 2023年7月28日 上午9:25
下一篇 2023年7月28日 上午9:35

相关推荐

  • 如何制定项目计划,控制项目进度?(如何有效的进行项目进度计划的控制)

    好的计划是成功的一半,任何事情,要取得成功,离不开一个科学合理的计划。 好的计划关键在于制定的计划要科学合理。 1、不要为了计划而计划。 项目计划的制定主要用于指导项目工作开展,不…

    2022年5月25日
    291
  • 对工程项目管理的建议

    工程项目管理是一个复杂而重要的领域,涉及到计划、组织、协调和控制等多个方面。对于工程项目管理者来说,以下是一些建议可以帮助他们更好地管理项目: 1. 确定项目目标和范围:在开始项目…

    科研百科 2024年8月28日
    31
  • 成功GTD时间管理——功能强大好用的办公类软件(GTD时间管理软件)

    成功GTD时间管理是一款功能强大好用的办公类软件,软件可帮助用户对自己的时间进行安排管理,帮助用户进行事务的安排。可对事务的轻重缓急进行分类,让用户能够轻松高效的完成自己的工作。软…

    科研百科 2022年7月17日
    365
  • 项目管理需求 系统

    项目管理需求系统 随着现代项目管理水平的提升,越来越多的公司开始重视项目管理的需求系统。一个高效的项目管理需求系统可以帮助企业更好地管理项目需求,提高项目质量,降低项目风险。本文将…

    科研百科 2024年7月25日
    54
  • jsp项目管理系统设计

    jsp项目管理系统设计 随着现代信息技术的不断发展,企业项目的管理已经成为了一个非常重要的领域。传统的项目管理方式已经无法满足现代企业的需要,因此,一种基于信息技术的项目管理方式已…

    科研百科 2024年12月23日
    0
  • 项目进度和质量控制节点计划表

    项目进度和质量控制节点计划表 在项目执行过程中,进度和质量控制是确保项目成功完成的关键要素。一份好的项目进度和质量控制节点计划表可以帮助项目团队更好地掌握项目进度,控制质量,并及时…

    科研百科 2024年8月21日
    41
  • 财政部、科技部印发《国家重点研发计划资金管理办法》(国家重点研发经费管理办法)

    来源:人民网 人民网北京10月9日电 (记者王震)据财政部网站消息,为规范国家重点研发计划资金管理和使用,提高资金使用效益,近日,财政部、科技部联合印发《国家重点研发计划资金管理办…

    科研百科 2022年6月10日
    448
  • 项目管理项目进度

    项目管理项目进度 项目管理是一个重要的概念,可以帮助组织实现其目标。在项目管理中,项目进度是非常重要的一项任务,因为它直接影响项目的完成时间和成本。一个合理的项目进度可以帮助项目团…

    科研百科 2024年7月15日
    32
  • 党建评:坚决杜绝口号式、表态式、包装式落实

    来源:人民网-观点频道 原创稿 业绩都是干出来的,真干才能真出业绩、出真业绩。“面对新形势新任务,党员干部一定要真抓实干,务实功、出实招、求实效,善作善成,坚决杜绝口号式、表态式、…

    科研百科 2023年11月12日
    191
  • 七彩党建品牌解读方案

    七彩党建品牌解读方案 七彩党建品牌是中国共产党在新时代背景下推出的一个全新的党建品牌,旨在通过整合七彩党建的元素和内涵,打造具有中国特色和时代特征的党建品牌。该品牌的解读方案如下:…

    科研百科 2024年10月28日
    0