python配置文件INI/TOML/YAML/ENV的区别

python配置文件INI/TOML/YAML/ENV的区别

 

机翻,如有差异,请查看原文地址 https://hackersandslackers.com/simplify-your-python-projects-configuration/

有一天，我们每个人都会死。也许我们会光荣地走出去，过上幸福的生活后盖章。当我们吸取了无法再继续的无用职业的最后一根稻草时，我们中的一些人可能会内心死亡。无论您的死亡是肉体死亡还是精神死亡，都可以肯定有一件事：您的雇主和同事会认为您永远对他们死。

办公文化使奇怪的成语永存，我最喜欢的是永恒的“被公共汽车撞”的陈词滥调。多年来，每家公司都有相当一部分经验丰富的员工，他们积累了宝贵的知识。随着公司发现自己越来越依赖这些贡献者，组织上的谢意开始转向一种偏执狂。没有人会怀疑：“ 如果我们最好的员工被公交车撞到怎么办？

我感谢一个组织的诗意正义，在剥削员工后无奈。也就是说，还有其他原因可确保您编写的代码易于他人阅读和使用。如果计划构建可继续运行的软件，则需要从逻辑上构建应用程序开始。让我们从第一个方框开始：项目配置。

我们可以使用许多文件类型来存储和访问整个项目中的重要变量。诸如ini，YAML或what-have 等文件类型都具有在结构化（或非结构化）层次结构中存储信息的独特方式。根据项目的性质，这些文件结构中的每一个都可以很好地为您服务或妨碍您的工作。我们将研究所有这些选项的优势，以及如何使用其相应的Python库解析这些配置。

认识竞争者

格式化的方法不止一种，但是在现代软件中格式化配置文件的方法甚至更多。我们将介绍一些用于处理项目配置的最常见文件格式（ini，toml，yaml，conf，json，env）和解析它们的Python库。

INI文件

ini文件可能是我们可以使用的最直接的配置文件。ini文件非常适合较小的项目，主要是因为这些文件仅支持1级深的层次结构。ini文件本质上是平面文件，但变量可以属于组。下面的示例演示了具有相同主题的变量如何可以归入一个通用标题，例如_[DATABASE]或[LOGS]_：

config.ini

[APP]
ENVIRONMENT = development
DEBUG = False

[DATABASE]
USERNAME: root
PASSWORD: p@ssw0rd
HOST: 127.0.0.1
PORT: 5432
DB: my_database

[LOGS]
ERRORS: logs/errors.log
INFO: data/info.log

[FILES]
STATIC_FOLDER: static
TEMPLATES_FOLDER: templates

这种结构无疑使人们更容易理解事物，但是这种结构的实用性超出了美学。让我们使用Python的configparser库解析此文件，以了解实际情况。我们首先将test.ini的内容保存到一个名为config的变量中：

config.py

import configparser

config = configparser.ConfigParser()
config.read('~/Desktop/config.ini')

调用read()上的ini文件确实比普通商店的数据更为; 实际上，我们的config变量现在是其自己的唯一数据结构，从而允许我们使用各种方法来读取和写入配置值。尝试跑步print(config)看看自己：

<configparser.ConfigParser object at 0x10e58c390>

存在配置文件只是为了提取值。configparser允许我们以多种方式执行此操作。下面的每一行都返回127.0.0.1：

config.get('DATABASE', 'HOST')
config['DATABASE']['HOST']

对于期望接收特定数据类型的值，configparser有许多类型检查方法来检索我们正在寻找的数据结构中的值。该命令config.getboolean('APP', 'DEBUG')将正确返回布尔值False，而不是一个字符串“ False”，这显然对我们的应用程序有问题。如果将我们的值DEBUG设置为布尔值以外的值，config.getboolean()则会抛出错误。configparser还有许多其他类型检查方法，例如getint()，getfloat()等等。

configparser的功能   并不止于此。我们可以详细介绍该库编写新配置值，检查键是否存在等的能力，但我们不可以。

TOML文件

乍看起来，TOML文件似乎与ini文件共享_某些_语法相似之处，但支持更广泛的数据类型以及值本身之间的关系。TOML文件还迫使我们提前更清楚地了解数据结构，而不是像configparser那样_在_解析_后_确定它们。

在Python中解析TOML文件由一个适当地称为toml的库处理，在我们去那里之前，让我们看看TOML的炒作是什么。

TOML变量类型

TOML文件通过键/值对定义变量，方式与ini文件类似。Ť HESE对被称为_密钥_。但是，与ini文件不同，TOML希望将键的值存储为打算用作键的数据类型。打算解析为字符串的变量_必须_作为值存储在引号中，而布尔值必须存储为原始的true或false值。这消除了我们配置的许多歧义：我们不需要诸如getboolean()TOML文件之类的方法。

TOML文件可以支持令人印象深刻的变量类型目录。TOML支持的一些更令人印象深刻的变量类型包括DateTime，本地时间，数组，float甚至十六进制值：

config.toml

[project]
name: "Faceback"
description: "Powerful AI which renders the back of somebody's head, based on their face."
version: "1.0.0"
updated: 1979-05-27T07:32:00Z
author = "Todd Birchard"

...

TOML文件结构

TOML文件中带括号的部分称为表。密钥可以存在于表的内部或外部，如下面的示例所示。您会注意到，这些并不是TOML文件中仅有的两个元素：

config.toml

# Keys
title = "My TOML Config"


# Tables
[project]
name = "Faceback"
description = "Powerful AI which renders the back of somebody's head, based on their face."
version = "1.0.0"
updated = 1979-05-27T07:32:00Z
author = "Todd Birchard"

[database]
host = "127.0.0.1"
password = "p@ssw0rd"
port = 5432
name = "my_database"
connection_max = 5000
enabled = true


# Nested `tables`
[environments]
  [environments.dev]
  ip = "10.0.0.1"
  dc = "eqdc10"
  [environments.staging]
  ip = "10.0.0.2"
  dc = "eqdc10"
  [environments.production]
  ip = "10.0.0.3"
  dc = "eqdc10"

# Array of Tables
[[testers]]
id = 1
username = "JohnCena"
password = "YouCantSeeMe69"

[[testers]]
id = 3
username = "TheRock"
password = "CantCook123"

如表中所示，TOML支持“嵌套表”的概念，该[environments]表后面带有多个子表。通过使用点符号，我们能够创建表的关联，这意味着它们是同一元素的不同实例。

同样有趣的是概念“表列”，它做什么用发生[[testers]]。双括号中的表会自动添加到数组中，其中数组中的每个项目都是具有相同名称的表。可视化此处发生情况的最佳方法是使用JSON等价物：

{
  "testers": [
    { "id": 1, "username": "JohnCena", "password": "YouCantSeeMe69" },
    { "id": 2, "username": "TheRock", "password": "CantCook123" }
  ]
}

解析TOML

足够使用TOML作为标准，让我们获取数据：

import toml
config = toml.load('/Users/toddbirchard/Desktop/config.toml')
print(config)

加载TOML文件立即返回字典：

{'title': 'My TOML Config',
 'project': {'name': 'Faceback',
  'description': "Powerful AI which renders the back of somebody's head, based on their face.",
  'version': '1.0.0',
  'updated': datetime.datetime(1979, 5, 27, 7, 32, tzinfo=<toml.tz.TomlTz object at 0x107b82390>),
  'author': 'Todd Birchard'},
 'database': {'host': '127.0.0.1',
  'password': 'p@ssw0rd',
  'port': 5432,
  'name': 'my_database',
  'connection_max': 5000,
  'enabled': True},
 'environments': {'dev': {'ip': '10.0.0.1', 'dc': 'eqdc10'},
  'staging': {'ip': '10.0.0.2', 'dc': 'eqdc10'},
  'production': {'ip': '10.0.0.3', 'dc': 'eqdc10'}},
 'testers': [{'id': 1, 'username': 'JohnCena', 'password': 'YouCantSeeMe69'},
  {'id': 1, 'username': 'TheRock', 'password': 'CantCook123'}]}

从config抓取值就像使用任何字典一样容易：

# Retrieving a dictionary
config['project']
config.get('project')

# Retrieving a value
config['project']['author']
config.get('project').get('author')

YAML配置

YAML文件格式已经成为配置的人群首选，大概是因为它们易于阅读。那些熟悉YAML规范的人会告诉您，YAML _远_不是一种优雅的文件格式，但这似乎并没有阻止任何人。

YAML文件利用空格来定义变量层次结构，这似乎引起了许多开发人员的共鸣。查看示例YAML配置可能是什么样的：

config.yaml

appName: appName
logLevel: WARN

AWS:
    Region: us-east-1
    Resources:
      EC2:
        Type: "AWS::EC2::Instance"
        Properties:
          ImageId: "ami-0ff8a91507f77f867"
          InstanceType: t2.micro
          KeyName: testkey
          BlockDeviceMappings:
            -
              DeviceName: /dev/sdm
              Ebs:
                VolumeType: io1
                Iops: 200
                DeleteOnTermination: false
                VolumeSize: 20
      Lambda:
          Type: "AWS::Lambda::Function"
          Properties:
            Handler: "index.handler"
            Role:
              Fn::GetAtt:
                - "LambdaExecutionRole"
                - "Arn"
            Runtime: "python3.7"
            Timeout: 25
            TracingConfig:
              Mode: "Active"

routes:
  admin:
    url: /admin
    template: admin.html
    assets:
        templates: /templates
        static: /static
  dashboard:
    url: /dashboard
    template: dashboard.html
    assets:
        templates: /templates
        static: /static
  account:
    url: /account
    template: account.html
    assets:
        templates: /templates
        static: /static

databases:
  cassandra:
    host: example.cassandra.db
    username: user
    password: password
  redshift:
    jdbcURL: jdbc:redshift://<IP>:<PORT>/file?user=username&password=pass
    tempS3Dir: s3://path/to/redshift/temp/dir/
  redis:
    host: hostname
    port: port-number
    auth: authentication
    db: databaseconfig.yaml

显而易见，YAML配置_易于编写和理解_。上面的YAML文件能够完成我们在TOML文件中看到的相同类型的复杂层次结构。但是，我们不需要显式设置变量数据类型，也不需要花时间来理解诸如表或表****数组之类的概念。可以轻易地辩称，YAML的易用性并不能证明其缺点。不要花太多时间考虑这个问题：我们在这里谈论配置文件。

我认为我们都可以同意的一点是，YAML肯定比JSON配置更胜一筹。这是与JSON文件相同的配置：

config.json

{
   "appName": "appName",
   "logLevel": "WARN",
   "AWS": {
      "Region": "us-east-1",
      "Resources": {
         "EC2": {
            "Type": "AWS::EC2::Instance",
            "Properties": {
               "ImageId": "ami-0ff8a91507f77f867",
               "InstanceType": "t2.micro",
               "KeyName": "testkey",
               "BlockDeviceMappings": [
                  {
                     "DeviceName": "/dev/sdm",
                     "Ebs": {
                        "VolumeType": "io1",
                        "Iops": 200,
                        "DeleteOnTermination": false,
                        "VolumeSize": 20
                     }
                  }
               ]
            }
         },
         "Lambda": {
            "Type": "AWS::Lambda::Function",
            "Properties": {
               "Handler": "index.handler",
               "Role": {
                  "Fn::GetAtt": [
                     "LambdaExecutionRole",
                     "Arn"
                  ]
               },
               "Runtime": "python3.7",
               "Timeout": 25,
               "TracingConfig": {
                  "Mode": "Active"
               }
            }
         }
      }
   },
   "routes": {
      "admin": {
         "url": "/admin",
         "template": "admin.html",
         "assets": {
            "templates": "/templates",
            "static": "/static"
         }
      },
      "dashboard": {
         "url": "/dashboard",
         "template": "dashboard.html",
         "assets": {
            "templates": "/templates",
            "static": "/static"
         }
      },
      "account": {
         "url": "/account",
         "template": "account.html",
         "assets": {
            "templates": "/templates",
            "static": "/static"
         }
      }
   },
   "databases": {
      "cassandra": {
         "host": "example.cassandra.db",
         "username": "user",
         "password": "password"
      },
      "redshift": {
         "jdbcURL": "jdbc:redshift://<IP>:<PORT>/file?user=username&password=pass",
         "tempS3Dir": "s3://path/to/redshift/temp/dir/"
      },
      "redis": {
         "host": "hostname",
         "port": "port-number",
         "auth": "authentication",
         "db": "database"
      }
   }
}

告诉我一个比YAML更喜欢JSON的人，我将向您展示一个受虐狂，否认他们对AWS的供应商锁定。

在Python中解析YAML

我建议使用Python _Confuse_库（一个软件包名称，一定会引起公司信息安全团队的注意）。

Confuse允许我们与YAML文件进行交互，几乎与JSON进行交互，除了.get()在遍历树层次结构结束时指定的例外外，如下所示：

config = confuse.Configuration('MyApp', __name__)

config['AWS']['Lambda']['Runtime'].get()

.get（）可以接受数据类型值，例如_int。_这样做可以确保我们获得的值实际上是我们所期望的模式，这是一个很好的功能。

验证者

Confuse的文档详细介绍了从YAML文件中提取的值的其他验证方法。方法，如as_filename()，as_number()和as_str_seq()基本上做你希望他们到什么。

CLI配置

Confuse还进入了构建CLI的领域，允许我们使用YAML文件来通知可传递给CLI的参数及其潜在值：

config = confuse.Configuration('myapp')
parser = argparse.ArgumentParser()
parser.add_argument('--foo', help='a parameter')
args = parser.parse_args()
config.set_args(args)
print(config['foo'].get())

您可以在这里做很多事情。

.ENV文件

环境变量是一种将敏感信息保持在项目代码库之外的好方法。我们可以用多种不同的方式存储环境变量，最简单的方法是通过命令行：

$ export MY_VARIABLE=AAAAtpl%2Bkvro%2BoQ9wRg77VUEpQv%2F

只要您当前的终端会话处于打开状态，以这种方式存储的变量将一直存在，因此在测试之外对我们没有多大帮助。如果我们要MY_VARIABLE坚持下去，可以将以上export行添加到.bash_profile（或等效文件）中，以确保MY_VARIABLE在系统范围内始终存在。

特定于项目的变量更适合驻留在我们项目目录中的.env文件。为了上帝的爱，请勿将这些文件提交给GITHUB。

假设我们有一个.env文件，其中包含与项目相关的变量，如下所示：

FLASK_ENV=development
FLASK_APP=wsgi.py
COMPRESSOR_DEBUG=True
STATIC_FOLDER=static
TEMPLATES_FOLDER=templates

.env

现在，我们可以使用内置的Python提取这些值os.environ：

config.py

"""App configuration."""
from os import environ


class Config:
    """Set configuration vars from .env file."""

    # General Config
    SECRET_KEY = environ.get('SECRET_KEY')
    FLASK_APP = environ.get('FLASK_APP')
    FLASK_ENV = environ.get('FLASK_ENV')

    # Flask-Assets
    LESS_BIN = environ.get('LESS_BIN')
    ASSETS_DEBUG = environ.get('ASSETS_DEBUG')
    LESS_RUN_IN_DEBUG = environ.get('LESS_RUN_IN_DEBUG')

随便使用您想要的

显然，有很多方法可以在Python中设置环境和项目变量。我们可能会花费一整天的时间来剖析配置文件类型的利弊。这是我们肯定不想过分思考的生活的一个方面。

此外，我需要反思自己的生活。我只写了两千个关于配置文件的利弊的词，在意识到自己的生活毫无意义之前，我宁愿忘记这些词。