salt运行时遇到的常见的问题

salt  master常见的故障分析方法

RUNNING IN THE FOREGROUND

运行salt-master -l debug或者在前台运行，不使用-d选项

---

WHAT PORTS DOES THE MASTER NEED OPEN?

检查运行的端口是否正常

默认是tcp的4505和4506，确认这两个端口运行正常，且没有防火墙的限制和selinux限制，其次有没有其他访问控制的限制。

---

TOO MANY OPEN FILES

当minion端连接master端的时候，至少会建立两个TCP链接，当minion端过多的时候会导致一下情况产生：

12:45:29,289 [salt.master    ][INFO    ] Starting Salt worker process 38
Too many open files
sock != -1 (tcp_listener.cpp:335)

检查：ulimit -n
设置方法：
　　创建文件/etc/security/limits.d/99-salt.conf

    root        hard    nofile        4096
    root        soft    nofile        4096

如果系统没有limit.d这个目录，那就添加limit限制文件/etc/security/limits.conf

检查是否设置成功：
　　打开另一个shell使用ulimit -n查看是否修改成功，如果修改不生效可以使用以下办法
　　在/etc/default/salt-master文件中增加limit nofile 4096 4096内容

---

SALT MASTER STOPS RESPONDING

master端安装的ZeroMQ版本小于2.1.11会导致不响应的情况，你可以通过设置一些参数来解决这个问题
# echo 16777216 > /proc/sys/net/core/rmem_max
# echo 16777216 > /proc/sys/net/core/wmem_max
# echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_rmem
# echo "4096 87380 16777216" > /proc/sys/net/ipv4/tcp_wmem

---

LIVE PYTHON DEBUG OUTPUT

在线调试

如果master端响应比较迟钝，可以使用SIGUSR1信号查看当前正在执行那些任务代码
首先确保saltmaster在前台运行：
# salt-master -l debug
# killall -SIGUSR1 salt-master

---

LIVE SALT-MASTER PROFILING

分析salt-master
# killall -SIGUSR2 salt-master
可以实现在线分析，执行上述代码之后将进行分析，并保存到文件中，最后再次发送一遍这样的信号，终止分析。

---

COMMANDS TIME OUT OR DO NOT RETURN OUTPUT

命令执行超时或没有输出返回
默认master端是有一个超时时间的设置，默认是5秒钟，可配置
/etc/salt/master

---

PASSING THE -C OPTION TO SALT RETURNS A PERMISSIONS ERROR

salt master启动的时候可以使用-c指定配置的路径，也可以通过root_dir的配置，配置的内容包含pki_dir, cachedir,sock_dir, log_file, autosign_file, autoreject_file, extension_modules,key_logfile, pidfile这些内容。

---

SALT MASTER DOESN'T RETURN ANYTHING WHILE RUNNING JOBS

当一个jobs需要执行很长时间的时候，这时候saltmaster会达到超时时间后返回到shell，这时候可以使用-t选项覆盖默认的超时时间，超时时间可以在master主配置文件中设置。

---

SALT MASTER AUTH FLOODING

salt master认证洪泛

在大的集群环境下，为了保证master服务器不被大量的认证信息消耗过多资源，这时候你需要合理的配置minion端的认证

recon_default:
    重新连接尝试之间等待的平均秒数。
recon_max:
    重新连接尝试之间等待的最大秒数。
recon_randomize:
    是否进行随机的认证
acceptance_wait_time:
    等待每个身份验证请求回复的秒数。
random_reauth_delay:
    随机化的身份验证
auth_timeout:
    认证的超时时间，不管尝试的次数

---

RUNNING STATE LOCALLY

调试state文件
salt-call -l trace --local state.highstate
-l trace
设置output级别

---

SALT MASTER UMASK

umask文件默认权限值，如果设置不当会导致master访问缓存文件失败，显示权限错误。

----------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------

TROUBLESHOOTING THE SALT MINION

minion端的故障排查

---

RUNNING IN THE FOREGROUND

# salt-minion -l debug

---

WHAT PORTS DOES THE MINION NEED OPEN?

检查端口的运行，需要安装netcat，使用nc命令探测端口
$ nc -v -z salt.master.ip.addr 4505
Connection to salt.master.ip.addr 4505 port [tcp/unknown] succeeded!
$ nc -v -z salt.master.ip.addr 4506
Connection to salt.master.ip.addr 4506 port [tcp/unknown] succeeded!

也可以通过nmap来检查
nmap -sS -q -p 4505-4506 salt.master.ip.addr

在检查与master端口连通性的同时，我们不能忽略有防火墙selinux的影响，这时候我们可以使用tcptraceroute尽量排查
关于tcptraceroute的使用说明：https://linux.die.net/man/1/tcptraceroute

---

USING SALT-CALL

salt-call最初设计是为了运行和调试自有编写的模块，在minion端运行
# salt-call -l debug state.apply

---

LIVE PYTHON DEBUG OUTPUT

# salt-minion -l debug
# killall -SIGUSR1 salt-minion

---

MULTIPROCESSING IN EXECUTION MODULES
暂不了解

---

SALT MINION DOESN'T RETURN ANYTHING WHILE RUNNING JOBS LOCALLY

minion端的任务超时时间设置，可以使用-t设置，也可以配置/etc/salt/minion里面的timeout

---

SALT AND SELINUX
暂不了解

COMMON YAML GOTCHAS
yaml的常见错误，yaml用于序列化sls里面的数据

SPACES VS TABS
在yaml里面不要使用tab，可以在vim里面启动搜索高亮:set hlsearch，使用:set tabstop=2 expandtab将tab去掉

---

INDENTATION

NESTED DICTIONARIES

file.managed里面使用context和default选项：
/etc/http/conf/http.conf:

  file:
    - managed
    - source: salt://apache/http.conf
    - user: root
    - group: root
    - mode: 644
    - template: jinja
    - context:    
        custom_var: "override"
    - defaults:
        custom_var: "default value"
        other_var: 123

context：定义配置文件中的内容变量
defaults：定义变量的默认值

这两个选项可以包含一个字典：
/etc/http/conf/http.conf:

  file:
    - managed
    - source: salt://apache/http.conf
    - user: root
    - group: root
    - mode: 644
    - template: jinja
    - context: {
      custom_var: "override" }
    - defaults: {
      custom_var: "default value",
      other_var: 123 }

下面是一个更具体的例子，它更加清晰的展示了yaml的数据结构：

>>> import yaml
>>> yaml.safe_load('''mystate:
...   file.managed:
...     - context:
...         some: var''')
{'mystate': {'file.managed': [{'context': {'some': 'var'}}]}}
>>> yaml.safe_load('''mystate:
...   file.managed:
...     - context:
...       some: var''')
{'mystate': {'file.managed': [{'some': 'var', 'context': None}]}}

---

TRUE/FALSE, YES/NO, ON/OFF

特殊符号的处理
示例：

- '"false"'
- "'True'"
- "'YES'"
- '"No"'

---

THE '%' SIGN

%对于yaml具有特殊意义

cheese:
  ssh_auth.present:
    - user: tbortels
    - source: salt://ssh_keys/chease.pub
    - config: '%h/.ssh/authorized_keys'

---

TIME EXPRESSIONS

load_yaml示例：

{% load_yaml as wsus_schedule %}

FRI_10:
  time: '"23:00"'
  day: 6 - Every Friday
SAT_10:
  time: '"06:00"'
  day: 7 - Every Saturday
SAT_20:
  time: '"14:00"'
  day: 7 - Every Saturday
SAT_30:
  time: '"22:00"'
  day: 7 - Every Saturday
SUN_10:
  time: '"06:00"'
  day: 1 - Every Sunday
{% endload %}

YAML DOES NOT LIKE "DOUBLE SHORT DECS"

yaml不接受Double Short Decs
一个Double Short Decs的示例

vim:
  pkg.installed
  user.present

正确的写法是这样的，不管有没有参数，都必须被定义：

vim:
  pkg.installed: []
  user.present: []

fred:
  user.present: []
  ssh_auth.present:
    - name: AAAAB3NzaC...
    - user: fred
    - enc: ssh-dss
    - require:
      - user: fred

---

YAML SUPPORT ONLY PLAIN ASCII

YAML仅支持ASCII

可以使用shell命令找到sls文件中的非ASCII字符
find . -name '*.sls' -exec grep --color='auto' -P -n '[^x00-x7F]' {} ;

---

UNDERSCORES STRIPPED IN INTEGER DEFINITIONS

yaml解释数字和下划线时是剥离的

>>> import yaml
>>> yaml.safe_load('2013_05_10')
20130510
>>> yaml.safe_load('"2013_05_10"')
'2013_05_10'

AUTOMATIC DATETIME CONVERSION

略