Category: DevOps

DevOps

Ansible fingerprint 접속 오류.

서버에 맨 처음 SSH 접속을 시도 하면 다음과 같은 오류가 발생한다.

SSH 처음 접속할때 오류
ZSH
1
2
3
4
(.python) systemv@wlserv1:~/Ansible$ ansible -i host.yml all -m ping
192.168.96.16 | FAILED! => {
    "msg": "Using a SSH password instead of a key is not possible because Host Key checking is enabled and sshpass does not support this.  Please add this host's fingerprint to your known_hosts file to manage this host."
}

이를 해결하기 위해서는 다음과 같이 환경변수를 지정해 주면 된다.

Ansible disable checking SSH host key
ZSH
1
export ANSIBLE_HOST_KEY_CHECKING=False

혹은 ~/.ansible.cfg 파일에 다음과 같이 지정해도 된다.

~/.ansible.cfg
INI
1
2
[defaults]
host_key_checking = False

 

Ansible Inventory 에 대해

Ansible 에서 Inventory 라고 하면 리모트 서버에 정보 리스트를 말한다. 이를 대부분 파일로 저장해서 보관하는데 이를 Inventory file 이라고 부른다.

Inventory: (특정 건물 내의) 물품 목록, … 의 목록을 만들다.

리모트 서버 접속 목록을 Inventory  라고 보면 된다.

INI vs Yaml

Ansible Inventory 파일의 형식은 INI 와 Yaml 형식 두가지를 지원한다. INI 형식은 대략 다음과 같다.

Ansible INI Inventory
INI
1
2
3
4
5
6
7
8
9
10
11
[all]
mail.example.com
 
[webservers]
foo.example.com
bar.example.com
 
[dbservers]
one.example.com
two.example.com
three.example.com

브랏켓(Bracket, ‘[]’) 감싼 것은 서버의 그룹을 말한다. 그리고 그 그룹내에 접속하고자하는 서버들의 정보를 입력해준다. 간단하게 서버의 이름을 입력해주면 된다.

Yaml 형식은 다음과 같다.

Yaml 형식의 Inventory
YAML
1
2
3
4
5
6
7
8
9
10
11
12
13
all:
  hosts:
    mail.example.com:
  children:
    webservers:
      hosts:
        foo.example.com:
        bar.example.com:
    dbservers:
      hosts:
        one.example.com:
        two.example.com:
        three.example.com:

INI 형식과는 조금 색다른 면을 보여준다.  hosts, children 이 보이고 children 아래에 그룹을 정의하고 있다.

뭐가 되었던 인식하기 쉬운것을 선택해서 사용하면 그만이다.

서버명 정규표현

서버명이 숫자 혹은 알파벳순으로 연속적이라면 다음과 같이 사용해 볼 수 있다.

INI
1
2
3
4
5
[webservers]
www[01:50].example.com
 
[databases]
db-[a:f].example.com

 

Inventory 옵션들

서버들이 기본 설정을 그대로 사용하기도 하지만 변경해서 사용하기도 한다. 예를들어, SSH 접속 기본 포트 22이 아닌 다른 것을 사용할 경우나 로그인 사용자가 다를 경우에 이를 인식시켜줘야 하는데 Ansible 은 Inventory 에서 이를 지원한다.

INI 형식에서 다음과 같이 사용할 수 있다.

INI 형식에서 Inventory 옵션들
INI
1
mail.example.com ansible_port=5555 ansible_host=192.0.2.50 ansible_user=mdehaan

Yaml 형식에서는 다음과 같이 사용할 수 있다.

YAML 에서 Inventory 옵션들
YAML
1
2
3
4
5
6
...
  hosts:
    jumper:
      ansible_port: 5555
      ansible_host: 192.0.2.50
      ansible_user=mdehaan

이는 서버마다 적용할 수 있고 전체에 한꺼번에 적용할 수 있는데, 서버전체 적용하기 위해서는 다음과 같이 하면 된다. INI 형식은 다음과 같다.

all variables in Inventory
INI
1
2
3
4
[all:vars]
ansible_port=5555
ansible_user=mdehaan
ansible_ssh_pass=14321

YAML 형식은 다음과 같다.

YAML
1
2
3
4
5
6
7
all:
  hosts:
    mail.example.com:
  vars:
    ansible_port: 5555
    ansible_user: mdehaan
    ansible_pass: 14321

 

salt-ssh 패스워드 입력으로 동작하게 하기

salt-ssh 는 Client 와 통신 및 명령어를 전달하기 위해서 SSH를 이용하는데, 매번 패스워드를 입력하기 보다는 RSA 인증키를 교환함으로써 무인증 로그인을 가능하게 한다. 하지만 가끔은 보안문제로 인해서 무인증 RSA 인증을 사용하지 못하는 상황이 있을 수도 있다. 그래서 매번 실행할때마다 패스워드를 입력하도록 할 수 있다.

먼저 Client 에 관한 리스트는 roster 파일에 기술한다. salt-ssh 는 이 파일에 있는 목록으로 Client 를 호출하고 등록한다. 기본 roster 파일은 Salt root 디렉토리에서 etc/salt/roster 파일이다.

roster 파일 예제.
YAML
1
2
3
4
5
6
localhost:                                                                                                                                                                                                          
  host: 127.0.0.1                                                                                                                                                                                                  
  port: 2222                                                                                                                                                                                                          
  sudo: True                                                                                                                                                                                                        
  user: systemv
  password: 12345

roster 파일의 예제는 위와 같다. 하지만 password 필드도 보안문제로 적어서는 안된다고 할 경우에 salt-ssh 를 사용할때에 패스워드를 입력하다록 하면되는데 다음과 같다.

패스워드 입력
ZSH
1
2
$ salt-ssh --no-host-keys --askpass '*' test.ping
Password:

etc/salt/roster 파일에 등록된 호스트와 계정에 대한 패스워드를 요구한다. 만일, 기본 roster 가 아닌 다른 계정정보를 가지는 roster 파일을 사용할 수도 있다.

roster-file 파일 지정
ZSH
1
$ salt-ssh --no-host-keys --askpass '*' test.ping --roster-file=etc/salt/roster_systemv

 

SaltStack 에서 Jinja 사용시 유용한 팁

Salt 는 Jinja Template 을 지원해 Salt 파일 작성시에 프로그래밍이 가능하도록 되어 있습니다.  예를들어 배포판별로 아파치 웹 서버의 패키지 이름이 다른데, Jinja Template 를 이용하면 프로그래밍을 할 수 있습니다.

Jinja Template 를 이용한 프로그래밍.
YAML
1
2
3
4
5
6
7
apache:
  pkg.installed:
    {% if grains.os_family == 'RedHat' %}
    - name: httpd
    {% elif grains.os_family == 'Debian' %}
    - name: apache2
    {% endif %}

Salt 의 grains 을 이용해서 배포판을 가지고 오고 조건식(if statement)를 이용해서 패키지명을 명시해주고 있습니다.

하지만 이렇게하면 Salt 자체의 YAML 문법과 섞여서 읽기가 힘든 부분이 있습니다. 그래서 이를 다음과 같이 개선할 수 있습니다.

조금 개선된 Jinja Template 사용.
YAML
1
2
3
4
5
6
7
8
9
{% if grains.os_family == 'RedHat' %}
{% set name = 'httpd' %}
{% elif grains.os_family == 'Debian' %}
{% set name = 'apache2' %}
{% endif %}
 
apache:
  pkg.installed:
    - name: {{ name }}

조건식을 앞으로 빼고 변수를 이용해서 패키지명을 저장해주고 이 변수를 Salt YAML 문법에 사용하는 것입니다. 앞에 버전보다는 Jinja 문법과 YAML 이 분리가 되어서 읽기가 매우 편해졌습니다.

또 다른 좀 더 나은 버전으로는 앞의 Jinja 문법을 다음과 같이 간소화할 수 있습니다.

가장 좋은 Jinja Template 사용법.
YAML
1
2
3
4
5
6
7
8
{% set name = {
    'RedHat': 'httpd',
    'Debian': 'apache2',
}.get(grains.os_family) %}
 
apache:
  pkg.installed:
    - name: {{ name }}

출처: Salt Formulas

salt-ssh, 에이전트 없이 SaltStack 사용하기

SaltStack 은 기본적으로 서버/클라이언트 구조를 가집니다. 서버는 중앙집중식으로 Salt-master 라 불리우고 각각의 관리대상이 되는 서버들에는 클라이언트로 Agent 가 설치되는데 이것을 Salt-minion 이라고 부릅니다. 이 둘이 통신을 주고받으면서 작동하게 되는 방식입니다.

하지만, 새로운 서버를 설치했을때에는 Agent 가 없기 때문에 SSH 로 원격 접속이 가능하다고 하더라도 Salt-minion 을 설치하기 전까지 수동으로 사람이 서버를 다루어야 하는 불편함이 존재합니다.

그래서 Saltstack 은 Salt-minion이 없이 SSH를 통해서 Salt 를 실행시킬 수 있도록 모듈을 제작했는데, 그것이 바로 Salt-ssh 입니다.

Environment

이 글을 예제는 전부 다음의 환경에서 작성되었습니다.

  • CentOS 7
  • 64bit
  • epel YUM repository installation

Salt-SSH 를 설치하기 위해서 epel YUM Repository 를 설치했습니다.

Install Salt-SSH

epel YUM repository 를 설치했다면 간단하게 Yum 명령어로 최신의 패키지를 설치할 수 있습니다.

salt-ssh 설치.
Shell
1
yum install salt-ssh

의존성 패키지도 함께 설치가 됩니다.

또다른 설치 방법이 있는데, SaltSack 자체가 Python 으로 제작되었고 라이브러리(Library)이기 때문에 Python 의 패키지 설치 프로그램인 pip 를 이용해서 다음과 같이 설치가 가능합니다.

1
2
3
virtualenv saltenv
source saltenv/bin/activate
(env)$ pip install salt-ssh

위와같이 설치했을 경우에 실행은 항상 python의 가상환경에서 실행을 해줘야 합니다.

Saltfile 작성

salt-ssh 는 master, minion 도 아닌 독자적인 패키지 이기 때문에 자체적인 글로벌한 환경세팅 파일을 가지는데 이것이 바로 Saltfile 입니다. Saltfile 는 salt-ssh 의 전체적인 동작방법과 설정디렉토리등을 정의하며, 이 파일이 존재하는 위치를 기준으로 상대적인 루트(Root)로 인식합니다.

한가지 말씀드리면, 이 파일은 절대적으로 필요하지는 않습니다. salt-ssh 를 실행할때마다 옵션으로 지정해줘도 됩니다.

Saltfile
YAML
1
2
3
4
salt-ssh:
  config_dir: etc/salt
  max_procs: 30
  wipe_ssh: True

roster 작성

이 파일은 접속하고자하는 서버의 정보를 기술한 파일입니다. minion_id, 호스트명(혹은 ip), 로그인을 위한 계정정보 등을 담고 있습니다. 대략 다음과 같습니다.

roster 파일 작성.
YAML
1
2
3
4
node0:
  host: 192.168.96.20
  user: root
  passwd: password

이 파일은 Saltfile 에서 정의한 config_dir 디렉토리에 있어야 합니다.

salt-ssh 는 어떤 시스템 계정에서든 가능합니다. 보통은 Salt 라는 일반 계정을 만들어서 하는 경우가 많은데, salt-ssh 역시 일반 계정으로 가능합니다. 이번 예제도 salt 라는 시스템계정을 만들어서 진행했고 지금까지 파일시스템 레이아웃은 다음과 같습니다.

salt-ssh 파일시스템 레이아웃
ZSH
1
2
3
4
5
6
]$ tree -p
.
|-- [-rw-rw-r--]  Saltfile
`-- [drwxrwxr-x]  etc
    `-- [drwxrwxr-x]  salt
        `-- [-rw-rw-r--]  roster

master 파일 작성

salt-ssh 도 salt-master 와 같이 master 설정파일을 필요로 합니다. 이는 Saltfile 에서 정의해준 디렉토리인 etc/salt 디렉토리에 다음과 같이 만들어 줍니다.

ZSH
1
2
3
4
5
6
7
8
9
10
log_file: var/log/salt/master
log_level_logfile: debug
 
root_dir: .
file_roots:
  base:
    - srv/salt
pillar_roots:
  base:
    - srv/pillar

salt-ssh 실행

다음과 같이 실행해 봅니다.

salt-ssh 실행.
ZSH
1
2
3
4
5
6
[salt@localhost ~]$ salt-ssh node0 test.ping
[WARNING ] Failed to open log file, do you have permission to write to /var/log/salt/master?
salt-ssh could not be run because it could not generate keys.
 
You can probably resolve this by executing this script with increased permissions via sudo or by running as root.
You could also use the '-c' option to supply a configuration directory that you have permissions to read and write to.

로깅을 위한 디렉토리를 만들어 줍니다. 주의할점은 salt 시스템 계정을 루트(root) 디렉토리로해서 만들어 줍니다.

디렉토리 생성하기.
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
[salt@localhost ~]$ mkdir -p var/log/salt
[salt@localhost ~]$ salt-ssh node0 test.ping
node0:
    ----------
    retcode:
        254
    stderr:
    stdout:
        The host key needs to be accepted, to auto accept run salt-ssh with the -i flag:
        The authenticity of host '192.168.96.20 (192.168.96.20)' can't be established.
        ECDSA key fingerprint is eb:a1:bb:7a:15:7c:69:3f:63:ec:e5:67:b1:35:1a:02.
        Are you sure you want to continue connecting (yes/no)?

디렉토리를 만들고 다시 실행을 하면, 뭔가 진행이 됩니다. 메시지를 자세히보면 ‘-i’ 옵션을 사용하라고 나옵니다. ‘-i’ 옵션을 이용해 다시 실행하면 다음과 같은 결과를 보여줍니다.

-i 옵션을 주고 실행.
ZSH
1
2
3
salt@localhost ~]$ salt-ssh node0 test.ping -i
node0:
    True

매우 잘 동작합니다.

salt-ssh 를 위한 SSH Key 배포

salt-ssh 는 기본적으로 ssh 의 rsa 비대칭키를 기반으로 인증을 합니다. 이는 config_dir 디렉토리 안에 pki 디렉토리에 들어 있습니다.

salt-ssh 비대칭키
ZSH
1
2
[salt@localhost ~]$ ls etc/salt/pki/master/ssh/salt-ssh.*
etc/salt/pki/master/ssh/salt-ssh.rsa  etc/salt/pki/master/ssh/salt-ssh.rsa.pub

SSH 의 비대칭키를 이용하면 아이디/패스워드가 필요가 없습니다. salt-ssh 를 통해서 명령어를 실행시킬 권한을 가진 사용자, 대부분 root 나 sudo 권한을 가진 사용자 시스템 계정에 이키를 복사해두면 roster 에 아이디/패스워드를 적어둘 필요가 없습니다. 공개키만 배포하면되는데, 다음과 같이 합니다.

Public Key 배포.
ZSH
1
2
3
4
5
6
7
8
9
[salt@localhost ~]$ ssh-copy-id -i etc/salt/pki/master/ssh/salt-ssh.rsa.pub root@192.168.96.20
/bin/ssh-copy-id: INFO: attempting to log in with the new key(s), to filter out any that are already installed
/bin/ssh-copy-id: INFO: 1 key(s) remain to be installed -- if you are prompted now it is to install the new keys
root@192.168.96.20's password:
 
Number of key(s) added: 1
 
Now try logging into the machine, with:   "ssh 'root@192.168.96.20'"
and check to make sure that only the key(s) you wanted were added.

실제로 ‘192.168.96.20’ 서버에 root 계정에 .ssh 디렉토리를 살펴보면 ‘authorized_keys’ 파일이 생성된걸 볼수 있습니다.

이제 roster 에서 계정정보를 삭제하더라도 salt-ssh 는 잘 동작합니다.

SaltStack 시작하기.

이 글은 SaltStack 시작하기 에 관한 글입니다.

SaltStack 은 자동화 시스템 관리 프로그램입니다. 서버의 설정파일, 패키지 관리, 시스템 명령어등을 한번에 많은 서버에 할 수 있습니다. Chef, Puppet 등과 동일합니다. 단지 이 녀석은 Python 으로 개발이 되었고 역활을 지시하는 sls 파일 문법이 YAML 이며 Jina Template 을 이용해서 sls 에 프로그래밍을 할 수 있습니다.

SaltStack 은 서버와 클라이언트로 모델입니다. 서버역활을 담당하는 SaltStack 을 마스터(Master)라고 하고 클라이언트 역활을 담당하는 SaltStack 을 하녀(Minion)이라고 부릅니다. 마스터의 경우 파일 전송을 할 수 있게 파일서버역활도 같이 합니다.

마스터, 하녀 역활로 나뉘어 있기 때문에 당연히 하녀가 어느 SaltStack 마스터에 지시를 받을것이지 하는 등록절차가 필요합니다.

Master 설치

설치 환경은 CentOS 를 기준으로 합니다. CentOS 의 경우에 Base Repository 에 SaltStack 패키지가 없습니다. 하지만 Epel Repository 를 설치하면 간편하게 Yum 명령어로 설치할 수 있습니다.

salt-master 설치
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
[root@master ~]# yum install salt-master
Dependencies Resolved
 
================================================================================================================================================
Package                                             Arch                   Version                                Repository              Size
================================================================================================================================================
Installing:
salt-master                                         noarch                 2015.5.3-3.el6                         epel                   965 k
Installing for dependencies:
PyYAML                                              x86_64                 3.10-3.1.el6                           base                   157 k
libyaml                                             x86_64                 0.1.3-4.el6_6                          base                    52 k
m2crypto                                            x86_64                 0.20.2-9.el6                           base                   471 k
openpgm                                             x86_64                 5.1.118-3.el6                          epel                   165 k
pciutils                                            x86_64                 3.1.10-4.el6                           base                    85 k
python-babel                                        noarch                 0.9.4-5.1.el6                          base                   1.4 M
python-backports                                    x86_64                 1.0-5.el6                              base                   5.5 k
python-backports-ssl_match_hostname                 noarch                 3.4.0.2-4.el6.centos                   extras                  13 k
python-chardet                                      noarch                 2.2.1-1.el6                            base                   230 k
python-crypto                                       x86_64                 2.0.1-22.el6                           base                   159 k
python-jinja2                                       x86_64                 2.2.1-2.el6_5                          base                   466 k
python-msgpack                                      x86_64                 0.4.6-1.el6                            epel                    69 k
python-requests                                     noarch                 2.6.0-3.el6                            base                    95 k
python-six                                          noarch                 1.9.0-2.el6                            base                    28 k
python-urllib3                                      noarch                 1.10.2-1.el6                           base                   101 k
python-zmq                                          x86_64                 14.3.1-1.el6                           epel                   467 k
salt                                                noarch                 2015.5.3-3.el6                         epel                   4.1 M
yum-utils                                           noarch                 1.1.30-30.el6                          base                   110 k
zeromq3                                             x86_64                 3.2.5-1.el6                            epel                   338 k
 
Transaction Summary
================================================================================================================================================
Install      20 Package(s)
 
Total download size: 9.4 M
Installed size: 34 M
Is this ok [y/N]: y
Downloading Packages:
(1/20): PyYAML-3.10-3.1.el6.x86_64.rpm                                                                                   | 157 kB     00:00
(2/20): libyaml-0.1.3-4.el6_6.x86_64.rpm                                                                                 |  52 kB     00:00
(3/20): m2crypto-0.20.2-9.el6.x86_64.rpm                                                                                 | 471 kB     00:00
(4/20): openpgm-5.1.118-3.el6.x86_64.rpm                                                                                 | 165 kB     00:00
(5/20): pciutils-3.1.10-4.el6.x86_64.rpm                                                                                 |  85 kB     00:00
(6/20): python-babel-0.9.4-5.1.el6.noarch.rpm                                                                            | 1.4 MB     00:04
(7/20): python-backports-1.0-5.el6.x86_64.rpm                                                                            | 5.5 kB     00:00
(8/20): python-backports-ssl_match_hostname-3.4.0.2-4.el6.centos.noarch.rpm                                              |  13 kB     00:00
(9/20): python-chardet-2.2.1-1.el6.noarch.rpm                                                                            | 230 kB     00:01
(10/20): python-crypto-2.0.1-22.el6.x86_64.rpm                                                                           | 159 kB     00:00
(11/20): python-jinja2-2.2.1-2.el6_5.x86_64.rpm                                                                          | 466 kB     00:00
(12/20): python-msgpack-0.4.6-1.el6.x86_64.rpm                                                                           |  69 kB     00:00
(13/20): python-requests-2.6.0-3.el6.noarch.rpm                                                                          |  95 kB     00:00
(14/20): python-six-1.9.0-2.el6.noarch.rpm                                                                               |  28 kB     00:00
(15/20): python-urllib3-1.10.2-1.el6.noarch.rpm                                                                          | 101 kB     00:00
(16/20): python-zmq-14.3.1-1.el6.x86_64.rpm                                                                              | 467 kB     00:00
(17/20): salt-2015.5.3-3.el6.noarch.rpm                                                                                  | 4.1 MB     00:00
(18/20): salt-master-2015.5.3-3.el6.noarch.rpm                                                                           | 965 kB     00:00
(19/20): yum-utils-1.1.30-30.el6.noarch.rpm                                                                              | 110 kB     00:00
(20/20): zeromq3-3.2.5-1.el6.x86_64.rpm                                                                                  | 338 kB     00:00
------------------------------------------------------------------------------------------------------------------------------------------------
Total                                                                                                           789 kB/s | 9.4 MB     00:12

대략 20여개의 의존성 패키지들과 함께 설치됩니다. 앞에서 말했듯이 Salt 는 Python 으로 제작되었기 때문에 Python 관련 패키지가 많이 필요합니다.

Salt 마스터 설정.

설정파일은 /etc/salt/master 입니다. 아주 많은 옵션들이 존재하고 각 옵션마다 자세한 코멘트가 있어 어렵지 않게 필요한 것들을 설정할 수 있습니다.

기본적인 설정은 대략 다음과 같습니다.

/etc/salt/master
INI
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
interface: 0.0.0.0
user: salt
pidfile: /var/run/salt-master.pid
root_dir: /
pki_dir: /etc/salt/pki/master
cachedir: /var/cache/salt/master
timeout: 60
minion_data_cache: True
state_top: top.sls
renderer: yaml_jinja
state_verbose: True
state_output: full
file_roots:
  base:
    - /srv/salt
fileserver_backend:
  - roots
pillar_roots:
  base:
    - /srv/pillar
log_file: /var/log/salt/master
log_level: debug
log_level_logfile: debug

위 설정만으로도 Salt 마스터는 잘 동작합니다.

Salt minion 설치하기

역시 CentOS 환경이고 Epel Repository 를 추가해서 Yum 을 이용해서 설치하면 됩니다.

salt 하녀 설치.
Shell
1
[root@node1 ~]# yum install salt-minion

설치가 완료되면 /etc/salt/minion 파일에 설정을 하면 됩니다.

Salt minion 설정.

설정파일 /etc/salt/minion 을 열어서 다음과 같이 기본적인 설정을 해줍니다.

/etc/salt/minion
INI
1
2
master: 192.168.96.12
id: minion1

id 설정이 중요합니다.

/etc/hosts 파일 설정.

리눅스의 hosts 파일을 마스터와 Minion 양쪽 모두에 설정해 줍니다.

/etc/hosts
INI
1
2
192.168.96.12  master
192.168.96.15  minion

Salt Minion 을 마스터에 등록하기

Salt 마스터는 Minion 을 등록해서 그 리스트를 유지하고 있습니다. Minion 이 마스터에 등록되어 있지 않다면 마스터로부터 그 어떠한 작업 지시를 받을 수 없겠죠. 그래서 새로운 Minion 이 생긴다면 먼저 마스터에 등록을 해줘야 합니다.

등록은 마스터에서 다음과 같이 합니다.

salt-key 리스트
Shell
1
2
3
4
5
6
[root@master salt]# salt-key -L
Accepted Keys:
Denied Keys:
Unaccepted Keys:
minion1
Rejected Keys:

마스터와 minion 간에 통신이 된다면 위와같이 “Unaccepted Keys” 에  아직 등록하지 않은 minion 이 나옵니다.

등록은 다음과 같이 합니다.

등록이 되었다면 minion 과 통신이 잘되는지 다음과 같이 확인해 봅니다.

위와같이 나오면 정상입니다.