HowTo, Linux

Python JSON Tool 을 이용한 Readable한 JSON 출력하기.

Python 을 설치하면 JSON Tool 이 포함됩니다. Python JSON Tool 을 이용한  Readable한 JSON 출력이 가능합니다. 즉 쉘 상에서 JSON 포맷을 보기 좋게 볼수 있습니다. 보통은 다음과 같이 출력되서 쉽게 알아보기 힘듭니다.

curl 을 이용한 JSON 출력
Shell
1
2
]$ curl http://api.joind.in
{"events":"http:\/\/api.joind.in\/v2.1\/events","hot-events":"http:\/\/api.joind.in\/v2.1\/events?filter=hot","upcoming-events":"http:\/\/api.joind.in\/v2.1\/events?filter=upcoming","past-events":"http:\/\/api.joind.in\/v2.1\/events?filter=past","open-cfps":"http:\/\/api.joind.in\/v2.1\/events?filter=cfp"}

이를 보기 좋게 출력하는 방법은 다음과 같습니다.

python -mjson.tool 이용
Shell
1
2
3
4
5
6
7
8
]$ curl -s http://api.joind.in | python -mjson.tool
{
    "events": "http://api.joind.in/v2.1/events",
    "hot-events": "http://api.joind.in/v2.1/events?filter=hot",
    "open-cfps": "http://api.joind.in/v2.1/events?filter=cfp",
    "past-events": "http://api.joind.in/v2.1/events?filter=past",
    "upcoming-events": "http://api.joind.in/v2.1/events?filter=upcoming"
}

 

more
HowTo, Linux

쓰레드 묶음으로 처리하기..

처리해야할 태스크가 100여개 있는데, 이것을 3개씩 처리하고 싶은 경우가 있습니다. 이럴때는 쓰레드 생성 함수를 루핑 돌리면서 처리해주면 됩니다. 아래 소스는 Practical threaded programming with Python 를 기반으로 작성되었습니다.

Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
__author__ = "sbhyun"
__date__ = "2015. 11. 21"
 
import Queue
import threading
import urllib2
import time
 
''' 작업 내역 '''
hosts = ["http://yahoo.com", "http://google.com",
         "http://amazon.com", "http://ibm.com", "http://apple.com", ]
 
queue = Queue.Queue()
MAX_THREAD = 3
 
 
class ThreadUrl(threading.Thread):
 
    def __init__(self, queue):
        threading.Thread.__init__(self)
        self.queue = queue
 
    def run(self):
        while True:
            ''' 큐에서 작업내역을 가지고 옴 '''
            host = self.queue.get()
 
            # 여기부터 쓰레드로 처리할 로직을 넣으면 됨.
            url = urllib2.urlopen(host)
            print url.read(1024)
            # 쓰레드 로직 끝
 
            ''' 큐 작업 완료 처리 호출 '''
            self.queue.task_done()
 
 
def beginThread(hosts=None):
    ''' 쓰레드를 만들고 실행하는 function '''
 
    if hosts is None:
        print "hosts variable is empty!"
        return None
 
    ''' 큐에 쓰레드에서 처리할 자료를 넣음'''
    for host in hosts:
        queue.put(host)
 
    ''' MAX_THREAD 값 만큼 Thread 를 생성
    1024 이상을 처리할 수 없다. '''
    for i in range(MAX_THREAD):
        t = ThreadUrl(queue)
        t.setDaemon(True)
        t.start()
 
    queue.join()
 
 
 
def main():
    ''' 기본 아이디어는 처리할 많은 자료를
    MAX_THREAD 에서 정의한 만큼씩만 가지고 와서
    그 수만큼 Thread 를 만들고 처리 하도록 함.
    '''
    sliceHosts = []
 
    try:
        for i in range(MAX_THREAD):
            if hosts:
                ''' pop 함수를 쓰면 리스트에서 값을 가지고
                옴과 동시에 List 에서 값을 지워준다. '''
                result = hosts.pop()
                ''' pop 으로 가지고 온값을 임시 리스트에 넣어준다.
                이 임시변수는 Thread 에게 사용할 데이터이며
                생성할 Thread 개수만큼 값을 갖는다 '''
                sliceHosts.append(result)
    except IndexError:
        pass
 
    ''' Thread 실행 '''
    beginThread(sliceHosts)
 
    ''' 쓰레드가 완료되면 기존 리스트는 삭제처리 '''
    del(sliceHosts)
 
    ''' 아직 처리할 데이터가 리스트에 남았다면
    더 처리할 거냐고 물어본다 '''
    if hosts:
        answer = raw_input(
            "target value remains in the list. Do you continue? (yes/no) ")
        ''' 대답이 yes 면 다시 실행 '''
        if answer == 'yes':
            main()
 
if __name__ == '__main__':
    start = time.time()
    main()
    print "Elapsed Time: %s" % (time.time() - start)

 

more
HowTo, Linux

패키지내에 파일 보기

패키지를 설치하기전에 그 패키지에 어떤 파일들이 들어 있는지를 알고 싶을때가 있습니다. Ubuntu, CentOS 에서 명령어로 모두 가능합니다. Ubuntu 의 경우 Ubuntu 에서는 apt-file 명령어로 간단하게 가능합니다. 설치 설치는 다음과 같이 ‘apt-get’ 명령어로 간단하게 됩니다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
root@ubuntu:~# apt-get install apt-file
패키지 목록을 읽는 중입니다... 완료
의존성 트리를 만드는 중입니다
상태 정보를 읽는 중입니다... 완료
다음 패키지를 더 설치할 것입니다:
  libapt-pkg-perl libconfig-file-perl liblist-moreutils-perl
  libregexp-assemble-perl
다음 새 패키지를 설치할 것입니다:
  apt-file libapt-pkg-perl libconfig-file-perl liblist-moreutils-perl
  libregexp-assemble-perl
0개 업그레이드, 5개 새로 설치, 0개 제거 및 3개 업그레이드 안 함.
253 k바이트 아카이브를 받아야 합니다.
이 작업 후 870 k바이트의 디스크 공간을 더 사용하게 됩니다.
계속 하시겠습니까? [Y/n] y

File 리스트 업데이트 파일 내역들을 업데이트를 다음과 같이 해줍니다.

Shell
1
2
3
4
5
6
7
8
root@ubuntu:~# apt-file update
Downloading complete file http://kr.archive.ubuntu.com/ubuntu/dists/trusty/Contents-amd64.gz
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 28.0M  100 28.0M    0     0  8397k      0  0:00:03  0:00:03 --:--:-- 8396k
Downloading complete file http://kr.archive.ubuntu.com/ubuntu/dists/trusty-updates/Contents-amd64.gz
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed

패키지에 File 리스트 보기 다음과 같이 간단하게 살펴볼 수 있습니다.

Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
root@ubuntu:~# apt-file list ntp
ntp: /etc/apparmor.d/tunables/ntpd
ntp: /etc/apparmor.d/usr.sbin.ntpd
ntp: /etc/apparmor/init/network-interface-security/usr.sbin.ntpd
ntp: /etc/cron.daily/ntp
ntp: /etc/default/ntp
ntp: /etc/dhcp/dhclient-exit-hooks.d/ntp
ntp: /etc/init.d/ntp
ntp: /etc/ntp.conf
ntp: /usr/bin/ntpdc
ntp: /usr/bin/ntpq
ntp: /usr/bin/ntpsweep
ntp: /usr/bin/ntptrace
ntp: /usr/bin/sntp
ntp: /usr/sbin/ntp-keygen
ntp: /usr/sbin/ntp-wait
ntp: /usr/sbin/ntpd
ntp: /usr/sbin/ntptime
ntp: /usr/share/apport/package-hooks/source_ntp.py
ntp: /usr/share/doc/ntp/NEWS.Debian.gz
ntp: /usr/share/doc/ntp/NEWS.gz
ntp: /usr/share/doc/ntp/README.Debian.gz
ntp: /usr/share/doc/ntp/README.refclocks
ntp: /usr/share/doc/ntp/README.versions
ntp: /usr/share/doc/ntp/changelog.Debian.gz
ntp: /usr/share/doc/ntp/copyright
ntp: /usr/share/man/man1/ntpdc.1.gz
ntp: /usr/share/man/man1/ntpq.1.gz
ntp: /usr/share/man/man1/ntpsweep.1.gz
ntp: /usr/share/man/man1/ntptrace.1.gz
ntp: /usr/share/man/man1/sntp.1.gz
ntp: /usr/share/man/man5/ntp.conf.5.gz
ntp: /usr/share/man/man8/ntp-keygen.8.gz
ntp: /usr/share/man/man8/ntp-wait.8.gz
ntp: /usr/share/man/man8/ntpd.8.gz
ntp: /usr/share/man/man8/ntptime.8.gz

CentOS 의 경우 CentOS 에는 repoquery  명령어로 가능합니다. 이는 yum-utils 를 설치하면 있습니다. 설치 yum 명령어로 yum-utils 설치 가능합니다.

yum-utils 설치.
Shell
1
]# yum install yum-utils -y

파일 보기 파일 보기는 […]

more
HowTo, Linux

리모트 스크립트 제작기

DevOps 가 대두되면서 지속적인 배포(Continuous Delivery) 가 핵심으로 떠오르면서 수만은 서버에 한꺼번에 명령어를 내리고 파일을 전송하고 설정파일을 관리하는 소프트웨어가 인기를 끌고 있다. 대표적으로 Chef, Puppet, Saltstack, Ansible 등을 들수 있는데 이들은 지속적인 배포 뿐만 아니라 시스템과 소프트웨어를 통합해 플랫폼으로서 수많은 서버들의 상태를 동일하게 유지시켜준다. 그런데 몇 해전만 해도 이런것들이 부족했던 시절이 있었는데, 이때 내가 다니던 직장에서 수천대의 서버를 관리해야하는 일이였다. 이러한 소프트웨어가 없던 시절에 나는 개인적으로 이와 비슷한 것을 만들어 사용했는데 그때 당시로 돌아가 어떤 생각으로 만들었었는지 개선했는지를 정리해보고자 한다. […]

more
HowTo, Linux

Opensshd 7.0에서 바뀐점

OpenSSHD 7.0 에서 바뀐점이 있습니다. SSH 데몬이 인증을 하는 방법에는 다음과 같이 두가지가 있습니다. 패스워드 인증 – interactive authentication methods 인증키 방식 패스워드 인증 방법을 “interactive authentication methods” 라고 합니다. 그런데, OpenSSHD 7.0 에서는 root 로그인할때에는 더 이상 이 인증 방법을 지원하지 않습니다.  CentOS 7 에서 Opensshd 7.0 이상 패키지를 설치를 해서 root로 로그인을 할려고 보니 패스워드 입력 프롬프트는 나옵니다. 하지만, 맞는 패스워드를 아무리 쳐도 로그인이 안되더군요. 그래서 뭔가 바뀌었나 싶어서 Changelog 를 살펴보니 다음과 같은 문구를 보게 되었습니다.

OpenSSH 7.0 Changelog 일부
Vim
1
2
3
4
5
6
7
8
* The default for the sshd_config(5) PermitRootLogin option has
   changed from "yes" to "prohibit-password".
 
* PermitRootLogin=without-password/prohibit-password now bans all
   interactive authentication methods, allowing only public-key,
   hostbased and GSSAPI authentication (previously it permitted
   keyboard-interactive and password-less authentication if those
   were enabled).

[…]

more
DevOps, Linux

SaltStack 에서 Jinja 사용시 유용한 팁

Salt 는 Jinja Template 을 지원해 Salt 파일 작성시에 프로그래밍이 가능하도록 되어 있습니다.  예를들어 배포판별로 아파치 웹 서버의 패키지 이름이 다른데, Jinja Template 를 이용하면 프로그래밍을 할 수 있습니다.

Jinja Template 를 이용한 프로그래밍.
YAML
1
2
3
4
5
6
7
apache:
  pkg.installed:
    {% if grains.os_family == 'RedHat' %}
    - name: httpd
    {% elif grains.os_family == 'Debian' %}
    - name: apache2
    {% endif %}

Salt 의 grains 을 이용해서 배포판을 가지고 오고 조건식(if statement)를 이용해서 패키지명을 명시해주고 있습니다. 하지만 이렇게하면 Salt 자체의 YAML 문법과 섞여서 읽기가 힘든 부분이 있습니다. 그래서 이를 다음과 같이 개선할 수 있습니다.

조금 개선된 Jinja Template 사용.
YAML
1
2
3
4
5
6
7
8
9
{% if grains.os_family == 'RedHat' %}
{% set name = 'httpd' %}
{% elif grains.os_family == 'Debian' %}
{% set name = 'apache2' %}
{% endif %}
 
apache:
  pkg.installed:
    - name: {{ name }}

조건식을 앞으로 빼고 변수를 이용해서 패키지명을 저장해주고 이 변수를 Salt YAML 문법에 사용하는 것입니다. 앞에 버전보다는 Jinja […]

more
HowTo, Linux

Vim 디렉토리 구조.

Vim 은 Unix/Linux 시스템에서 가장 있기는 편집기(Editor) 입니다. 터미널상에서 다양한 파일들을 편집할 수 있고 다양한 기능을 제공 합니다. 다양한 기능들은 플러그인(Plugin) 들로 제작되어 필요로하는 기능들만 사용할 수 있습니다. 이러한 플러그인들은 Vim 의 디렉토리에 넣기만하면 동작하도록 아주 간편하게 되어 있습니다. 이 문서는 다음의 문서를 직역해서 만들어졌습니다. 이글의 저작권도 원글에 있음을 밝힙니다. Learn Vimscript the Hard Way 기본 레이아웃(Basic Layout) Vim 은 여러파일들로 분리된 플러그인들을 지원합니다.  “~/.vim” 디렉토리 아래에 새성할 수 있는 아주 많은 다른 디렉토리들은 많은 것을 의미합니다. 이제 아주 중요한 […]

more
DevOps, Linux

salt-ssh, 에이전트 없이 SaltStack 사용하기

SaltStack 은 기본적으로 서버/클라이언트 구조를 가집니다. 서버는 중앙집중식으로 Salt-master 라 불리우고 각각의 관리대상이 되는 서버들에는 클라이언트로 Agent 가 설치되는데 이것을 Salt-minion 이라고 부릅니다. 이 둘이 통신을 주고받으면서 작동하게 되는 방식입니다. 하지만, 새로운 서버를 설치했을때에는 Agent 가 없기 때문에 SSH 로 원격 접속이 가능하다고 하더라도 Salt-minion 을 설치하기 전까지 수동으로 사람이 서버를 다루어야 하는 불편함이 존재합니다. 그래서 Saltstack 은 Salt-minion이 없이 SSH를 통해서 Salt 를 실행시킬 수 있도록 모듈을 제작했는데, 그것이 바로 Salt-ssh 입니다. Environment 이 글을 예제는 전부 다음의 환경에서 […]

more