HowTo

Nginx 설정.

이 문서는 Nginx  설정에 대한 문서 입니다. 계속적으로 업데이트가 됩니다. 요청 메소드 제한 요청 메소드는 GET, HEAD, POST, PUT, DELETE 등이 있다. 문제는 대부분 웹 서비스는 GET, HEAD, POST 만 필요로한다는 것이다. Nginx 에서 이를 다음과 같이 제한 할 수 있다.

GZIP 설정

 

more
Installation, Linux

Nginx + PHP-FPM + MariaDB 설치 (CentOS 7)

과거에는 APM (Apache + PHP + MySQL)이 인기있는 플랫폼이 였지만 최근에는 Nginx 가 나오고 PHP-FPM 이 나오면서 NPM 으로 많이 대체되고 있는 추세에 있습니다. 이 글은 Nginx,PHP-FPM, MariaDB 설치에 관한 것입니다. 준비 이 글에서 NPM을 설치하는 환경은 다음과 같습니다. CentOS 7.2.1511 X86_64 Selinux Disable 작성시간: 2015. 12. 27 설치하는 방법은 CentOS 7 에서 제공하는 패키지 관리 프로그램인 YUM을 이용하는 것입니다. 다음과 같이 CentOS 7 를 최신 버전으로 만듭니다.

  PHP 설치 다음과같이 YUM 을 이용해서 설치해 줍니다.

PHP 설치.
Shell
1
yum install php-fpm php-mysql php-cli

php-mysql […]

more
HowTo

DNS amplification DDos attacks (DNS 증폭 DDos 공격)

최근에 관리하는 서버에 트래픽이 몰리는 현상이 발생했다. 웹 서비스 트래픽도 아니기에 뭔가 싶어 봤더니 53 포트를 통한 input 트래픽이였다. 그래서 ngrep 으로 53 포트를 모니터링 하니 대략 다음과 같이 나왔다.

뭔가 자꾸 DNS 서버에 쿼리(Query)를 보내고 있었고 이로 인해서 트래픽이 발생하는게 분명했다. DNS amplification DDos attacks (DNS 증폭 DDos 공격) ‘DNS amplification DDos Attacks’ 는 DNS 증폭 DDos 공격으로 불리운다. 왜 ‘증폭’ 일까? DDos 는 대량의 트래픽이 필요하다. 초당 수십 Gbps 를 유발시켜야 하는데 이렇게 할려면 많은 장비가 필요하다. […]

more
HowTo, Linux

gitlab 패스워드 리셋하기

gitlab 패스워드 리셋하기 Gitlab 을 사용하다가 갑자기 패스워드를 잊어버리는 경우가 생길 수 있습니다. 이럴때 보통 Web 에서 ‘Fogot your password’ 링크를 클릭하고 리셋될 패스워드를 가입할때 적어놓은 E-mail 로 발송을 해줍니다. 그런데, E-mail 주소가 없는 거라면 패스워드를 리셋할 수가 없어서 로그인을 못하게 됩니다. 이럴때는 Gitlab 서버에 터미널로 로그인을 해서 gitlab-rails console을 실행하고 패스워드를 바꿀 수 있습니다. 먼저 gitlab-rails console로 접속을 합니다.

gitlab-rails Console 로그인.
1
2
3
4
]# gitlab-rails console
Loading production environment (Rails 4.2.4)
irb(main):001:0>
irb(main):002:0*

여기서 만일 E-mail 주소를 정확하게 알고 있다면 다음과 같이 user 객체를 지정할 수 있습니다.

E-mail 로 사용자 검색.
Ruby
1
2
irb(main):005:0* user = User.find_by(email: 'admin@local.host')
=> nil

그런데 위와같이 ‘nil’ 로 나오면 […]

more
HowTo

Suspend 된 게스트 시작 않될때 해결 방법.

Suspend 는 보통 게스트를 Paused 상태로 만드는 것을 말한다. 이는 동작상태를 하드디스크에 그대로 저장하고 끝내는 것을 말하며 이를 재시작하는 것을 Resume 이라고 한다. 명령어로는 그냥 start 명령어를 쓰지만 Suspend 에서는 부팅이 아닌 저장하고 끝난 부분을 풀고 바로 시작되는 것이 다르다. 그런데, Suspend 한 이미지를 시작하려고 할 때에 다음과 같이 오류가 나왔다.

아무리 Resume 을 할려고 하더라도 위와 같은 오류로 시작도 않되었다. 이럴때는 다음과 같이 해서 부티을 시도하는 것이 좋다.

이는 앞에서도 말했듯이 Supsend 될때에 저장된 이미지를 삭제하도록 한다. […]

more
HowTo, Linux

ELK 구축하기 1 – Logstash

ELK 는 ElasticSearch, Logstash, Kibana 를 말하며 보통 이 시스템은 실시간 로그분석 시스템으로 불리웁니다. Logstash 는 로그를 실시간으로 전송하고 ElasticSearch 는 전송된 로그를 검색 인덱스를 만들어 보관하며 Kibana 는 ElasticSearch 의 분석한 자료를 시각화해줍니다. 이를 이용하면 시스템 자체 뿐만 아니라 각종 애플리케이션의 로그들을 분석하고 시각화된 통계자료를 자동으로 얻을 수 있습니다. 첫번째로 Logstash 를 설치해보도록 하겠습니다. 설치 Logstash 는 Java 7 이상이 필요합니다. Java 7 을 설치해야 합니다. 이것이 없으면 동작이 안됩니다. Logstash 홈페이지에서 다운로드 받아 설치할 수 있습니다. tar.gz 도 […]

more
HowTo, Linux

Python JSON Tool 을 이용한 Readable한 JSON 출력하기.

Python 을 설치하면 JSON Tool 이 포함됩니다. Python JSON Tool 을 이용한  Readable한 JSON 출력이 가능합니다. 즉 쉘 상에서 JSON 포맷을 보기 좋게 볼수 있습니다. 보통은 다음과 같이 출력되서 쉽게 알아보기 힘듭니다.

curl 을 이용한 JSON 출력
Shell
1
2
]$ curl http://api.joind.in
{"events":"http:\/\/api.joind.in\/v2.1\/events","hot-events":"http:\/\/api.joind.in\/v2.1\/events?filter=hot","upcoming-events":"http:\/\/api.joind.in\/v2.1\/events?filter=upcoming","past-events":"http:\/\/api.joind.in\/v2.1\/events?filter=past","open-cfps":"http:\/\/api.joind.in\/v2.1\/events?filter=cfp"}

이를 보기 좋게 출력하는 방법은 다음과 같습니다.

python -mjson.tool 이용
Shell
1
2
3
4
5
6
7
8
]$ curl -s http://api.joind.in | python -mjson.tool
{
    "events": "http://api.joind.in/v2.1/events",
    "hot-events": "http://api.joind.in/v2.1/events?filter=hot",
    "open-cfps": "http://api.joind.in/v2.1/events?filter=cfp",
    "past-events": "http://api.joind.in/v2.1/events?filter=past",
    "upcoming-events": "http://api.joind.in/v2.1/events?filter=upcoming"
}

 

more
HowTo, Linux

쓰레드 묶음으로 처리하기..

처리해야할 태스크가 100여개 있는데, 이것을 3개씩 처리하고 싶은 경우가 있습니다. 이럴때는 쓰레드 생성 함수를 루핑 돌리면서 처리해주면 됩니다. 아래 소스는 Practical threaded programming with Python 를 기반으로 작성되었습니다.

Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
#!/usr/bin/env python
# -*- coding: utf-8 -*-
 
__author__ = "sbhyun"
__date__ = "2015. 11. 21"
 
import Queue
import threading
import urllib2
import time
 
''' 작업 내역 '''
hosts = ["http://yahoo.com", "http://google.com",
         "http://amazon.com", "http://ibm.com", "http://apple.com", ]
 
queue = Queue.Queue()
MAX_THREAD = 3
 
 
class ThreadUrl(threading.Thread):
 
    def __init__(self, queue):
        threading.Thread.__init__(self)
        self.queue = queue
 
    def run(self):
        while True:
            ''' 큐에서 작업내역을 가지고 옴 '''
            host = self.queue.get()
 
            # 여기부터 쓰레드로 처리할 로직을 넣으면 됨.
            url = urllib2.urlopen(host)
            print url.read(1024)
            # 쓰레드 로직 끝
 
            ''' 큐 작업 완료 처리 호출 '''
            self.queue.task_done()
 
 
def beginThread(hosts=None):
    ''' 쓰레드를 만들고 실행하는 function '''
 
    if hosts is None:
        print "hosts variable is empty!"
        return None
 
    ''' 큐에 쓰레드에서 처리할 자료를 넣음'''
    for host in hosts:
        queue.put(host)
 
    ''' MAX_THREAD 값 만큼 Thread 를 생성
    1024 이상을 처리할 수 없다. '''
    for i in range(MAX_THREAD):
        t = ThreadUrl(queue)
        t.setDaemon(True)
        t.start()
 
    queue.join()
 
 
 
def main():
    ''' 기본 아이디어는 처리할 많은 자료를
    MAX_THREAD 에서 정의한 만큼씩만 가지고 와서
    그 수만큼 Thread 를 만들고 처리 하도록 함.
    '''
    sliceHosts = []
 
    try:
        for i in range(MAX_THREAD):
            if hosts:
                ''' pop 함수를 쓰면 리스트에서 값을 가지고
                옴과 동시에 List 에서 값을 지워준다. '''
                result = hosts.pop()
                ''' pop 으로 가지고 온값을 임시 리스트에 넣어준다.
                이 임시변수는 Thread 에게 사용할 데이터이며
                생성할 Thread 개수만큼 값을 갖는다 '''
                sliceHosts.append(result)
    except IndexError:
        pass
 
    ''' Thread 실행 '''
    beginThread(sliceHosts)
 
    ''' 쓰레드가 완료되면 기존 리스트는 삭제처리 '''
    del(sliceHosts)
 
    ''' 아직 처리할 데이터가 리스트에 남았다면
    더 처리할 거냐고 물어본다 '''
    if hosts:
        answer = raw_input(
            "target value remains in the list. Do you continue? (yes/no) ")
        ''' 대답이 yes 면 다시 실행 '''
        if answer == 'yes':
            main()
 
if __name__ == '__main__':
    start = time.time()
    main()
    print "Elapsed Time: %s" % (time.time() - start)

 

more