ElasticSearch

Nginx 로그를 위한 Logstash Pipeline 설정하기

Logstash 를 이용해 로그를 프로세싱 해보자. Logstash 에 대한 기초적인 설정은 다음글에서 확인 가능하다. Logstash 살펴보기 또, 이 글은 Elastic 홈페이지에 내용을 기반으로 한다. Parsing Logs with Logstash filebeat 설정 및 기동 먼저 파일 filebeat 설정을 다음과 한다.

filebeat.yml 설정
YAML
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /var/log/nginx/linux.systemv.pe.kr.access.log
  tags: ["nginx_access_log"]
  fields:
    server_name: linux.systemv.pe.kr
    log_type: nginx-log
    nginx: true
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
output.logstash:
  hosts: ["192.168.97.32:5044"]

Elastic 홈페이지에는 간단하게 설정하도록 나오지만 여기서는 몇가지 설정을 추가 하였다. tags 를 설정하였고 fields 도 추가 하였다. 다음과 같이 시작 한다.

filebeat 시작
ZSH
1
]$ ./filebeat -e -c filebeat.yml -d "publish"

logstash Nginx pipeline 설정 먼저 filebeat 으로부터 메시지가 잘 들어오는지 디버깅을 먼저 해보자. 다음과 같이 간단하게 설정을 해본다.

logstash 의 pipeline 설정
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
input {
    beats {
        port => "5044"
    }
}
 
#filter {
#
#}
 
output {
    stdout {
        codec => rubydebug
    }
}

[…]

more
ElasticSearch

Logstash 살펴보기

ELK 스택에서 로그를 프로세싱하고 저장소에 실시간으로 적재해주는 프로그램인 Logstash 에 대해서 살펴본다. 자바 프로그램 Logstash 는 자바 프로그램이다. 그래서 Java Runtime 이 필요하다. 그런데, Logstash 에는 Java Runtime 이 내장되어 있어서 별도로 설치하지 않아도 된다. 하지만 이 자바 때문에 프로그램이 무겁다. Logstash 정의 다음과 같이 정의가 머리속에 담아 두기 좋다. 실시간 파이프라인(Pipeline) 기능을 가진 데이터 수집 엔진을 가진 오픈 소스 소프트웨어다. 파이프라인(Pipeline) Logstash 는 파이프라인(Pipeline) 형식으로 데이터를 처리 한다. INPUTS 은 데이터를 입력받는 부분에 대한 설정이다. OUTPUTS 은 어디로 데이터를 […]

more
HowTo, Linux

ELK 구축하기 1 – Logstash

ELK 는 ElasticSearch, Logstash, Kibana 를 말하며 보통 이 시스템은 실시간 로그분석 시스템으로 불리웁니다. Logstash 는 로그를 실시간으로 전송하고 ElasticSearch 는 전송된 로그를 검색 인덱스를 만들어 보관하며 Kibana 는 ElasticSearch 의 분석한 자료를 시각화해줍니다. 이를 이용하면 시스템 자체 뿐만 아니라 각종 애플리케이션의 로그들을 분석하고 시각화된 통계자료를 자동으로 얻을 수 있습니다. 첫번째로 Logstash 를 설치해보도록 하겠습니다. 설치 Logstash 는 Java 7 이상이 필요합니다. Java 7 을 설치해야 합니다. 이것이 없으면 동작이 안됩니다. Logstash 홈페이지에서 다운로드 받아 설치할 수 있습니다. tar.gz 도 […]

more