12/18/2016

Java 설치

이 글은 Java 를 리눅스에 설치하는 법을 다룹니다. Java 는 JDK, JRE가 존재하는데 WAS 서버 운영을 위해서는 JDK를 설치하는게 여러모로 좋습니다.

다운로드

다운로드는 Oracle 홈페이지의 Java 페이지에서 받을 수 있습니다. 보시면 다양한 패키지를 제공하는데, 저는 64bit 리눅스 tar.gz 파일을 다운로드 받았습니다.

설치

tar.gz 파일을 다운로드 받았다면 설치는 압축을 해제하는 것으로 사실상 끝이 납니다.

tar xvzf jdk-7u80-linux-x64.tar.gz -C /opt
cd /opt
ln -s /opt/jdk1.7.0_80 java

tar xvzf jdk-7u80-linux-x64.tar.gz -C /opt

cd /opt

ln -s /opt/jdk1.7.0_80 java

설정하기

자바 설치가 끝났다면 이를 시스템이 인식할 수 있도록 설정해줍니다. 설정은 자바 홈 디렉토리, 패스, 클래스패스등을 입니다.

export JAVA_HOME=/opt/java
export JRE_HOME=/opt/java/jre
export PATH=$PATH:/opt/java/bin:/opt/java/jre/bin
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar

export JAVA_HOME=/opt/java

export JRE_HOME=/opt/java/jre

export PATH=$PATH:/opt/java/bin:/opt/java/jre/bin

export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib/tools.jar

이를 매번 입력하기 보다는 /etc/profile 맨 아래에 적어주면 부팅할때마다 자동적으로 시스템 전체에 적용 됩니다.

12/11/2016

Ubuntu 16.04 KVM 게스트에 콘솔 접속하기

KVM 가상화를 사용하고 있고 게스트로 Ubuntu16.04 를 사용하고 있다면 콘솔 접속을 위해서는 Grub2 설정을 다음과 같이 해주면 된다.

GRUB_CMDLINE_LINUX_DEFAULT="console=ttyS0"

GRUB_TERMINAL=serial
GRUB_SERIAL_COMMAND="serial --unit=0 --speed=115200 --stop=1"

GRUB_CMDLINE_LINUX_DEFAULT="console=ttyS0"

GRUB_TERMINAL=serial

GRUB_SERIAL_COMMAND="serial --unit=0 --speed=115200 --stop=1"

위와같이 해주고 다음과 같이 grub 을 갱신해준다.

update-grub

1	update-grub

12/04/2016

Apache Tomcat JNDI 설정

Apache Tomcat 도 JNDI 설정을 할 수 있다. 특히나 데이터베이스 연결을 위해서 JNDI 설정을 사용할 수 있다. JNDI 를 사용하면 Web Application 내에서 데이터베이스 연결을 할 필요가 없이 네이밍(Naming) 을 호출함으로써 간단히 해결된다.

이 문서에서는 MySQL 을 위한 Apache Tomcat JNDI 설정 에 대한 것이다.

MySQL Connector/J 설치

JNDI 를 이용해서 MySQL 연결을 설정하기 위해서는 MySQL Connector/J 를 먼저 설치해줘야 한다. 이것은 MySQL 홈페이지에서 다운로드 가능한데 파일이 jar 확장자를 가진 하나의 파일이 필요하다. 이 파일을 Apache Tomcat 라이브러리 디렉토리에 복사해주면 끝난다.

cp mysql-connector-java-5.1.39-bin.jar /opt/apache-tomcat-8.0.30/lib

1	cp mysql-connector-java-5.1.39-bin.jar /opt/apache-tomcat-8.0.30/lib

Apache Tomcat JNDI 설정

MySQL Connector/J 를 설치했다면, 이제 Apache Tomcat JDNDI 설정을 해야 한다. 이는 Apache Tomcat 의 conf 디렉토리에 context.xml 파일을 다음과 같이 설정 한다. 이 설정을 위해서는 MySQL 연결 정보를 알고 있어야 한다.

]# vim /opt/apache-tomcat-8.0.30/conf/context.xml

    <Resource name="jdbc/MySQLDS" auth="Container" type="javax.sql.DataSource"
                           maxTotal="100" maxIdle="30" maxWaitMillis="10000"
                                          username="spring" password="ald!rjflk" driverClassName="com.mysql.jdbc.Driver"
                                          url="jdbc:mysql://192.168.96.30:3306/spring"/>

]# vim /opt/apache-tomcat-8.0.30/conf/context.xml

<Resource name="jdbc/MySQLDS" auth="Container" type="javax.sql.DataSource"

maxTotal="100" maxIdle="30" maxWaitMillis="10000"

username="spring" password="ald!rjflk" driverClassName="com.mysql.jdbc.Driver"

url="jdbc:mysql://192.168.96.30:3306/spring"/>

이렇게 해주고 Web Application 에 web.xml 파일을 설정이 필요하다.

web.xml 설정

Java Web Application 에서는 web.xml 파일이 존재한다. 여기에 JNDI 을 인식시키기 위해서 다음과 같이 설정 해줘야 한다.

]# vim web.xml

  <resource-ref>
    <description>MySQL DataSource</description>
    <res-ref-name>jdbc/MySQLDS</res-ref-name>
    <res-type>javax.sql.DataSource</res-type>
    <res-auth>Container</res-auth>
  </resource-ref>

]# vim web.xml

<resource-ref>

<description>MySQL DataSource</description>

<res-ref-name>jdbc/MySQLDS</res-ref-name>

<res-type>javax.sql.DataSource</res-type>

<res-auth>Container</res-auth>

</resource-ref>

Spring Context 설정

Spring 을 사용한다면 다음과 같이 JNDI 를 호출 할 수 있다.

]# vim root-context.xml

	<bean id="dataSource" class="org.springframework.jndi.JndiObjectFactoryBean">
		<property name="jndiName" value="java:comp/env/jdbc/MySQLDS" />
		<property name="resourceRef" value="true" />		
	</bean>

]# vim root-context.xml

</bean>

여기서 주의해야할 것은 jndiName 이 ‘comp/env/’ 를 덧붙인다는데 있다. 앞에 설정을 보면 ‘jdbc/MySQLDS’ 로만 설정 된되지만 Spring 에선 ‘comp/env/’ 를 앞에서 붙여주는 것이 다르다.

10/09/2016

Postgresql 9.x Replication – Streaming Log

Streaming log replication 은 Postgresql 9.0 부터 도입된 기능이다. 이 기능은 Primary 에서 Standby 서버로 직접 전송함으로서 replication delay 를 줄여준다. 따라서 pg_xlog 파일전송이 필요가 없다. 또 xlog 를 Streaming 으로 받기 위해서 Primary 서버에 REPLICATION 권한의 접속 계정이 필요하다.

Replication 권한 사용자 생성.

Primary 서버에서 REPLICATION 권한의 사용자를 다음과 같이 생성해준다.

CREATE ROLE repuser WITH REPLICATION PASSWORD '12345' LOGIN

1	CREATE ROLE repuser WITH REPLICATION PASSWORD '12345' LOGIN

그리고 Standby 서버에서 Primary 접속을 위해서 pg_hba.conf 파일을 Standby 서버 접속을 허용해 줍니다.

# The standby server must connect with a user that has replication privileges.
# TYPE  DATABASE        USER            ADDRESS                 METHOD
host       replication           repuser     192.168.96.26/32            md5

# The standby server must connect with a user that has replication privileges.

# TYPE DATABASE USER ADDRESS METHOD

host replication repuser 192.168.96.26/32 md5

중요한 것은 DATABASE 에 반드시 ‘replication’ 이여야 한다.

Streaming Replication 을 위한 postgresql.conf 를 다음과 같이 설정한다.

wal_level = archive
max_wal_senders = 2
wal_keep_segments = 32
archive_mode    = on
archive_command = 'cp %p /path_to/archive/%f'

wal_level = archive

max_wal_senders = 2

wal_keep_segments = 32

archive_mode = on

archive_command = 'cp %p /path_to/archive/%f'

데이터백업/복구.

PostgreSQL 9.3 이후부터 pg_basebackup 명령어를 지원한다. 이 명령어는 REPLICATION 권한을 가진 사용자로 접속을해 Primary 의 데이터 디렉토리를 원격에서 로컬로 복제를 해준다.

Standby 서버를 추가할때에 Primary 서버의 데이터 디렉토리를 복제해야 한다. 앞에서 생성한 계정을 이용하면 된다.

]# sudo -u postgres /opt/pgsql-9.5.0/bin/pg_basebackup -h 192.168.96.24 -D /opt/pgsql-9.5.0/data -U repuser -v -P --xlog-method=stream
Password:
transaction log start point: 1/48000028 on timeline 1
pg_basebackup: starting background WAL receiver
486611/486611 kB (100%), 1/1 tablespace
transaction log end point: 1/480000C0
pg_basebackup: waiting for background process to finish streaming ...
pg_basebackup: base backup completed

]# sudo -u postgres /opt/pgsql-9.5.0/bin/pg_basebackup -h 192.168.96.24 -D /opt/pgsql-9.5.0/data -U repuser -v -P --xlog-method=stream

Password:

transaction log start point: 1/48000028 on timeline 1

pg_basebackup: starting background WAL receiver

486611/486611 kB (100%), 1/1 tablespace

transaction log end point: 1/480000C0

pg_basebackup: waiting for background process to finish streaming ...

pg_basebackup: base backup completed

정상적으로 실행이 되면 위와같이 나온다.

Streaming logging replication

pg_basebackup 을 실행해 Primary 데이터 디렉토리가 복제했고 이로 인해서 postgresql.conf 파일도 Primary 것일 것이다. 이것을 최초의 파일로 교체해 준다.

그리고 recovery.conf 파일을 다음과 같이 작성해 준다.

standby_mode = on
primary_conninfo = 'host=192.168.96.24 port=5432 user=repuser password=12345'
trigger_file = '/tmp/postgresql.trigger.5432'

standby_mode = on

primary_conninfo = 'host=192.168.96.24 port=5432 user=repuser password=12345'

trigger_file = '/tmp/postgresql.trigger.5432'

그리고 Standby 서버를 시작해 준다.

로그파일을 보면 다음과 같이 나온다.

LOG:  database system was interrupted; last known up at 2016-10-02 01:00:13 KST
LOG:  entering standby mode
LOG:  redo starts at 1/48000098
LOG:  consistent recovery state reached at 1/480000C0
LOG:  started streaming WAL from primary at 1/49000000 on timeline 1

LOG: database system was interrupted; last known up at 2016-10-02 01:00:13 KST

LOG: entering standby mode

LOG: redo starts at 1/48000098

LOG: consistent recovery state reached at 1/480000C0

LOG: started streaming WAL from primary at 1/49000000 on timeline 1

그리고 프로세스를 살펴보면 다음과 같다.

]# ps aux | grep post
postgres  1740  0.3  2.4 442504 25112 ?        S    01:14   0:00 /opt/pgsql-9.5.0/bin/postgres -D /opt/pgsql-9.5.0/data
postgres  1741  0.2  0.8 442544  8392 ?        Ss   01:14   0:00 postgres: startup process   recovering 00000001000000010000004A
postgres  1746  0.0  0.7 442504  7820 ?        Ss   01:14   0:00 postgres: checkpointer process
postgres  1747  0.0  0.7 442504  8156 ?        Ss   01:14   0:00 postgres: writer process
postgres  1748  1.0  0.9 447256  9296 ?        Ss   01:14   0:00 postgres: wal receiver process   streaming 1/4B000000
root      1752  0.0  0.0 103284   764 pts/0    S+   01:14   0:00 grep post

]# ps aux | grep post

postgres 1740 0.3 2.4 442504 25112 ? S 01:14 0:00 /opt/pgsql-9.5.0/bin/postgres -D /opt/pgsql-9.5.0/data

postgres 1741 0.2 0.8 442544 8392 ? Ss 01:14 0:00 postgres: startup process recovering 00000001000000010000004A

postgres 1746 0.0 0.7 442504 7820 ? Ss 01:14 0:00 postgres: checkpointer process

postgres 1747 0.0 0.7 442504 8156 ? Ss 01:14 0:00 postgres: writer process

postgres 1748 1.0 0.9 447256 9296 ? Ss 01:14 0:00 postgres: wal receiver process streaming 1/4B000000

root 1752 0.0 0.0 103284 764 pts/0 S+ 01:14 0:00 grep post

Primary 서버에서 Streaming Replication 상태를 다음과 같이 조회해 볼수 있다.

SELECT S.pid, S.usesysid, U.rolname AS usename, S.application_name, S.client_addr, S.client_port, S.backend_start FROM pg_stat_get_activity(NULL) AS S, pg_authid U WHERE S.usesysid = U.oid AND S.datid = 0;

1	SELECT S.pid, S.usesysid, U.rolname AS usename, S.application_name, S.client_addr, S.client_port, S.backend_start FROM pg_stat_get_activity(NULL) AS S, pg_authid U WHERE S.usesysid = U.oid AND S.datid = 0;

혹은 pg_stat_replication 을 조회해도 된다.

postgres=# \x
Expanded display is on.
postgres=# select * from pg_stat_replication;
-[ RECORD 1 ]----+------------------------------
pid              | 10285
usesysid         | 16668
usename          | repuser
application_name | walreceiver
client_addr      | 192.168.96.26
client_hostname  |
client_port      | 41866
backend_start    | 2016-10-02 01:14:40.954436+09
backend_xmin     |
state            | streaming
sent_location    | 1/4E000000
write_location   | 1/4E000000
flush_location   | 1/4E000000
replay_location  | 1/4E000000
sync_priority    | 0
sync_state       | async

postgres=# \x

Expanded display is on.

postgres=# select * from pg_stat_replication;

-[ RECORD 1 ]----+------------------------------

pid | 10285

usesysid | 16668

usename | repuser

application_name | walreceiver

client_addr | 192.168.96.26

client_hostname |

client_port | 41866

backend_start | 2016-10-02 01:14:40.954436+09

backend_xmin |

state | streaming

sent_location | 1/4E000000

write_location | 1/4E000000

flush_location | 1/4E000000

replay_location | 1/4E000000

sync_priority | 0

sync_state | async

하지만 위 방법은 Standby 서버에는 접속할 수 없다. 접속을 시도하면 다음과 같은 에러를 낸다.

psql: FATAL: the database system is starting up

1	psql: FATAL: the database system is starting up

Hot Standby 세팅.

Hot Standby 는 Standby 서버에 접속해 읽기전용의 SQL 연산을 수행할 수 있도록 해준다. 이를 위해서는 먼저 Primary 서버에서 다음과 같이 postgresql.conf 파일에 Hot Standby 설정을 해줘야 한다.

wal_level = 'hot_Standby'

1	wal_level = 'hot_Standby'

Standby 서버도 다음과 같이 설정을 변경해 준다.

hot_Standby = on

1	hot_Standby = on

이제 서버들을 재시작해줘야 하는데 순서가 중요하다. 다음과 같은 순서로 재시작을 해준다.

Standby 서버 Shutdown
Primary 서버 재시작.
Standby 서버 시작.

Standby 서버의 log 파일을 살펴보면 다음과 같다.

]# tail -f data/logfile
LOG:  database system was interrupted; last known up at 2016-10-02 01:49:20 KST
LOG:  entering standby mode
LOG:  redo starts at 1/60000060
LOG:  consistent recovery state reached at 1/60000130
LOG:  database system is ready to accept read only connections
LOG:  started streaming WAL from primary at 1/61000000 on timeline 1

]# tail -f data/logfile

LOG: database system was interrupted; last known up at 2016-10-02 01:49:20 KST

LOG: entering standby mode

LOG: redo starts at 1/60000060

LOG: consistent recovery state reached at 1/60000130

LOG: database system is ready to accept read only connections

LOG: started streaming WAL from primary at 1/61000000 on timeline 1

프로세스는 다음과 같이 나온다.

]# ps aux | grep post
postgres  2049  0.4  2.4 442500 25140 ?        S    01:49   0:00 /opt/pgsql-9.5.0/bin/postgres -D /opt/pgsql-9.5.0/data
postgres  2050  0.4  0.8 442540  8440 ?        Ss   01:49   0:00 postgres: startup process   recovering 000000010000000100000062
postgres  2051  0.0  0.7 442500  7816 ?        Ss   01:49   0:00 postgres: checkpointer process
postgres  2052  0.0  0.7 442500  8096 ?        Ss   01:49   0:00 postgres: writer process
postgres  2054  0.0  0.7 163404  7648 ?        Ss   01:49   0:00 postgres: stats collector process
postgres  2055  1.1  0.9 447124  9292 ?        Ss   01:49   0:00 postgres: wal receiver process   streaming 1/62000060
root      2067  0.0  0.0 103284   764 pts/0    S+   01:50   0:00 grep post

]# ps aux | grep post

postgres 2049 0.4 2.4 442500 25140 ? S 01:49 0:00 /opt/pgsql-9.5.0/bin/postgres -D /opt/pgsql-9.5.0/data

postgres 2050 0.4 0.8 442540 8440 ? Ss 01:49 0:00 postgres: startup process recovering 000000010000000100000062

postgres 2051 0.0 0.7 442500 7816 ? Ss 01:49 0:00 postgres: checkpointer process

postgres 2052 0.0 0.7 442500 8096 ? Ss 01:49 0:00 postgres: writer process

postgres 2054 0.0 0.7 163404 7648 ? Ss 01:49 0:00 postgres: stats collector process

postgres 2055 1.1 0.9 447124 9292 ? Ss 01:49 0:00 postgres: wal receiver process streaming 1/62000060

root 2067 0.0 0.0 103284 764 pts/0 S+ 01:50 0:00 grep post

테스트.

Primary 서버에 테이블을 하나 만들고 데이터를 입력해보고 이것이 Standby 서버로 잘 가는지를 살펴본다.

test=# CREATE TABLE guestbook (visitor_email text, vistor_id serial, date timestamp, message text);
CREATE TABLE
test=# INSERT INTO guestbook (visitor_email, date, message) values ('a@abc.com', current_date, 'This is a test.');
INSERT 0 1

test=# CREATE TABLE guestbook (visitor_email text, vistor_id serial, date timestamp, message text);

CREATE TABLE

test=# INSERT INTO guestbook (visitor_email, date, message) values ('a@abc.com', current_date, 'This is a test.');

INSERT 0 1

그리고 Standby 서버에서 guestbook 테이블이 존재하고 데이터가 존재하는지 살펴본다.

test=# \d
                      List of relations
 Schema |             Name             |   Type   |  Owner
--------+------------------------------+----------+----------
 public | guestbook                    | table    | postgres
 public | guestbook_vistor_id_seq      | sequence | postgres

test=# select * from guestbook;
 visitor_email | vistor_id |        date         |     message
---------------+-----------+---------------------+-----------------
 a@abc.com     |         1 | 2016-10-02 00:00:00 | This is a test.
(1 row)

test=# \d

List of relations

Schema | Name | Type | Owner

--------+------------------------------+----------+----------

public | guestbook | table | postgres

public | guestbook_vistor_id_seq | sequence | postgres

test=# select * from guestbook;

visitor_email | vistor_id | date | message

---------------+-----------+---------------------+-----------------

a@abc.com | 1 | 2016-10-02 00:00:00 | This is a test.

(1 row)

잘 보이면 정상이다.

07/17/2016

M-HA MySQL 설정

MySQL 은 인기있는 오픈소스 데이터베이스 시스템이다. 언제나 데이터베이스 시스템이라면 항상 따라오는 것이 Master-Slave 리플리케이션 환경이고 거기에 덧붙여 자동 페일오버(Auto FailOver) 를 어떻게 할 것이라는 골머리 앓는 주제가 따라서 나온다.

MySQL 의 경우에 자체 적인 FailOver 솔루션이 있다. Fabric 이 그것인데, 아직은 많이 쓰이지는 않는 모양이다. 대신에 AutoFailOver 를 지원하는 제3의 툴들이 존재하는데 M-HA 가 바로 이러한 솔루션이다.

M-HA 는 일본인이 Perl 을 이용해서 작성한 솔루션이다. github 저장소에 소스코드는 공개되어 있으며 저장소이름은 mha4mysql-manager 이다.

구조

M-HA 는 Manager 와 Node 로 이루어진다. Node 는 MySQL 이 설치된 서버에 모두 설치해줘야 한다. Mater/Slave 구조라면 Node 를 모두 설치해줘야 한다.

Manager 는 이들 Node 를 감시하고 이들 전체를 컨트롤하는 역활을 한다.

M-HA 특징

M-HA 를 AutoFailover 로 사용할만한 이유는 다음과 같다.

Short downtime
MySQL-Replication consistency
Easy Installation
No chagne to existing deployments

M-HA 를 고려할때에 중요한 부분이 짧은 다운타임이다. Master/Slave 구조에서 장애시에 Slave 를 Master 로 빠르게 승격을 시켜주어야 한다. 그래야만 두 서버간에 데이터가 달라지는 데이터 무결성이 깨지지 않게 된다. M-HA 는 비교적 이러한 데이터 무결성을 보장하기 위해서 많은 노력을 기울인 솔루션이라고 보면 된다.

M-HA 구성도

최소한의 환경에서 M-HA 를 구성도는 대략 다음과 같다.

M-HA Node 는 MySQL 이 설치된 서버라면 전부 설치해주어야 한다. M-HA Manager 는 외부서버에 설치해된다.

Node 설치

설치는 M-HA 구글 저장소에 가면 각 배포판별로 바이너리로 배포하고 있어 쉽게 설치가능하다. 여기서는 소스를 가지고 컴파일 설치하도록 하겠다.

git 저장소에 소스를 다운받거나 Clone 해서 가지고 와도 된다.

]# git clone https://github.com/yoshinorim/mha4mysql-node.git
Cloning into 'mha4mysql-node'...
remote: Counting objects: 374, done.
remote: Total 374 (delta 0), reused 0 (delta 0), pack-reused 373
Receiving objects: 100% (374/374), 84.63 KiB | 0 bytes/s, done.
Resolving deltas: 100% (203/203), done.
Checking connectivity... done.

]# git clone https://github.com/yoshinorim/mha4mysql-node.git

Cloning into 'mha4mysql-node'...

remote: Counting objects: 374, done.

remote: Total 374 (delta 0), reused 0 (delta 0), pack-reused 373

Receiving objects: 100% (374/374), 84.63 KiB | 0 bytes/s, done.

Resolving deltas: 100% (203/203), done.

Checking connectivity... done.

의존성 패키지를 다음과 같이 설치해준다.

]# apt-get install libdbd-mysql-perl libmodule-install-perl build-essential

1	]# apt-get install libdbd-mysql-perl libmodule-install-perl build-essential

Perl 을 이용해서 소스를 코드를 컴파일 하고 설치해주면 된다.

# cd mha4mysql-node/
# perl Makefile.PL PREFIX=/usr/local
include /usr/src/mha4mysql-node/inc/Module/Install.pm
include inc/Module/Install/Metadata.pm
include inc/Module/Install/Base.pm
include inc/Module/Install/Makefile.pm
include inc/Module/Install/Scripts.pm
include inc/Module/Install/AutoInstall.pm
include inc/Module/Install/Include.pm
include inc/Module/AutoInstall.pm
*** Module::AutoInstall version 1.16
*** Checking for Perl dependencies...
[Core Features]
- DBI        ...loaded. (1.634)
- DBD::mysql ...loaded. (4.033)
*** Module::AutoInstall configuration finished.
include inc/Module/Install/WriteAll.pm
include inc/Module/Install/Win32.pm
include inc/Module/Install/Can.pm
include inc/Module/Install/Fetch.pm
Checking if your kit is complete...
Warning: the following files are missing in your kit:
	META.yml
Please inform the author.
Generating a Unix-style Makefile
Writing Makefile for mha4mysql::node
Writing MYMETA.yml and MYMETA.json
Writing META.yml
# make
cp lib/MHA/NodeUtil.pm blib/lib/MHA/NodeUtil.pm
cp lib/MHA/BinlogHeaderParser.pm blib/lib/MHA/BinlogHeaderParser.pm
cp lib/MHA/BinlogPosFinder.pm blib/lib/MHA/BinlogPosFinder.pm
cp lib/MHA/BinlogPosFinderElp.pm blib/lib/MHA/BinlogPosFinderElp.pm
cp lib/MHA/BinlogPosFindManager.pm blib/lib/MHA/BinlogPosFindManager.pm
cp lib/MHA/BinlogManager.pm blib/lib/MHA/BinlogManager.pm
cp lib/MHA/SlaveUtil.pm blib/lib/MHA/SlaveUtil.pm
cp lib/MHA/NodeConst.pm blib/lib/MHA/NodeConst.pm
cp lib/MHA/BinlogPosFinderXid.pm blib/lib/MHA/BinlogPosFinderXid.pm
cp bin/filter_mysqlbinlog blib/script/filter_mysqlbinlog
"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/filter_mysqlbinlog
cp bin/save_binary_logs blib/script/save_binary_logs
"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/save_binary_logs
cp bin/purge_relay_logs blib/script/purge_relay_logs
"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/purge_relay_logs
cp bin/apply_diff_relay_logs blib/script/apply_diff_relay_logs
"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/apply_diff_relay_logs
Manifying 4 pod documents
# make install
Manifying 4 pod documents
Installing /usr/local/share/perl/5.22.1/MHA/BinlogHeaderParser.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFinder.pm
Installing /usr/local/share/perl/5.22.1/MHA/SlaveUtil.pm
Installing /usr/local/share/perl/5.22.1/MHA/NodeConst.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFindManager.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFinderElp.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogManager.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFinderXid.pm
Installing /usr/local/share/perl/5.22.1/MHA/NodeUtil.pm
Installing /usr/local/man/man1/save_binary_logs.1p
Installing /usr/local/man/man1/purge_relay_logs.1p
Installing /usr/local/man/man1/filter_mysqlbinlog.1p
Installing /usr/local/man/man1/apply_diff_relay_logs.1p
Installing /usr/local/bin/purge_relay_logs
Installing /usr/local/bin/filter_mysqlbinlog
Installing /usr/local/bin/apply_diff_relay_logs
Installing /usr/local/bin/save_binary_logs
Appending installation info to /usr/local/lib/x86_64-linux-gnu/perl/5.22.1/perllocal.pod

# cd mha4mysql-node/

# perl Makefile.PL PREFIX=/usr/local

include /usr/src/mha4mysql-node/inc/Module/Install.pm

include inc/Module/Install/Metadata.pm

include inc/Module/Install/Base.pm

include inc/Module/Install/Makefile.pm

include inc/Module/Install/Scripts.pm

include inc/Module/Install/AutoInstall.pm

include inc/Module/Install/Include.pm

include inc/Module/AutoInstall.pm

*** Module::AutoInstall version 1.16

*** Checking for Perl dependencies...

[Core Features]

- DBI ...loaded. (1.634)

- DBD::mysql ...loaded. (4.033)

*** Module::AutoInstall configuration finished.

include inc/Module/Install/WriteAll.pm

include inc/Module/Install/Win32.pm

include inc/Module/Install/Can.pm

include inc/Module/Install/Fetch.pm

Checking if your kit is complete...

Warning: the following files are missing in your kit:

META.yml

Please inform the author.

Generating a Unix-style Makefile

Writing Makefile for mha4mysql::node

Writing MYMETA.yml and MYMETA.json

Writing META.yml

# make

cp lib/MHA/NodeUtil.pm blib/lib/MHA/NodeUtil.pm

cp lib/MHA/BinlogHeaderParser.pm blib/lib/MHA/BinlogHeaderParser.pm

cp lib/MHA/BinlogPosFinder.pm blib/lib/MHA/BinlogPosFinder.pm

cp lib/MHA/BinlogPosFinderElp.pm blib/lib/MHA/BinlogPosFinderElp.pm

cp lib/MHA/BinlogPosFindManager.pm blib/lib/MHA/BinlogPosFindManager.pm

cp lib/MHA/BinlogManager.pm blib/lib/MHA/BinlogManager.pm

cp lib/MHA/SlaveUtil.pm blib/lib/MHA/SlaveUtil.pm

cp lib/MHA/NodeConst.pm blib/lib/MHA/NodeConst.pm

cp lib/MHA/BinlogPosFinderXid.pm blib/lib/MHA/BinlogPosFinderXid.pm

cp bin/filter_mysqlbinlog blib/script/filter_mysqlbinlog

"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/filter_mysqlbinlog

cp bin/save_binary_logs blib/script/save_binary_logs

"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/save_binary_logs

cp bin/purge_relay_logs blib/script/purge_relay_logs

"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/purge_relay_logs

cp bin/apply_diff_relay_logs blib/script/apply_diff_relay_logs

"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/apply_diff_relay_logs

Manifying 4 pod documents

# make install

Manifying 4 pod documents

Installing /usr/local/share/perl/5.22.1/MHA/BinlogHeaderParser.pm

Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFinder.pm

Installing /usr/local/share/perl/5.22.1/MHA/SlaveUtil.pm

Installing /usr/local/share/perl/5.22.1/MHA/NodeConst.pm

Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFindManager.pm

Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFinderElp.pm

Installing /usr/local/share/perl/5.22.1/MHA/BinlogManager.pm

Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFinderXid.pm

Installing /usr/local/share/perl/5.22.1/MHA/NodeUtil.pm

Installing /usr/local/man/man1/save_binary_logs.1p

Installing /usr/local/man/man1/purge_relay_logs.1p

Installing /usr/local/man/man1/filter_mysqlbinlog.1p

Installing /usr/local/man/man1/apply_diff_relay_logs.1p

Installing /usr/local/bin/purge_relay_logs

Installing /usr/local/bin/filter_mysqlbinlog

Installing /usr/local/bin/apply_diff_relay_logs

Installing /usr/local/bin/save_binary_logs

Appending installation info to /usr/local/lib/x86_64-linux-gnu/perl/5.22.1/perllocal.pod

위와 같은 설치를 Master/Slave 모든 MySQL 서버에 설치해 준다.

그리고 각 서버에 M-HA 가 접속하기 위한 MySQL 계정을 생성해 준다.

mysql> grant all on *.* to 'mhauser'@'192.168.96.%'  identified by '14321';
mysql> flush privileges;

1 2	mysql> grant all on . to 'mhauser'@'192.168.96.%' identified by '14321'; mysql> flush privileges;

MySQL 각 서버에 /var/log/masterha 디렉토리를 만들어 준다.

]# mkdir -p /var/log/masterha

1	]# mkdir -p /var/log/masterha

Manager 설치

한가지 주의해야 할 것은 Manager 를 설치하기 전에 Node 도 같이 설치해줘야 한다는 것이다. Manager 설치도 소스코드를 다운받아 설치한다. 그 전에 다음과 같이 의존성 패키지를 설치해준다.

]# apt-get install libdbd-mysql-perl libmodule-install-perl build-essential libconfig-tiny-perl liblog-dispatch-perl libparallel-forkmanager-perl

1	]# apt-get install libdbd-mysql-perl libmodule-install-perl build-essential libconfig-tiny-perl liblog-dispatch-perl libparallel-forkmanager-perl

소스코드를 다운받는다.

# git clone https://github.com/yoshinorim/mha4mysql-manager.git
Cloning into 'mha4mysql-manager'...
remote: Counting objects: 1383, done.
remote: Total 1383 (delta 0), reused 0 (delta 0), pack-reused 1383
Receiving objects: 100% (1383/1383), 371.44 KiB | 305.00 KiB/s, done.
Resolving deltas: 100% (830/830), done.

# git clone https://github.com/yoshinorim/mha4mysql-manager.git

Cloning into 'mha4mysql-manager'...

remote: Counting objects: 1383, done.

remote: Total 1383 (delta 0), reused 0 (delta 0), pack-reused 1383

Receiving objects: 100% (1383/1383), 371.44 KiB | 305.00 KiB/s, done.

Resolving deltas: 100% (830/830), done.

컴파일 설치해 준다.

]# perl Makefile.PL PREFIX=/usr/local
]# make
]# make install

]# perl Makefile.PL PREFIX=/usr/local

]# make

]# make install

Manager 에 mha.cnf 파일 작성

Manager 의 mha.cnf 파일을 다음과 같이 작성한다.

[server default]
# mysql user and password
user=mhauser
password=14321
# working directory on the manager
manager_workdir=/var/log/masterha
# working directory on MySQL servers
remote_workdir=/var/log/masterha

[server1]
hostname=192.168.96.30

[server2]
hostname=192.168.96.32

[server default]

# mysql user and password

user=mhauser

password=14321

# working directory on the manager

manager_workdir=/var/log/masterha

# working directory on MySQL servers

remote_workdir=/var/log/masterha

[server1]

hostname=192.168.96.30

[server2]

hostname=192.168.96.32

SSH 접속 설정

M-HA 는 내부적으로 SSH를 이용해서 M-HA Node 의 릴레이 로그들을 전송하도록 한다. 그런데 자동으로 이게 되게 할라면 M-HA Manager 와 Node 들간 모두 SSH 를 무인증으로 접속이 가능해야 한다.

SSH RSA 를 생성하는데, 패스워드를 입력하지 않는다. 그러면 무인증 접속이 가능해진다.

# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:Ac6WpLXcWE58hFcxb3RPiALuejV2XZzMhn5oRb4qbxk root@192.168.96.30
The key's randomart image is:
+---[RSA 2048]----+
|      +.++..+o.oo|
|     B @o + .+B+o|
|    . O =o . .oB+|
|     . . .  .o+..|
|        S + .+.o |
|       . o o.Eo  |
|      . .  . .o  |
|       .    oo   |
|            ..   |
+----[SHA256]-----+

# ssh-keygen -t rsa

Generating public/private rsa key pair.

Enter file in which to save the key (/root/.ssh/id_rsa):

Created directory '/root/.ssh'.

Enter passphrase (empty for no passphrase):

Enter same passphrase again:

Your identification has been saved in /root/.ssh/id_rsa.

Your public key has been saved in /root/.ssh/id_rsa.pub.

The key fingerprint is:

SHA256:Ac6WpLXcWE58hFcxb3RPiALuejV2XZzMhn5oRb4qbxk root@192.168.96.30

The key's randomart image is:

+---[RSA 2048]----+

| +.++..+o.oo|

| B @o + .+B+o|

| . O =o . .oB+|

| . . . .o+..|

| S + .+.o |

| . o o.Eo |

| . . . .o |

| . oo |

| .. |

+----[SHA256]-----+

각각에 생성한 키들은 ~/.ssh/authorized_keys 파일에 추가해준다. 중요한 것은 각각 서버들은 서로서로 모두 무인증 SSH 접속이 가능해야 한다는 것이다.

SSH 무인증 테스트를 다음과 같이 할 수 있다.

masterha_check_ssh --conf=/usr/local/etc/mha.cnf
Sun Jul 17 21:01:07 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Sun Jul 17 21:01:07 2016 - [info] Reading application default configuration from /usr/local/etc/mha.cnf..
Sun Jul 17 21:01:07 2016 - [info] Reading server configuration from /usr/local/etc/mha.cnf..
Sun Jul 17 21:01:08 2016 - [info] Starting SSH connection tests..
Sun Jul 17 21:01:09 2016 - [debug]
Sun Jul 17 21:01:08 2016 - [debug]  Connecting via SSH from root@192.168.96.30(192.168.96.30:22) to root@192.168.96.32(192.168.96.32:22)..
Sun Jul 17 21:01:08 2016 - [debug]   ok.
Sun Jul 17 21:01:09 2016 - [debug]
Sun Jul 17 21:01:08 2016 - [debug]  Connecting via SSH from root@192.168.96.32(192.168.96.32:22) to root@192.168.96.30(192.168.96.30:22)..
Sun Jul 17 21:01:09 2016 - [debug]   ok.
Sun Jul 17 21:01:09 2016 - [info] All SSH connection tests passed successfully.

masterha_check_ssh --conf=/usr/local/etc/mha.cnf

Sun Jul 17 21:01:07 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.

Sun Jul 17 21:01:07 2016 - [info] Reading application default configuration from /usr/local/etc/mha.cnf..

Sun Jul 17 21:01:07 2016 - [info] Reading server configuration from /usr/local/etc/mha.cnf..

Sun Jul 17 21:01:08 2016 - [info] Starting SSH connection tests..

Sun Jul 17 21:01:09 2016 - [debug]

Sun Jul 17 21:01:08 2016 - [debug] Connecting via SSH from root@192.168.96.30(192.168.96.30:22) to root@192.168.96.32(192.168.96.32:22)..

Sun Jul 17 21:01:08 2016 - [debug] ok.

Sun Jul 17 21:01:09 2016 - [debug]

Sun Jul 17 21:01:08 2016 - [debug] Connecting via SSH from root@192.168.96.32(192.168.96.32:22) to root@192.168.96.30(192.168.96.30:22)..

Sun Jul 17 21:01:09 2016 - [debug] ok.

Sun Jul 17 21:01:09 2016 - [info] All SSH connection tests passed successfully.

Replication 체크

다음과 같에 Replication 체크를 해본다.

# masterha_check_repl --conf=/usr/local/etc/mha.cnf
Sun Jul 17 21:26:00 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Sun Jul 17 21:26:00 2016 - [info] Reading application default configuration from /usr/local/etc/mha.cnf..
Sun Jul 17 21:26:00 2016 - [info] Reading server configuration from /usr/local/etc/mha.cnf..
Sun Jul 17 21:26:00 2016 - [info] MHA::MasterMonitor version 0.57.
Sun Jul 17 21:26:01 2016 - [error][/usr/local/share/perl5/MHA/ServerManager.pm, ln188] There is no alive server. We can't do failover
Sun Jul 17 21:26:01 2016 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln427] Error happened on checking configurations.  at /usr/local/share/perl5/MHA/MasterMonitor.pm line 329.
Sun Jul 17 21:26:01 2016 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln525] Error happened on monitoring servers.
Sun Jul 17 21:26:01 2016 - [info] Got exit code 1 (Not master dead).

MySQL Replication Health is NOT OK!

# masterha_check_repl --conf=/usr/local/etc/mha.cnf

Sun Jul 17 21:26:00 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.

Sun Jul 17 21:26:00 2016 - [info] Reading application default configuration from /usr/local/etc/mha.cnf..

Sun Jul 17 21:26:00 2016 - [info] Reading server configuration from /usr/local/etc/mha.cnf..

Sun Jul 17 21:26:00 2016 - [info] MHA::MasterMonitor version 0.57.

Sun Jul 17 21:26:01 2016 - [error][/usr/local/share/perl5/MHA/ServerManager.pm, ln188] There is no alive server. We can't do failover

Sun Jul 17 21:26:01 2016 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln427] Error happened on checking configurations. at /usr/local/share/perl5/MHA/MasterMonitor.pm line 329.

Sun Jul 17 21:26:01 2016 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln525] Error happened on monitoring servers.

Sun Jul 17 21:26:01 2016 - [info] Got exit code 1 (Not master dead).

MySQL Replication Health is NOT OK!

여기서 버그가 있다. /usr/local/share/perl5/MHA/DBHelper.pm 파일 198 라인에 $host 변수에 문제가 있다.

- 155     $self->{dsn} = "DBI:mysql:;host=[$host];port=$port;mysql_connect_timeout=4";
+ 155     $self->{dsn} = "DBI:mysql:;host=$host;port=$port;mysql_connect_timeout=4";
- 198     $self->{dsn} = "DBI:mysql:;host=[$host];port=$port;mysql_connect_timeout=4";
+ 198     $self->{dsn} = "DBI:mysql:;host=$host;port=$port;mysql_connect_timeout=4";

- 155 $self->{dsn} = "DBI:mysql:;host=[$host];port=$port;mysql_connect_timeout=4";

+ 155 $self->{dsn} = "DBI:mysql:;host=$host;port=$port;mysql_connect_timeout=4";

- 198 $self->{dsn} = "DBI:mysql:;host=[$host];port=$port;mysql_connect_timeout=4";

+ 198 $self->{dsn} = "DBI:mysql:;host=$host;port=$port;mysql_connect_timeout=4";

위와같이 수정한 후에 다시 한번 해보면 오류를 해결할 수 있다.

이러한 문제는 호스트 이름에 ‘[‘, ‘]’ 를 붙임으로 나타는 현상이다. 이러한 문제는 다음의 파일에도 있다.

 가 있는 오류"]HealthCheck.pm:98:    "DBI:mysql:;host=[$self->{ip}];"
NodeUtil.pm:85:  my $ssh_user_host = $ssh_user . '@[' . $ssh_host . ']';

1 2	가 있는 오류"]HealthCheck.pm:98: "DBI:mysql:;host=[$self->{ip}];" NodeUtil.pm:85: my $ssh_user_host = $ssh_user . '@[' . $ssh_host . ']';

Manager 실행 시키기.

반드시 위에 버그를 제거한 후에 다음과 같이 실행을 한다.

# masterha_manager --conf=/usr/local/etc/mha.cnf
Mon Jul 18 01:30:43 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Mon Jul 18 01:30:43 2016 - [info] Reading application default configuration from /usr/local/etc/mha.cnf..
Mon Jul 18 01:30:43 2016 - [info] Reading server configuration from /usr/local/etc/mha.cnf..

# masterha_manager --conf=/usr/local/etc/mha.cnf

Mon Jul 18 01:30:43 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.

Mon Jul 18 01:30:43 2016 - [info] Reading application default configuration from /usr/local/etc/mha.cnf..

Mon Jul 18 01:30:43 2016 - [info] Reading server configuration from /usr/local/etc/mha.cnf..

위와같이 실행을 한 후 로그를 보면 다음과 같이 나와야 정상이다.

Mon Jul 18 01:30:49 2016 - [info]
192.168.96.32(192.168.96.32:3306) (current master)
 +--192.168.96.30(192.168.96.30:3306)

Mon Jul 18 01:30:49 2016 - [warning] master_ip_failover_script is not defined.
Mon Jul 18 01:30:49 2016 - [warning] shutdown_script is not defined.
Mon Jul 18 01:30:49 2016 - [debug]  Disconnected from 192.168.96.30(192.168.96.30:3306)
Mon Jul 18 01:30:49 2016 - [debug]  Disconnected from 192.168.96.32(192.168.96.32:3306)
Mon Jul 18 01:30:49 2016 - [debug] SSH check command: save_binary_logs --command=test --start_pos=4 --binlog_dir=/var/log/mysql --output_file=/var/log/masterha/save_binary_logs_test --manager_version=0.57 --binlog_prefix=mysql-bin --debug
Mon Jul 18 01:30:49 2016 - [info] Set master ping interval 3 seconds.
Mon Jul 18 01:30:49 2016 - [warning] secondary_check_script is not defined. It is highly recommended setting it to check master reachability from two or more routes.
Mon Jul 18 01:30:49 2016 - [info] Starting ping health check on 192.168.96.32(192.168.96.32:3306)..
Mon Jul 18 01:30:49 2016 - [debug] Connected on master.
Mon Jul 18 01:30:49 2016 - [debug] Set short wait_timeout on master: 6 seconds
Mon Jul 18 01:30:49 2016 - [debug] Trying to get advisory lock..
Mon Jul 18 01:30:49 2016 - [info] Ping(SELECT) succeeded, waiting until MySQL doesn't respond..

Mon Jul 18 01:30:49 2016 - [info]

192.168.96.32(192.168.96.32:3306) (current master)

+--192.168.96.30(192.168.96.30:3306)

Mon Jul 18 01:30:49 2016 - [warning] master_ip_failover_script is not defined.

Mon Jul 18 01:30:49 2016 - [warning] shutdown_script is not defined.

Mon Jul 18 01:30:49 2016 - [debug] Disconnected from 192.168.96.30(192.168.96.30:3306)

Mon Jul 18 01:30:49 2016 - [debug] Disconnected from 192.168.96.32(192.168.96.32:3306)

Mon Jul 18 01:30:49 2016 - [debug] SSH check command: save_binary_logs --command=test --start_pos=4 --binlog_dir=/var/log/mysql --output_file=/var/log/masterha/save_binary_logs_test --manager_version=0.57 --binlog_prefix=mysql-bin --debug

Mon Jul 18 01:30:49 2016 - [info] Set master ping interval 3 seconds.

Mon Jul 18 01:30:49 2016 - [warning] secondary_check_script is not defined. It is highly recommended setting it to check master reachability from two or more routes.

Mon Jul 18 01:30:49 2016 - [info] Starting ping health check on 192.168.96.32(192.168.96.32:3306)..

Mon Jul 18 01:30:49 2016 - [debug] Connected on master.

Mon Jul 18 01:30:49 2016 - [debug] Set short wait_timeout on master: 6 seconds

Mon Jul 18 01:30:49 2016 - [debug] Trying to get advisory lock..

Mon Jul 18 01:30:49 2016 - [info] Ping(SELECT) succeeded, waiting until MySQL doesn't respond..

내용을 보면 192.168.96.32 서버가 현재 Master 고 30번 서버가 Slave 로 인식하고 있다.

FailOver 테스트.

간단한 FailOver 테스트를 해보자. 시나리오는 간단하다. 현재 Master 서버를 정지 시켜 보는 것이다. 그러면 다음과 같이 Manager 로그가 올라온다.

Mon Jul 18 01:27:19 2016 - [debug]  Disconnected from 192.168.96.32(192.168.96.32:3306)
Mon Jul 18 01:27:19 2016 - [info]

----- Failover Report -----

mha: MySQL Master failover 192.168.96.30(192.168.96.30:3306) to 192.168.96.32(192.168.96.32:3306) succeeded

Master 192.168.96.30(192.168.96.30:3306) is down!

Check MHA Manager logs at localhost.localdomain:/var/log/masterha/mha.log for details.

Started automated(non-interactive) failover.
The latest slave 192.168.96.32(192.168.96.32:3306) has all relay logs for recovery.
Selected 192.168.96.32(192.168.96.32:3306) as a new master.
192.168.96.32(192.168.96.32:3306): OK: Applying all logs succeeded.
Generating relay diff files from the latest slave succeeded.
192.168.96.32(192.168.96.32:3306): Resetting slave info succeeded.
Master failover to 192.168.96.32(192.168.96.32:3306) completed successfully.

Mon Jul 18 01:27:19 2016 - [debug] Disconnected from 192.168.96.32(192.168.96.32:3306)

Mon Jul 18 01:27:19 2016 - [info]

----- Failover Report -----

mha: MySQL Master failover 192.168.96.30(192.168.96.30:3306) to 192.168.96.32(192.168.96.32:3306) succeeded

Master 192.168.96.30(192.168.96.30:3306) is down!

Check MHA Manager logs at localhost.localdomain:/var/log/masterha/mha.log for details.

Started automated(non-interactive) failover.

The latest slave 192.168.96.32(192.168.96.32:3306) has all relay logs for recovery.

Selected 192.168.96.32(192.168.96.32:3306) as a new master.

192.168.96.32(192.168.96.32:3306): OK: Applying all logs succeeded.

Generating relay diff files from the latest slave succeeded.

192.168.96.32(192.168.96.32:3306): Resetting slave info succeeded.

Master failover to 192.168.96.32(192.168.96.32:3306) completed successfully.

위와같이 로그가 온다면 FailOver 가 정상적으로 된 것이다. 또, 로그 디렉토리 /var/log/masterha 디렉토리에 mha.failover.complete 파일이 생성되어 있을 것이다. 또한, manager 가 죽어 있다. 그러니까 FailOver 가 발생되면 다음과 같이 실행이 된다.

Slave 를 Master 로 승격시킨다.
Manager 에 지정한 로그 디렉토리에 mha.failover.complete 파일을 생성한다.
Manager 가 죽는다.

FailOver 가 발생할때마다 Manager 는 정해진 동작을 수행하고 자동으로 죽게 된다.

승격된 Master 서버에서는 다음을 체크해봐야 한다.

show slave status 명령을 입력했을때 아무것도 나오지 말아야 한다.
show variables like ‘%read%’ 명령어를 입력했을때에 read_only 값이 OFF 여야 한다.

위 두가지가 정상적으로 나온다면 M-HA 가 정상적으로 동작한 것이다.

07/06/2016

pom.xml Plugin execution not covered by lifecycle configuration 오류

앞에서 mave timestamp 의 TimeZone 변경을 위해서 build-helper-maven-plugin 를 사용했는데 Eclipse 에서 다음과 같이 오류가 난다.

위 오류내용은 다음과 같다.

Plugin execution not covered by lifecycle configuration: org.codehaus.mojo:build-helper-maven-plugin: 1.11:timestamp-property (execution: timestamp-property, phase: validate)

Eclipse 는 오류를 표시했지만 maven 은 정상적으로 동작한다. 이는 Ecliplse 의 m2e 커넥터의 lifecycle mapping 정보를 명확하게 해야하는데 이것이 없어서 오류로 표시하는 것이다. 다음 URL 에 관련 내용이 있다.

M2E_plugin_execution_not_covered

내용을 보면 <pluginManagement> 를 이용해서 lifecycle-mapping 을 설정해주어야 한다. 위 내용을 기반으로 build-helper-maven-plugin 의 execution 에 대해서 mapping 을 지정해주면 해결된다.

</plugins>
        <pluginManagement>
		  	<plugins>
		    	<plugin>
		     		<groupId>org.eclipse.m2e</groupId>
		     		<artifactId>lifecycle-mapping</artifactId>
		     		<version>1.0.0</version>
		     		<configuration>
		       			<lifecycleMappingMetadata>
		         			<pluginExecutions>
		           				<pluginExecution>
		             				<pluginExecutionFilter>
		               					<groupId>org.codehaus.mojo</groupId>
		               					<artifactId>build-helper-maven-plugin</artifactId>
		               					<versionRange>[1.11,)</versionRange>
		               					<goals>
		                 					<goal>timestamp-property</goal>
		               					</goals>
		             				</pluginExecutionFilter>
		             				<action>
		               					<ignore/>
		             				</action>
		           				</pluginExecution>
		         			</pluginExecutions>
		       			</lifecycleMappingMetadata>
		     		</configuration>
		    	</plugin>
		  	</plugins>
		</pluginManagement>
    </build>
</project>

</plugins>

<groupId>org.eclipse.m2e</groupId>

<artifactId>lifecycle-mapping</artifactId>

<groupId>org.codehaus.mojo</groupId>

<artifactId>build-helper-maven-plugin</artifactId>

<goals>

<goal>timestamp-property</goal>

</goals>

</pluginExecutionFilter>

</action>

</pluginExecution>

</pluginExecutions>

</lifecycleMappingMetadata>

</configuration>

</plugin>

</plugins>

</pluginManagement>

</build>

</project>

위와 같이 설정을하면 Eclipse 의 오류가 사라진다.

07/06/2016

Maven timestamp 에 timezone 변경하기

maven 은 build timestamp 를 변수로 지원한다. 하지만 자세히 보면 이 timestamp 는 UTC timezone 에 맞춰져 있다. maven 에서 timestamp 는 기본적으로 UTC timezone 을 기반으로 한다. 그런데 이것을 다른 timezone 으로 변경할려면 어떻게 해야할까?

build-helper-maven-plugin

maven 에선 많은 plugin 을 지원한다. build-helper-maven-plugin 은 우리가 필요하는 기능인 timestamp 에 timezone 변경을 지원한다. 변경된 timezone 의 시간을 표시할 변수와 timestamp format, timezone 등을 지정하면 여기서 지정한 변수를 사용할 수 있게 된다.

         <plugin>
              	<groupId>org.codehaus.mojo</groupId>
              	<artifactId>build-helper-maven-plugin</artifactId>
              	<version>1.11</version>
              	<executions>
                  	<execution>
                      	<id>timestamp-property</id>
                      	<goals>
                          	<goal>timestamp-property</goal>
                      	</goals>
                      	<configuration>
                          	<name>current.time</name>
                          	<pattern>yyyyMMddHHmmss</pattern>
                          	<timeZone>Asia/Seoul</timeZone>
                      	</configuration>
                  	</execution>
              	</executions>
          </plugin>
          <plugin>
		<groupId>org.apache.maven.plugins</groupId>
              	<artifactId>maven-war-plugin</artifactId>
              	<version>2.6</version>
              	<configuration>
                  	<warName>${project.artifactId}-${current.time}</warName>
              	</configuration>
          </plugin>

<groupId>org.codehaus.mojo</groupId>

<artifactId>build-helper-maven-plugin</artifactId>

<id>timestamp-property</id>

<goals>

<goal>timestamp-property</goal>

</goals>

<name>current.time</name>

<pattern>yyyyMMddHHmmss</pattern>

<timeZone>Asia/Seoul</timeZone>

</configuration>

</execution>

</executions>

</plugin>

<groupId>org.apache.maven.plugins</groupId>

<artifactId>maven-war-plugin</artifactId>

<warName>${project.artifactId}-${current.time}</warName>

</configuration>

</plugin>

위와같이 current.time 변수에 한국시간의 timezone 으로 지정한 timestamp 값을 할당해주고 maven-war-plugin 에서 warName 태그에서 current.time 변수를 사용해주면 된다.

07/06/2016

war 파일이름에 TimeStamp 찍기

Maven 을 이용하면 자동으로 컴파일을 해주고 war 파일로 만들어 준다. 그런데, 이때에 war 파일에 TimeStamp 를 찍을 수 있다. war 파일명이 project.name-timestamp.war 형식으로 파일을 작성하도록 할수 있다. 방법도 대략 두가지 방법이 있다.

maven 자체 기능

maven 3.0 이상이라면 자체 기능을 이용할 수 있다. properties 에 timestamp 와 maven.build.timestamp.format 을 지정하고 build 영역에서 파일명을 지정해주면 된다. 예를들면 다음과 같다.

...
<properties>

        ....

        <!-- Timestamp of build  -->
        <timestamp>${maven.build.timestamp}</timestamp>
        <maven.build.timestamp.format>yyyyMMddHHmm</maven.build.timestamp.format>

</properties>

...

<build>
        <finalName>${project.artifactId}_${project.version}_${timestamp}</finalName>

        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                ....
            </plugin>
        </plugins>
</build>

...

....

<timestamp>${maven.build.timestamp}</timestamp>

<maven.build.timestamp.format>yyyyMMddHHmm</maven.build.timestamp.format>

</properties>

...

<build>

<finalName>${project.artifactId}_${project.version}_${timestamp}</finalName>

<groupId>org.apache.maven.plugins</groupId>

<artifactId>maven-compiler-plugin</artifactId>

....

</plugin>

</plugins>

</build>

위와같이 설정하고 maven build 를 하면 다음과 같이 출력되는 것을 볼수가 있다.

[INFO] --- maven-war-plugin:2.2:war (default-war) @ mybatis_example1_trans ---
[INFO] Packaging webapp
[INFO] Assembling webapp [mybatis_example1_trans] in [/Users/systemv/Documents/workspace_java/mybatis_example1_trans/target/mybatis_example1_trans-2016070613147]
[INFO] Processing war project
[INFO] Copying webapp resources [/Users/systemv/Documents/workspace_java/mybatis_example1_trans/src/main/webapp]
[INFO] Webapp assembled in [148 msecs]
[INFO] Building war: /Users/systemv/Documents/workspace_java/mybatis_example1_trans/target/mybatis_example1_trans-2016070613147.war
[INFO] WEB-INF/web.xml already added, skipping
[INFO]

[INFO] --- maven-war-plugin:2.2:war (default-war) @ mybatis_example1_trans ---

[INFO] Packaging webapp

[INFO] Assembling webapp [mybatis_example1_trans] in [/Users/systemv/Documents/workspace_java/mybatis_example1_trans/target/mybatis_example1_trans-2016070613147]

[INFO] Processing war project

[INFO] Copying webapp resources [/Users/systemv/Documents/workspace_java/mybatis_example1_trans/src/main/webapp]

[INFO] Webapp assembled in [148 msecs]

[INFO] Building war: /Users/systemv/Documents/workspace_java/mybatis_example1_trans/target/mybatis_example1_trans-2016070613147.war

[INFO] WEB-INF/web.xml already added, skipping

[INFO]

maven-war-plugin 으로 war 파일명 지정

이것은 사실 위 방법을 쓴다면 사용할 일이 별로 없다. 하지만 war 파일을 생성할때에 많은 옵션을 주고 싶다면 이 플러그인을 사용하는게 좋다. 이를 사용하면 build 영역에서 finalName 을 지정하지 않고 이 플러그인에서 지정해주면 된다.

...
<properties>

        ....

        <!-- Timestamp of build  -->
        <timestamp>${maven.build.timestamp}</timestamp>
        <maven.build.timestamp.format>yyyyMMddHHmm</maven.build.timestamp.format>

</properties>

...

<build>
        <plugins>
            <plugin>
		<groupId>org.apache.maven.plugins</groupId>
              	<artifactId>maven-war-plugin</artifactId>
              	<version>2.6</version>
              	<configuration>
                  	<warName>${project.artifactId}-${timestamp}</warName>
              	</configuration>
          	</plugin>
        </plugins>
</build>

...

....

<timestamp>${maven.build.timestamp}</timestamp>

<maven.build.timestamp.format>yyyyMMddHHmm</maven.build.timestamp.format>

</properties>

...

<build>

<groupId>org.apache.maven.plugins</groupId>

<artifactId>maven-war-plugin</artifactId>

<warName>${project.artifactId}-${timestamp}</warName>

</configuration>

</plugin>

</plugins>

</build>

결과는 처음과 같다.

07/03/2016

책임회피를 위해서 상용소프트웨어를 쓴다

시스템을 다루는 사람으로써 SI를 하면서 느끼점을 적어보고자 한다. 사실 지금도 SI 를 하고 있고 나는 시스템을 설계하는 일을 하고 있다.

처음에 프로젝트를 시작할때에 개발자들 위한 개발환경을 구축해줘야 한다. 여기서 대략적인 운영서버에서 사용할 소프트웨어에 대해서 정하게 된다. 나 같은 경우엔 오픈소스를 주로 다루었고 상용서버는 거의 다루지 않았었다. 그러다보니 상용서버에 대해서 그렇게 안전성이 좋다거나 성능이 좋다고 생각하지 않는 경향이 있다. 오히려 오픈소스들이 상용서버에 비해서 다루기가 더 쉬운 편이다.

각설하고 WAS 서버를 무엇으로 할지에 대해서 대기업PM들과 이야기를 하게되었다. JAVA 프로젝트였기 때문에 WAS 서버를 써야할 상황이였는데, 대기업PM 들이 다짜고짜…

JBOSS EAP 를 쓰기로 했습니다.

그래서 내가 궁금해서 물었다.

JEE 프로그램을 돌릴 건가요?

여기서부터 문제였다. JEE 프로그램 스팩을 몰랐다. 대기업 PM들이…

여기서 진행되는 프로젝트는 스프링 프레임워크(Spring Framework)를 기반으로 하고 있다. 일반적인 애플리케이션을 제작하는 것도 아니고 HTTP 프로토콜을 기반을 서비스를 할 예정이다. 그런데 왠 JBOSS EAP 라는 말인가? 그것도 상용으로다가…

나는 Tomcat 을 주장했다. 그정도 프로젝트면 Tomcat 만으로도 충분하기 때문이다. 고작 Web Container 스펙만 구현하고 앉았는데 무거은 JBOSS 를 그것도 돈주고 사야하는 EAP 를 쓸 이유가 없었다.

그런데 그들이 내게한 말은 충격에 가까웠다.

장애가 발생하면 누가 책임집니까? Tomcat 을 쓰다가 문제가 생기면 누구에게 물어봐요?

JBOSS EAP 를 사용하면 문제가 발생하면 업체에 문의도 할 수 있고 그쪽으로 넘기면 되는 겁니다.

이게 우리나라에서 제일 크다고 하는 대기업에서 하고 있는 프로젝트를 이끈다는 PM이 한 소리다.

이뿐만이 아니다. 요즘 클라우드가 대세이다 보니 많은 시스템 구축을 AWS 를 사용한다. AWS 는 알다시피 단순한 가상서버 뿐만 아니라 Database, 통계등도 제공한다. 그중에 AWS RDS 는 데이터베이스를 제공하는 것으로 가상서버를 없애고 마치 원격 데이터베이스를 이용하도록 되어 있다. OS 는 없고 AWS콘솔에서 RDS 의 파라메터를 수정하고 적용하는 방식이다.

그런데, 때로는 AWS 의 EC2 인스턴스에 데이터베이스를 컴파일 설치해서 운영하는 경우도 가끔 있다. 이번 프로젝트가 바로 그러했다. AWS RDS 를 이용하면 자동장애 복구와 백업등 아주 편리한 기능이 있어서 시스템을 다루는 사람에게는 그야말로 훌륭한 선택지다. 하지만 EC2 를 이용해서 직접 데이터베이스를 구축할 경우에는 시스템 엔지니어나 혹은 DBA가 이 데이터베이스에 대해 직접적인 제어가 가능하고 미세조정도 가능한 장점이 있다.

위와같은 장점들을 놓고 선택을 했다면 좋아겠지만 우리나라에서 제일 크다는 대기업이 선택하는 방법은…

운영을 책임지는 입장에서 EC2 위에서 데이터베이스를 설치하고 운영하다 장애나면 그걸 누가 책임집니까? 책임을 우리보고 지라할거고 또 장애나면 조사도 다해야하고 하는데 그럴바에는 AWS RDS 를 쓰는게 나아요..

RDS 에서 장애나면 AWS 로 넘길수 있기 때문이지요.

대기업에서 승진을 위해서는 내가 책임을 지는 일은 결단코 없어야 한다는 것쯤으로 읽힌다.

처음에 나는 왜 이렇게 오픈소스에 대해서 불신이 많은지, 그 이유가 오픈소스를 사용한 경험이 적기 때문이라고 생각했다. 하지만 그건 아주 순진한 생각이였다.

오픈소스를 사용하고 운영중에 장애 발생하면 그것을 책임을 져야 한다는 것이다. 그런데 상용을 사용하면 적어도 그 책임을 타인에게 돌릴 수 있다는 것이다. 그래서 상용소프트웨어를 사용하는 것이다. 그게 전부다. 전문성이 있다거나 그런게 아니다.

국회의원들을 욕할때가 아니다. 사회를 구성하는 사람들의 사고방식 자체가 ‘책임을 지기 싫다’ 라는 생각밖에 없다. 각자 역활분담을 할때에도 되도록이면 책임을 적게 지는 것을 가지고 가기위해서 로비, 뇌물, 친분등을 모두 동원한다. 사회전체가 이런데 국회의원을 욕할 자격이 있나…

나이를 먹어감에 따라 한가지 분명해지는게 있다. 대한민국 국민들이 단체로 정신병에 걸렸다라는 거…. 책임문제와 더블어서 소시오패스적인 성향을 보이는 인간들이 너무나 많다. 자신이 하는 말에 대해서 절대로 책임을 질려고하지 않으면서 나는 세상을 비판할수 있어도 타인이 나를 비판하면 안된다는 사고방식으로 무장한 정신병자들…

안타까운 일이다. 안타까운 일…..

06/20/2016

파이썬 코딩의 기술 예제

길벗 출판사에서 나온 “파이썬 코딩의 기술” 예제는 다음 주소에 있음.

https://github.com/gilbutITbook/006764

개인적으로 파이썬을 어느정도 하고 있다면 틈틈히 봐두면 좋을 책.