M-HA MySQL 설정

MySQL 은 인기있는 오픈소스 데이터베이스 시스템이다. 언제나 데이터베이스 시스템이라면 항상 따라오는 것이 Master-Slave 리플리케이션 환경이고 거기에 덧붙여 자동 페일오버(Auto FailOver) 를 어떻게 할 것이라는 골머리 앓는 주제가 따라서 나온다.

MySQL 의 경우에 자체 적인 FailOver 솔루션이 있다. Fabric 이 그것인데, 아직은 많이 쓰이지는 않는 모양이다. 대신에 AutoFailOver 를 지원하는 제3의 툴들이 존재하는데 M-HA 가 바로 이러한 솔루션이다.

M-HA 는 일본인이 Perl 을 이용해서 작성한 솔루션이다. github 저장소에 소스코드는 공개되어 있으며 저장소이름은 mha4mysql-manager 이다.

구조

M-HA 는 Manager 와 Node  로 이루어진다. Node 는 MySQL 이 설치된 서버에 모두 설치해줘야 한다. Mater/Slave 구조라면 Node 를 모두 설치해줘야 한다.

Manager 는 이들 Node 를 감시하고 이들 전체를 컨트롤하는 역활을 한다.

M-HA 특징

M-HA 를 AutoFailover 로 사용할만한 이유는 다음과 같다.

  • Short downtime
  • MySQL-Replication consistency
  • Easy Installation
  • No chagne to existing deployments

M-HA  를 고려할때에 중요한 부분이 짧은 다운타임이다.  Master/Slave 구조에서 장애시에  Slave 를 Master 로 빠르게 승격을 시켜주어야 한다. 그래야만 두 서버간에 데이터가 달라지는 데이터 무결성이 깨지지 않게 된다. M-HA 는 비교적 이러한 데이터 무결성을 보장하기 위해서 많은 노력을 기울인 솔루션이라고 보면 된다.

M-HA 구성도

최소한의 환경에서 M-HA 를 구성도는 대략 다음과 같다.

M-HA Architecture
M-HA Architecture

M-HA Node 는  MySQL 이 설치된 서버라면 전부 설치해주어야 한다. M-HA Manager 는 외부서버에 설치해된다.

Node 설치

설치는 M-HA 구글 저장소에 가면 각 배포판별로 바이너리로 배포하고 있어 쉽게 설치가능하다. 여기서는 소스를 가지고 컴파일 설치하도록 하겠다.

git 저장소에 소스를 다운받거나 Clone 해서 가지고 와도 된다.

Clone M-HA Source code from github.com
ZSH
1
2
3
4
5
6
7
]# git clone https://github.com/yoshinorim/mha4mysql-node.git
Cloning into 'mha4mysql-node'...
remote: Counting objects: 374, done.
remote: Total 374 (delta 0), reused 0 (delta 0), pack-reused 373
Receiving objects: 100% (374/374), 84.63 KiB | 0 bytes/s, done.
Resolving deltas: 100% (203/203), done.
Checking connectivity... done.

의존성 패키지를 다음과 같이 설치해준다.

Installation dependency package in Ubuntu
1
]# apt-get install libdbd-mysql-perl libmodule-install-perl build-essential

Perl 을 이용해서 소스를 코드를 컴파일 하고 설치해주면 된다.

mha node 설치.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
# cd mha4mysql-node/
# perl Makefile.PL PREFIX=/usr/local
include /usr/src/mha4mysql-node/inc/Module/Install.pm
include inc/Module/Install/Metadata.pm
include inc/Module/Install/Base.pm
include inc/Module/Install/Makefile.pm
include inc/Module/Install/Scripts.pm
include inc/Module/Install/AutoInstall.pm
include inc/Module/Install/Include.pm
include inc/Module/AutoInstall.pm
*** Module::AutoInstall version 1.16
*** Checking for Perl dependencies...
[Core Features]
- DBI        ...loaded. (1.634)
- DBD::mysql ...loaded. (4.033)
*** Module::AutoInstall configuration finished.
include inc/Module/Install/WriteAll.pm
include inc/Module/Install/Win32.pm
include inc/Module/Install/Can.pm
include inc/Module/Install/Fetch.pm
Checking if your kit is complete...
Warning: the following files are missing in your kit:
META.yml
Please inform the author.
Generating a Unix-style Makefile
Writing Makefile for mha4mysql::node
Writing MYMETA.yml and MYMETA.json
Writing META.yml
# make
cp lib/MHA/NodeUtil.pm blib/lib/MHA/NodeUtil.pm
cp lib/MHA/BinlogHeaderParser.pm blib/lib/MHA/BinlogHeaderParser.pm
cp lib/MHA/BinlogPosFinder.pm blib/lib/MHA/BinlogPosFinder.pm
cp lib/MHA/BinlogPosFinderElp.pm blib/lib/MHA/BinlogPosFinderElp.pm
cp lib/MHA/BinlogPosFindManager.pm blib/lib/MHA/BinlogPosFindManager.pm
cp lib/MHA/BinlogManager.pm blib/lib/MHA/BinlogManager.pm
cp lib/MHA/SlaveUtil.pm blib/lib/MHA/SlaveUtil.pm
cp lib/MHA/NodeConst.pm blib/lib/MHA/NodeConst.pm
cp lib/MHA/BinlogPosFinderXid.pm blib/lib/MHA/BinlogPosFinderXid.pm
cp bin/filter_mysqlbinlog blib/script/filter_mysqlbinlog
"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/filter_mysqlbinlog
cp bin/save_binary_logs blib/script/save_binary_logs
"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/save_binary_logs
cp bin/purge_relay_logs blib/script/purge_relay_logs
"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/purge_relay_logs
cp bin/apply_diff_relay_logs blib/script/apply_diff_relay_logs
"/usr/bin/perl" "-Iinc" -MExtUtils::MY -e 'MY->fixin(shift)' -- blib/script/apply_diff_relay_logs
Manifying 4 pod documents
# make install
Manifying 4 pod documents
Installing /usr/local/share/perl/5.22.1/MHA/BinlogHeaderParser.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFinder.pm
Installing /usr/local/share/perl/5.22.1/MHA/SlaveUtil.pm
Installing /usr/local/share/perl/5.22.1/MHA/NodeConst.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFindManager.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFinderElp.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogManager.pm
Installing /usr/local/share/perl/5.22.1/MHA/BinlogPosFinderXid.pm
Installing /usr/local/share/perl/5.22.1/MHA/NodeUtil.pm
Installing /usr/local/man/man1/save_binary_logs.1p
Installing /usr/local/man/man1/purge_relay_logs.1p
Installing /usr/local/man/man1/filter_mysqlbinlog.1p
Installing /usr/local/man/man1/apply_diff_relay_logs.1p
Installing /usr/local/bin/purge_relay_logs
Installing /usr/local/bin/filter_mysqlbinlog
Installing /usr/local/bin/apply_diff_relay_logs
Installing /usr/local/bin/save_binary_logs
Appending installation info to /usr/local/lib/x86_64-linux-gnu/perl/5.22.1/perllocal.pod

위와 같은 설치를 Master/Slave 모든 MySQL 서버에 설치해 준다.

그리고 각 서버에 M-HA 가 접속하기 위한 MySQL 계정을 생성해 준다.

mhausr MySQL 계정 생성
MySQL
1
2
mysql> grant all on *.* to 'mhauser'@'192.168.96.%'  identified by '14321';
mysql> flush privileges;

MySQL 각 서버에 /var/log/masterha 디렉토리를 만들어 준다.

디렉토리 생성
ZSH
1
]# mkdir -p /var/log/masterha

Manager 설치

한가지 주의해야 할 것은 Manager 를 설치하기 전에 Node 도 같이 설치해줘야 한다는 것이다. Manager 설치도 소스코드를 다운받아 설치한다. 그 전에 다음과 같이 의존성 패키지를 설치해준다.

mha-manager 의존성 패키지 설치.
ZSH
1
]# apt-get install libdbd-mysql-perl libmodule-install-perl build-essential libconfig-tiny-perl liblog-dispatch-perl libparallel-forkmanager-perl

소스코드를 다운받는다.

mha manager 설치
ZSH
1
2
3
4
5
6
# git clone https://github.com/yoshinorim/mha4mysql-manager.git
Cloning into 'mha4mysql-manager'...
remote: Counting objects: 1383, done.
remote: Total 1383 (delta 0), reused 0 (delta 0), pack-reused 1383
Receiving objects: 100% (1383/1383), 371.44 KiB | 305.00 KiB/s, done.
Resolving deltas: 100% (830/830), done.

컴파일 설치해 준다.

ZSH
1
2
3
]# perl Makefile.PL PREFIX=/usr/local
]# make
]# make install

Manager 에 mha.cnf 파일 작성

Manager 의 mha.cnf 파일을 다음과 같이 작성한다.

mha.cnf 설정 파일
INI
1
2
3
4
5
6
7
8
9
10
11
12
13
14
[server default]
# mysql user and password
user=mhauser
password=14321
# working directory on the manager
manager_workdir=/var/log/masterha
# working directory on MySQL servers
remote_workdir=/var/log/masterha
 
[server1]
hostname=192.168.96.30
 
[server2]
hostname=192.168.96.32

SSH 접속 설정

M-HA 는 내부적으로 SSH를 이용해서  M-HA Node 의 릴레이 로그들을 전송하도록 한다. 그런데 자동으로 이게 되게 할라면 M-HA Manager 와 Node 들간 모두 SSH 를 무인증으로 접속이 가능해야 한다.

SSH RSA 를 생성하는데, 패스워드를 입력하지 않는다. 그러면 무인증 접속이 가능해진다.

SSH RSA 키 생성.
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa):
Created directory '/root/.ssh'.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
SHA256:Ac6WpLXcWE58hFcxb3RPiALuejV2XZzMhn5oRb4qbxk root@192.168.96.30
The key's randomart image is:
+---[RSA 2048]----+
|      +.++..+o.oo|
|     B @o + .+B+o|
|    . O =o . .oB+|
|     . . .  .o+..|
|        S + .+.o |
|       . o o.Eo  |
|      . .  . .o  |
|       .    oo   |
|            ..   |
+----[SHA256]-----+

각각에 생성한 키들은 ~/.ssh/authorized_keys  파일에 추가해준다. 중요한 것은 각각 서버들은 서로서로 모두 무인증 SSH 접속이 가능해야 한다는 것이다.

SSH 무인증 테스트를 다음과 같이 할 수 있다.

M-HA 의 무인증 SSH 테스트.
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
masterha_check_ssh --conf=/usr/local/etc/mha.cnf
Sun Jul 17 21:01:07 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Sun Jul 17 21:01:07 2016 - [info] Reading application default configuration from /usr/local/etc/mha.cnf..
Sun Jul 17 21:01:07 2016 - [info] Reading server configuration from /usr/local/etc/mha.cnf..
Sun Jul 17 21:01:08 2016 - [info] Starting SSH connection tests..
Sun Jul 17 21:01:09 2016 - [debug]
Sun Jul 17 21:01:08 2016 - [debug]  Connecting via SSH from root@192.168.96.30(192.168.96.30:22) to root@192.168.96.32(192.168.96.32:22)..
Sun Jul 17 21:01:08 2016 - [debug]   ok.
Sun Jul 17 21:01:09 2016 - [debug]
Sun Jul 17 21:01:08 2016 - [debug]  Connecting via SSH from root@192.168.96.32(192.168.96.32:22) to root@192.168.96.30(192.168.96.30:22)..
Sun Jul 17 21:01:09 2016 - [debug]   ok.
Sun Jul 17 21:01:09 2016 - [info] All SSH connection tests passed successfully.

Replication 체크

다음과 같에 Replication 체크를 해본다.

masterha_check_repl 로 Replication 체크
ZSH
1
2
3
4
5
6
7
8
9
10
11
# masterha_check_repl --conf=/usr/local/etc/mha.cnf
Sun Jul 17 21:26:00 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Sun Jul 17 21:26:00 2016 - [info] Reading application default configuration from /usr/local/etc/mha.cnf..
Sun Jul 17 21:26:00 2016 - [info] Reading server configuration from /usr/local/etc/mha.cnf..
Sun Jul 17 21:26:00 2016 - [info] MHA::MasterMonitor version 0.57.
Sun Jul 17 21:26:01 2016 - [error][/usr/local/share/perl5/MHA/ServerManager.pm, ln188] There is no alive server. We can't do failover
Sun Jul 17 21:26:01 2016 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln427] Error happened on checking configurations.  at /usr/local/share/perl5/MHA/MasterMonitor.pm line 329.
Sun Jul 17 21:26:01 2016 - [error][/usr/local/share/perl5/MHA/MasterMonitor.pm, ln525] Error happened on monitoring servers.
Sun Jul 17 21:26:01 2016 - [info] Got exit code 1 (Not master dead).
 
MySQL Replication Health is NOT OK!

여기서 버그가 있다. /usr/local/share/perl5/MHA/DBHelper.pm 파일 198 라인에 $host 변수에 문제가 있다.

$host 변수를 다음과 같이 고친다.
diff
1
2
3
4
- 155     $self->{dsn} = "DBI:mysql:;host=[$host];port=$port;mysql_connect_timeout=4";
+ 155     $self->{dsn} = "DBI:mysql:;host=$host;port=$port;mysql_connect_timeout=4";
- 198     $self->{dsn} = "DBI:mysql:;host=[$host];port=$port;mysql_connect_timeout=4";
+ 198     $self->{dsn} = "DBI:mysql:;host=$host;port=$port;mysql_connect_timeout=4";

위와같이 수정한 후에 다시 한번 해보면 오류를 해결할 수 있다.

이러한 문제는 호스트 이름에 ‘[‘, ‘]’ 를 붙임으로 나타는 현상이다. 이러한 문제는 다음의 파일에도 있다.

1
2
가 있는 오류"]HealthCheck.pm:98:    "DBI:mysql:;host=[$self->{ip}];"
NodeUtil.pm:85:  my $ssh_user_host = $ssh_user . '@[' . $ssh_host . ']';

Manager 실행 시키기.

반드시 위에 버그를 제거한 후에 다음과 같이 실행을 한다.

mha manager 실행
ZSH
1
2
3
4
# masterha_manager --conf=/usr/local/etc/mha.cnf
Mon Jul 18 01:30:43 2016 - [warning] Global configuration file /etc/masterha_default.cnf not found. Skipping.
Mon Jul 18 01:30:43 2016 - [info] Reading application default configuration from /usr/local/etc/mha.cnf..
Mon Jul 18 01:30:43 2016 - [info] Reading server configuration from /usr/local/etc/mha.cnf..

위와같이 실행을 한 후 로그를 보면 다음과 같이 나와야 정상이다.

mha manager 로그.
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
Mon Jul 18 01:30:49 2016 - [info]
192.168.96.32(192.168.96.32:3306) (current master)
+--192.168.96.30(192.168.96.30:3306)
 
Mon Jul 18 01:30:49 2016 - [warning] master_ip_failover_script is not defined.
Mon Jul 18 01:30:49 2016 - [warning] shutdown_script is not defined.
Mon Jul 18 01:30:49 2016 - [debug]  Disconnected from 192.168.96.30(192.168.96.30:3306)
Mon Jul 18 01:30:49 2016 - [debug]  Disconnected from 192.168.96.32(192.168.96.32:3306)
Mon Jul 18 01:30:49 2016 - [debug] SSH check command: save_binary_logs --command=test --start_pos=4 --binlog_dir=/var/log/mysql --output_file=/var/log/masterha/save_binary_logs_test --manager_version=0.57 --binlog_prefix=mysql-bin --debug
Mon Jul 18 01:30:49 2016 - [info] Set master ping interval 3 seconds.
Mon Jul 18 01:30:49 2016 - [warning] secondary_check_script is not defined. It is highly recommended setting it to check master reachability from two or more routes.
Mon Jul 18 01:30:49 2016 - [info] Starting ping health check on 192.168.96.32(192.168.96.32:3306)..
Mon Jul 18 01:30:49 2016 - [debug] Connected on master.
Mon Jul 18 01:30:49 2016 - [debug] Set short wait_timeout on master: 6 seconds
Mon Jul 18 01:30:49 2016 - [debug] Trying to get advisory lock..
Mon Jul 18 01:30:49 2016 - [info] Ping(SELECT) succeeded, waiting until MySQL doesn't respond..

내용을 보면 192.168.96.32 서버가 현재 Master 고 30번 서버가 Slave 로 인식하고 있다.

FailOver 테스트.

간단한 FailOver 테스트를 해보자. 시나리오는 간단하다. 현재 Master 서버를 정지 시켜 보는 것이다. 그러면 다음과 같이 Manager 로그가 올라온다.

FailOver 로그.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
Mon Jul 18 01:27:19 2016 - [debug]  Disconnected from 192.168.96.32(192.168.96.32:3306)
Mon Jul 18 01:27:19 2016 - [info]
 
----- Failover Report -----
 
mha: MySQL Master failover 192.168.96.30(192.168.96.30:3306) to 192.168.96.32(192.168.96.32:3306) succeeded
 
Master 192.168.96.30(192.168.96.30:3306) is down!
 
Check MHA Manager logs at localhost.localdomain:/var/log/masterha/mha.log for details.
 
Started automated(non-interactive) failover.
The latest slave 192.168.96.32(192.168.96.32:3306) has all relay logs for recovery.
Selected 192.168.96.32(192.168.96.32:3306) as a new master.
192.168.96.32(192.168.96.32:3306): OK: Applying all logs succeeded.
Generating relay diff files from the latest slave succeeded.
192.168.96.32(192.168.96.32:3306): Resetting slave info succeeded.
Master failover to 192.168.96.32(192.168.96.32:3306) completed successfully.

위와같이 로그가 온다면 FailOver 가 정상적으로 된 것이다. 또, 로그 디렉토리 /var/log/masterha 디렉토리에 mha.failover.complete 파일이 생성되어 있을 것이다. 또한, manager 가 죽어 있다. 그러니까 FailOver 가 발생되면 다음과 같이 실행이 된다.

  1. Slave 를 Master 로 승격시킨다.
  2. Manager 에 지정한 로그 디렉토리에 mha.failover.complete 파일을 생성한다.
  3. Manager 가 죽는다.

FailOver 가 발생할때마다 Manager 는 정해진 동작을 수행하고 자동으로 죽게 된다.

승격된 Master 서버에서는 다음을 체크해봐야 한다.

  1. show slave status 명령을 입력했을때 아무것도 나오지 말아야 한다.
  2. show variables like ‘%read%’ 명령어를 입력했을때에 read_only 값이 OFF 여야 한다.

위 두가지가 정상적으로 나온다면 M-HA 가 정상적으로 동작한 것이다.

pom.xml Plugin execution not covered by lifecycle configuration 오류

앞에서 mave timestamp 의 TimeZone 변경을 위해서 build-helper-maven-plugin 를 사용했는데 Eclipse 에서 다음과 같이 오류가 난다.

build-helper-maven-plugin Eclipse 오류
build-helper-maven-plugin Eclipse 오류

위 오류내용은 다음과 같다.

Plugin execution not covered by lifecycle configuration: org.codehaus.mojo:build-helper-maven-plugin: 1.11:timestamp-property (execution: timestamp-property, phase: validate)

Eclipse 는 오류를 표시했지만 maven 은 정상적으로 동작한다. 이는 Ecliplse 의 m2e 커넥터의 lifecycle mapping 정보를 명확하게 해야하는데 이것이 없어서 오류로 표시하는 것이다. 다음 URL 에 관련 내용이 있다.

내용을 보면 <pluginManagement> 를 이용해서 lifecycle-mapping 을 설정해주어야 한다. 위 내용을 기반으로  build-helper-maven-plugin 의 execution 에 대해서 mapping 을 지정해주면 해결된다.

lifecycle-mapping 설정.
XHTML
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
</plugins>
        <pluginManagement>
   <plugins>
     <plugin>
     <groupId>org.eclipse.m2e</groupId>
     <artifactId>lifecycle-mapping</artifactId>
     <version>1.0.0</version>
     <configuration>
       <lifecycleMappingMetadata>
         <pluginExecutions>
           <pluginExecution>
             <pluginExecutionFilter>
               <groupId>org.codehaus.mojo</groupId>
               <artifactId>build-helper-maven-plugin</artifactId>
               <versionRange>[1.11,)</versionRange>
               <goals>
                 <goal>timestamp-property</goal>
               </goals>
             </pluginExecutionFilter>
             <action>
               <ignore/>
             </action>
           </pluginExecution>
         </pluginExecutions>
       </lifecycleMappingMetadata>
     </configuration>
     </plugin>
   </plugins>
</pluginManagement>
    </build>
</project>

위와 같이 설정을하면 Eclipse 의 오류가 사라진다.

 

Maven timestamp 에 timezone 변경하기

maven 은 build timestamp 를 변수로 지원한다. 하지만 자세히 보면 이 timestamp 는 UTC timezone 에 맞춰져 있다. maven 에서 timestamp 는 기본적으로 UTC timezone 을 기반으로 한다. 그런데 이것을 다른 timezone 으로 변경할려면 어떻게 해야할까?

build-helper-maven-plugin

maven 에선 많은 plugin 을 지원한다. build-helper-maven-plugin 은 우리가 필요하는 기능인 timestamp 에 timezone 변경을 지원한다. 변경된 timezone 의 시간을 표시할 변수와 timestamp format, timezone 등을 지정하면 여기서 지정한 변수를 사용할 수 있게 된다.

build-helper-maven-plugin Timezone 변경
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
         <plugin>
               <groupId>org.codehaus.mojo</groupId>
               <artifactId>build-helper-maven-plugin</artifactId>
               <version>1.11</version>
               <executions>
                   <execution>
                       <id>timestamp-property</id>
                       <goals>
                           <goal>timestamp-property</goal>
                       </goals>
                       <configuration>
                           <name>current.time</name>
                           <pattern>yyyyMMddHHmmss</pattern>
                           <timeZone>Asia/Seoul</timeZone>
                       </configuration>
                   </execution>
               </executions>
          </plugin>
          <plugin>
<groupId>org.apache.maven.plugins</groupId>
               <artifactId>maven-war-plugin</artifactId>
               <version>2.6</version>
               <configuration>
                   <warName>${project.artifactId}-${current.time}</warName>
               </configuration>
          </plugin>

위와같이 current.time 변수에 한국시간의 timezone 으로 지정한 timestamp 값을 할당해주고 maven-war-plugin 에서 warName 태그에서 current.time 변수를 사용해주면 된다.

war 파일이름에 TimeStamp 찍기

Maven 을 이용하면 자동으로 컴파일을 해주고 war 파일로 만들어 준다. 그런데, 이때에 war 파일에 TimeStamp 를 찍을 수 있다. war  파일명이 project.name-timestamp.war 형식으로 파일을 작성하도록 할수 있다. 방법도 대략 두가지 방법이 있다.

maven 자체 기능

maven 3.0 이상이라면 자체 기능을 이용할 수 있다. properties 에 timestamp 와 maven.build.timestamp.format 을 지정하고 build 영역에서 파일명을 지정해주면 된다. 예를들면 다음과 같다.

maven 3.0 자체 timestamp 이용.
XHTML
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
...
<properties>
 
        ....
 
        <!-- Timestamp of build  -->
        <timestamp>${maven.build.timestamp}</timestamp>
        <maven.build.timestamp.format>yyyyMMddHHmm</maven.build.timestamp.format>
 
</properties>
 
...
 
<build>
        <finalName>${project.artifactId}_${project.version}_${timestamp}</finalName>
 
        <plugins>
            <plugin>
                <groupId>org.apache.maven.plugins</groupId>
                <artifactId>maven-compiler-plugin</artifactId>
                ....
            </plugin>
        </plugins>
</build>

위와같이 설정하고 maven build 를 하면 다음과 같이 출력되는 것을 볼수가 있다.

maven 3.0 timestamp 출력
1
2
3
4
5
6
7
8
9
[INFO] --- maven-war-plugin:2.2:war (default-war) @ mybatis_example1_trans ---
[INFO] Packaging webapp
[INFO] Assembling webapp [mybatis_example1_trans] in [/Users/systemv/Documents/workspace_java/mybatis_example1_trans/target/mybatis_example1_trans-2016070613147]
[INFO] Processing war project
[INFO] Copying webapp resources [/Users/systemv/Documents/workspace_java/mybatis_example1_trans/src/main/webapp]
[INFO] Webapp assembled in [148 msecs]
[INFO] Building war: /Users/systemv/Documents/workspace_java/mybatis_example1_trans/target/mybatis_example1_trans-2016070613147.war
[INFO] WEB-INF/web.xml already added, skipping
[INFO]

maven-war-plugin 으로 war 파일명 지정

이것은 사실 위 방법을 쓴다면 사용할 일이 별로 없다. 하지만 war 파일을 생성할때에 많은 옵션을 주고 싶다면 이 플러그인을 사용하는게 좋다. 이를 사용하면 build 영역에서 finalName 을 지정하지 않고 이 플러그인에서 지정해주면 된다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
...
<properties>
 
        ....
 
        <!-- Timestamp of build  -->
        <timestamp>${maven.build.timestamp}</timestamp>
        <maven.build.timestamp.format>yyyyMMddHHmm</maven.build.timestamp.format>
 
</properties>
 
...
 
<build>
        <plugins>
            <plugin>
<groupId>org.apache.maven.plugins</groupId>
               <artifactId>maven-war-plugin</artifactId>
               <version>2.6</version>
               <configuration>
                   <warName>${project.artifactId}-${timestamp}</warName>
               </configuration>
           </plugin>
        </plugins>
</build>

결과는 처음과 같다.

책임회피를 위해서 상용소프트웨어를 쓴다

시스템을 다루는 사람으로써 SI를 하면서 느끼점을 적어보고자 한다. 사실 지금도 SI 를 하고 있고 나는 시스템을 설계하는 일을 하고 있다.

처음에 프로젝트를 시작할때에 개발자들 위한 개발환경을 구축해줘야 한다. 여기서 대략적인 운영서버에서 사용할 소프트웨어에 대해서 정하게 된다. 나 같은 경우엔 오픈소스를 주로 다루었고 상용서버는 거의 다루지 않았었다. 그러다보니 상용서버에 대해서 그렇게 안전성이 좋다거나 성능이 좋다고 생각하지 않는 경향이 있다. 오히려 오픈소스들이 상용서버에 비해서 다루기가 더 쉬운 편이다.

각설하고 WAS 서버를 무엇으로 할지에 대해서 대기업PM들과 이야기를 하게되었다. JAVA 프로젝트였기 때문에 WAS 서버를 써야할 상황이였는데, 대기업PM 들이 다짜고짜…

JBOSS EAP 를 쓰기로 했습니다.

그래서 내가 궁금해서 물었다.

JEE 프로그램을 돌릴 건가요?

여기서부터 문제였다. JEE 프로그램 스팩을 몰랐다. 대기업 PM들이…

여기서 진행되는 프로젝트는 스프링 프레임워크(Spring Framework)를 기반으로 하고 있다.  일반적인 애플리케이션을 제작하는 것도 아니고 HTTP 프로토콜을 기반을 서비스를 할 예정이다. 그런데 왠 JBOSS EAP 라는 말인가? 그것도 상용으로다가…

나는 Tomcat 을 주장했다. 그정도 프로젝트면 Tomcat 만으로도 충분하기 때문이다. 고작 Web Container 스펙만 구현하고 앉았는데 무거은 JBOSS 를 그것도 돈주고 사야하는 EAP 를 쓸 이유가 없었다.

그런데 그들이 내게한 말은 충격에 가까웠다.

장애가 발생하면 누가 책임집니까? Tomcat 을 쓰다가 문제가 생기면 누구에게 물어봐요?

JBOSS EAP 를 사용하면 문제가 발생하면 업체에 문의도 할 수 있고 그쪽으로 넘기면 되는 겁니다.

이게 우리나라에서 제일 크다고 하는 대기업에서 하고 있는 프로젝트를 이끈다는 PM이 한 소리다.

이뿐만이 아니다. 요즘 클라우드가 대세이다 보니 많은 시스템 구축을 AWS 를 사용한다. AWS 는 알다시피 단순한 가상서버 뿐만 아니라 Database, 통계등도 제공한다. 그중에 AWS RDS 는 데이터베이스를 제공하는 것으로 가상서버를 없애고 마치 원격 데이터베이스를 이용하도록 되어 있다. OS 는 없고 AWS콘솔에서 RDS 의 파라메터를 수정하고 적용하는 방식이다.

그런데, 때로는 AWS 의  EC2 인스턴스에 데이터베이스를 컴파일 설치해서 운영하는 경우도 가끔 있다. 이번 프로젝트가 바로 그러했다. AWS RDS 를 이용하면 자동장애 복구와 백업등 아주 편리한 기능이 있어서 시스템을 다루는 사람에게는 그야말로 훌륭한 선택지다. 하지만 EC2 를 이용해서 직접 데이터베이스를 구축할 경우에는 시스템 엔지니어나 혹은 DBA가 이 데이터베이스에 대해 직접적인 제어가 가능하고 미세조정도 가능한 장점이 있다.

위와같은 장점들을 놓고 선택을 했다면 좋아겠지만 우리나라에서 제일 크다는 대기업이 선택하는 방법은…

운영을 책임지는 입장에서 EC2 위에서 데이터베이스를 설치하고 운영하다 장애나면 그걸 누가 책임집니까? 책임을 우리보고 지라할거고 또 장애나면 조사도 다해야하고 하는데 그럴바에는 AWS RDS 를 쓰는게 나아요..

RDS 에서 장애나면 AWS 로 넘길수 있기 때문이지요.

대기업에서 승진을 위해서는 내가 책임을 지는 일은 결단코 없어야 한다는 것쯤으로 읽힌다.

처음에 나는 왜 이렇게 오픈소스에 대해서 불신이 많은지, 그 이유가 오픈소스를 사용한 경험이 적기 때문이라고 생각했다. 하지만 그건 아주 순진한 생각이였다.

오픈소스를 사용하고 운영중에 장애 발생하면 그것을 책임을 져야 한다는 것이다. 그런데 상용을 사용하면 적어도 그 책임을 타인에게 돌릴 수 있다는 것이다. 그래서 상용소프트웨어를 사용하는 것이다. 그게 전부다. 전문성이 있다거나 그런게 아니다.

국회의원들을 욕할때가 아니다. 사회를 구성하는 사람들의 사고방식 자체가 ‘책임을 지기 싫다’ 라는 생각밖에 없다. 각자 역활분담을 할때에도 되도록이면 책임을 적게 지는 것을 가지고 가기위해서 로비, 뇌물, 친분등을 모두 동원한다. 사회전체가 이런데 국회의원을 욕할 자격이 있나…

나이를 먹어감에 따라 한가지 분명해지는게 있다. 대한민국 국민들이 단체로 정신병에 걸렸다라는 거…. 책임문제와 더블어서 소시오패스적인 성향을 보이는 인간들이 너무나 많다. 자신이 하는 말에 대해서 절대로 책임을 질려고하지 않으면서 나는 세상을 비판할수 있어도 타인이 나를 비판하면 안된다는 사고방식으로 무장한 정신병자들…

안타까운 일이다. 안타까운 일…..

 

JBOSS EAP 6 Standalone 환경 구성하기

JBOSS EAP 6 설치를 끝내고 나면 Standalone 이나 Domain 모드로 운영하기 위한 환경 구성을 해야 한다. JBOSS EAP 6 Standalone 환경 구성은 설치한 JBOSS 에서 Standalone 디렉토리를 복사해서 구성하게 된다.

JBOSS 를 설치는 JBOSS_HOME 을 설치하는 것이다. 이것 자체로 서버를 운영할수 있지만 이것을 GLOBAL 로 하고 각각의 운영위한 서버는 JBOSS_HOME 에 Standalone, Domain 디렉토리를 복사하고 Localize 해서 만들어진다. 이는 마치 Tomcat 의 Multi Instance 구성하기와 유사하다.

기본환경

먼저 기본적인 환경을 체크하고 넘어가자. 다음과 같다.

  • Linux: CentOS 6, 7
  • JAVA_HOME: /opt/jdk1.8.0_91
  • JBOSS_HOME: /opt/EAP-6.4.0

기본적으로 위와 같은 환경이 기본으로 갖추고 있어야 한다. 이를 기반으로 서비스를 위한 Local 서버를 구성할 수 있게 된다.

Command Line Parameter

JBOSS EAP 6 는 독자적인 서비스 노드를 구성하기위해서 Command Line Parameter 를 제공한다. 이를 이용하면 JBOSS EAP 6 에게 값을 전달할 수 있고 JBOSS EAP 6 행동을 제어할 수 있게 된다. 유용한 Command Line Parameter 는 다음과 같다.

Standalone

속성 이름사용법기본값
java.ext.dirsJDK 확장 디렉토리 경로null
jboss.home.dirJBOSS EAP 6 설치된 ROOT 디렉토리$JBOSS_HOME 환경변수로 standalone.sh 파일에 지정되 있음
jboss.server.base.dir서버 컨텐츠를 위한 기본 디렉토리jboss.home.dir/standalone
jboss.server.config.dir기본 설정 디렉토리jboss.server.base.dir/configuration
jboss.server.data.dirpersistent 데이터 파일 스토리지를 위해 사용되는 디렉토리jboss.server.base.dir/data
jboss.server.log.dirserver.log 파일을 가지는 디렉토리jboss.server.base.dir/log
jboss.server.temp.dir임시파일 스토리지를 위한 디렉토리jboss.server.base.dir/tmp
jboss.server.deploy.dir배포된 컨텐츠를 저장하하는데 사용되는 디렉토리jboss.server.base.dir/deployments

위 파라메터는 standanlone.sh 스크립트를 시작할때에 명령행 인자로 줄수 있다. 다시 바꿔 말하면 쉘 환경변수로 저장해 놓고 사용할 수 있다는 걸 의미한다.

이제 본격적으로 독자적인 서비스 노드를 구성해 보자.

독자적인 서비스 노드 구성

독자적인 서비스 노드를 구성하기 위해서 시스템 계정을 하나 만들고 JBOSS_BASE_DIR 로 쓰일 nodes 디렉토리를 생성한다.

JBoss 계정 생성
ZSH
1
2
3
4
5
]# useradd jboss
]# su -
]$ pwd
/home/jboss
]$ mkdir nodes

그리고 JBOSS_HOME 디렉토리에 standalone 디렉토리를 /home/jboss/nodes/node1 으로 복사한다.

standalone 디렉토리 복사
ZSH
1
2
]# cp -a /opt/EAP-6.4.0/standalone /home/jboss/nodes/node1
]# chown jboss: -R /home/jboss/nodes

WAS 서비스를 위해서 JBOSS_HOME 을 이용하는게 아니라 node1 을 이용하게 하는게 목적이다. 모든 서비스는 node1 을 통해서 이루어진다. WAS 의 설정, 컨텐츠 배포, 또 다른 WAS 와 연동등도 모두 node1 을 통해서 이루어지게 된다. 결국에는 JBOSS_HOME 은 일종의 라이브러리와 같은 역활을 담당하게 된다.

그렇다면 node1 을 구동시키기 위한 스크립트가 필요하다. 그리고 이러한 스크립트는 앞에서 설명한 Command Line Parameter 를 이용해서 구동환경을 조성하게 된다.

구동 스크립트

구동스크립트를 만들때에는 다음과 같은 세가지 영역을 포함한다.

  • JBOSS 를 위한 변수
  • JVM  옵션 변수
  • 시작 스크립트

각각의 영역은 파일로 작성되어지고 시작스크립트에서 호출되어서 사용되어지게 될 것이다. 앞으로 작성하게될 파일들의 목록은 다음과 같다.

  • jboss-env.conf
  • jboss-env.sh
  • jboss.properties
  • jvm-env.conf
  • jboss-run.sh
  • jboss-cli.sh

한가지 덧붙이자면, 꼭 이렇게 파일들을 조각낼 필요는 없다. 조각난 파일들로 인해서 오히려 효율이 떨어지고 실수가능성이 높아지는 경우도 많다. 하나의 파일에서 모두 다 처리해도 상관이 없다.

jboss-env.conf

이 파일은 JBOSS EAP 6 를 위한 환경 변수들을 정의한다. 그 내용은 다음과 같다.

jboss-env.conf 파일 내용
INI
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
JBOSS_NODE_NAME=node01
JBOSS_PORT_OFFSET=100
 
JBOSS_USER=jboss
JBOSS_HOME=/opt/EAP-6.4.0
JBOSS_NODE_BASE_DIR=/home/jboss/nodes
 
JBOSS_PIDFILE=${JBOSS_NODE_BASE_DIR}/${JBOSS_NODE_NAME}/run/jboss-eap-${JBOSS_NODE_NAME}.pid
JBOSS_CONFIG=standalone.xml
JBOSS_BASE_LOG_DIR=${JBOSS_NODE_BASE_DIR}/${JBOSS_NODE_NAME}/log
JBOSS_CONSOLE_LOG=${JBOSS_BASE_LOG_DIR}/${JBOSS_NODE_NAME}-console.log
JBOSS_GC_LOG=${JBOSS_BASE_LOG_DIR}/${JBOSS_NODE_NAME}-gc.log
FILE_ENCODING='UTF-8'
SUN_JNU_ENCODING='UTF-8'
 
JBOSS_BIND_ADDR=0.0.0.0
JBOSS_MANAGEMENT_ADDR=127.0.0.1
JBOSS_CONTROLLER_IP=${JBOSS_MANAGEMENT_ADDR}
JBOSS_MULTICAST_ADDR=230.0.0.4
JBOSS_JMS_MULTICAST_ADDR=231.7.0.1
JBOSS_MODCLUSTER_MULTICAST_ADDR=224.0.1.105
 
LAUNCH_JBOSS_IN_BACKGROUND=true
 
STARTUP_WAIT=30
SHUTDOWN_WAIT=30

이 파일은 시스템 환경변수를 지정하는데 있다. 이러한 시스템 환경변수는 나머지 환경파일이나 실행스크립트에서 활용하게 된다.

내용을 간단하게 보면 JBOSS_HOME 과 JBOSS_NODE_BASE_DIR 를 정의해주고 있다. 그리고 JBOSS EAP 6에서 이용할 각종 포트와 주소들도 함께 정의해주고 있다.

jboss-env.sh

이 파일은 실제 JBOSS EAP 6 에 명령행 파라메터를 작성한다. 내용은 다음과 같다.

jboss-env.sh
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
#!/bin/sh
 
DATE=`date +%Y%m%d%H%M%S`
BASE_DIR=$(dirname $0)
 
export JBOSS_CONF=$BASE_DIR/jboss-env.conf
[ -r "$JBOSS_CONF" ] && . "${JBOSS_CONF}"
 
let JBOSS_CONTROLLER_PORT=9999+${JBOSS_PORT_OFFSET}
export JBOSS_CONTROLLER_PORT
 
########## JBoss System module and User module directory ##########
export JBOSS_MODULEPATH=$JBOSS_HOME/modules:$JBOSS_HOME/modules/ext
 
# JVM Options : Server
export JAVA_OPTS="-server $JAVA_OPTS"
 
# Linux Large Page Setting
#export JAVA_OPTS=" $JAVA_OPTS -XX:+UseLargePages "
export JAVA_OPTS=" $JAVA_OPTS -verbose:gc"
export JAVA_OPTS=" $JAVA_OPTS -Djava.net.preferIPv4Stack=true"
export JAVA_OPTS=" $JAVA_OPTS -Dorg.jboss.resolver.warning=true"
export JAVA_OPTS=" $JAVA_OPTS -Dsun.rmi.dgc.client.gcInterval=3600000 "
export JAVA_OPTS=" $JAVA_OPTS -Dsun.rmi.dgc.server.gcInterval=3600000"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.modules.system.pkgs=org.jboss.byteman"
export JAVA_OPTS=" $JAVA_OPTS -Djava.awt.headless=true"
export JAVA_OPTS=" $JAVA_OPTS -Dfile.encoding=${FILE_ENCODING}"
export JAVA_OPTS=" $JAVA_OPTS -Dsun.jnu.encoding=${SUN_JNU_ENCODING}"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.home.dir=${JBOSS_HOME}"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.server.base.dir=${JBOSS_NODE_BASE_DIR}/${JBOSS_NODE_NAME}"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.server.log.dir=${JBOSS_BASE_LOG_DIR}"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.socket.binding.port-offset=${JBOSS_PORT_OFFSET}"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.node.name=${JBOSS_NODE_NAME}"
 
export JAVA_OPTS=" $JAVA_OPTS -Djboss.bind.address.management=${JBOSS_MANAGEMENT_ADDR}"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.bind.address=${JBOSS_BIND_ADDR}"
#export JAVA_OPTS=" $JAVA_OPTS -Djboss.bind_addr=$JBOSS_MULTICAST_ADDR"
#export JAVA_OPTS=" $JAVA_OPTS -Djboss.default.jgroups.stack=tcp"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.default.multicast.address=$JBOSS_MULTICAST_ADDR"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.messaging.group.address=$JBOSS_JMS_MULTICAST_ADDR"
export JAVA_OPTS=" $JAVA_OPTS -Djboss.modcluster.multicast.address=$JBOSS_MODCLUSTER_MULTICAST_ADDR"
export JAVA_OPTS=" $JAVA_OPTS -Dorg.jboss.as.logging.per-deployment=true"
export JAVA_OPTS=" $JAVA_OPTS -Dserver.mode=local"
#JBOSS_OPTS="$JBOSS_OPTS -Djboss.jvmRoute=jvm1"
#JBOSS_OPTS="$JBOSS_OPTS -Djboss.mod_cluster.jvmRoute=node1"
#JBOSS_OPTS=" $JBOSS_OPTS -Dexternal.deployment.dir=$DOMAIN_BASE/$SERVER_NAME/biz"
 
#export JAVA_OPTS=" $JAVA_OPTS -Djboss.server.config.dir=${JBOSS_NODE_BASE_DIR}/${JBOSS_NODE_NAME}/configuration"
#export JAVA_OPTS=" $JAVA_OPTS -Djboss.domain.config.user.dir=${JBOSS_NODE_BASE_DIR}/${JBOSS_NODE_NAME}/configuration"
 
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH
 
echo "=================================================================="
echo "JAVA_HOME=$JAVA_HOME"
echo "JBOSS_HOME=$JBOSS_HOME"
echo "JBOSS_NODE_NAME=$JBOSS_NODE_NAME"
echo "JBOSS_NODE_BASE_DIR=$JBOSS_NODE_BASE_DIR"
echo "JBOSS_CONFIG=$JBOSS_CONFIG"
 
echo "JBOSS_BIND_ADDR=$JBOSS_BIND_ADDR"
echo "JBOSS_PORT_OFFSET=$JBOSS_PORT_OFFSET"
 
echo "JBOSS_PIDFILE=$JBOSS_PIDFILE"
echo "JBOSS_CONSOLE_LOG=$JBOSS_CONSOLE_LOG"
echo "JBOSS_GC_LOG=$JBOSS_GC_LOG"
echo "=================================================================="

jboss-env.conf 파일에서 정의한 환경변수들을 사용하고 있다.

jvm-env.conf

이름에도 알수 있듯이 jvm 설정을 위한 내용을 담고 있다. 내용은 다음과 같다.

jvm-env.conf
Shell
1
2
3
4
5
6
7
8
9
10
11
#!/bin/sh
 
# JVM Options : Memory
export JVM_OPTS=" $JVM_OPTS -Xms1024m -Xmx1024m -XX:MaxPermSize=256m"
export JVM_OPTS=" $JVM_OPTS -XX:+PrintGCTimeStamps "
export JVM_OPTS=" $JVM_OPTS -XX:+PrintGCDetails "
export JVM_OPTS=" $JVM_OPTS -Xloggc:${JBOSS_GC_LOG}"
#export JVM_OPTS=" $JVM_OPTS -XX:+UseParallelGC "
export JVM_OPTS=" $JVM_OPTS -XX:+UseConcMarkSweepGC "
export JVM_OPTS=" $JVM_OPTS -XX:+ExplicitGCInvokesConcurrent "
export JVM_OPTS=" $JVM_OPTS -XX:-HeapDumpOnOutOfMemoryError "

JVM 이 사용할 메모리양과 GC 종류를 정의해주고 있다.

jboss-run.sh

이 파일은 독자적인 서비스 노드인 node1 을 시작하고 중지시키기위한 스크립트이다. 위에서 설명한 모든 파일들을 Source 해 사용하고 JBOSS EAP 6 가 제공하는 레드햇 계열의 init 스크립트를 활용한다. JBOSS EAP 6 를 설치를 하고 나면 JBOSS_HOME/bin/init.d 디렉토리에 레드햇 계열 리눅스를 위한 서비스 시작, 중지 스크립트가 있다. jboss-run.sh 는 위에서 기술한 모든 환경변수 세팅 파일들을 읽어서 최종적으로  JBOSS EAP 6 의 init 스크립트를 실행시키게 된다. 내용은 다음과 같다.

jboss-run.sh
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
#!/bin/sh
 
BASE_DIR=$(dirname $0)
 
# jvm setting
export JBOSS_JVM=$BASE_DIR/jvm-env.conf
[ -r "$JBOSS_JVM" ] && . "${JBOSS_JVM}"
 
. ${BASE_DIR}/jboss-env.sh
 
export JAVA_OPTS=" $JAVA_OPTS $JVM_OPTS"
 
if [ "x$1" == "xstart" ]; then
  if [ -e $JBOSS_CONSOLE_LOG ]; then
    mv $JBOSS_CONSOLE_LOG ${JBOSS_CONSOLE_LOG}.${DATE}
  fi
 
  if [ -e $JBOSS_GC_LOG ]; then
    mv $JBOSS_GC_LOG ${JBOSS_GC_LOG}.${DATE}
  fi
fi
 
${JBOSS_HOME}/bin/init.d/jboss-as-standalone.sh $1

맨 마지막이 바로 JBOSS EAP 6 에서 제공하는 init 스크립트를 호출하는 부분이다. $1 인자값은 start, stop 등으로 시작과 중지를 시킬수 있도록 했다.

jboss.properties

이 파일은 key=value 형태로 값을 지정하고 JBOSS EAP 6 실행시 값을 반영할 수 있게 해준다. 이는 명령행 인자 전달과 동일한 효과를 내지만 오로지 JBOS EAP 6 속성만을 지정해야 한다. 명령해 인자 파라메터는 정확하게 JBOSS EAP 6 에 전달하는것이 아니라 JVM 으로 전달해 JBOSS EAP 6 이 그것을 읽는 방식일 취한다.

어쨌든, jboss.properties 의 내용은 다음과 같다.

jboss.properties
INI
1
2
3
4
5
org.apache.catalina.connector.URI_ENCODING=UTF-8
org.apache.catalina.connector.USE_BODY_ENCODING_FOR_QUERY_STRING=true
org.apache.coyote.http11.Http11Protocol.MAX_HEADER_SIZE=8192
org.apache.coyote.ajp.DEFAULT_CONNECTION_TIMEOUT=60000
org.apache.coyote.http11.DEFAULT_CONNECTION_TIMEOUT=60000

jboss-cli.sh

JBOSS EAP 6 로 넘어오면서 많은 변화가 있었지만 그중에 하나가 바로 명령행 콘솔에서 JBOSS EAP 6 을 제어할 수 있다는데 있다. 이것은 JBOSS_HOME/bin/jboss-cli.sh 파일을 통해서 실행되는데, 여기서 jboss-cli.sh 파일을 별도로 만드는 이유는 node1 에 맞추기 위해서다. 내용을 보면 이해가 될 것이다.

jboss-cli.sh
Shell
1
2
3
4
5
6
7
8
9
#!/bin/sh
 
BASE_DIR=$(dirname $0)
 
. $BASE_DIR/jboss-env.sh
 
export JAVA_OPTS=" -Djava.awt.headless=false $JAVA_OPTS"
 
$JBOSS_HOME/bin/jboss-cli.sh --controller=$JBOSS_CONTROLLER_IP:$JBOSS_CONTROLLER_PORT --connect $@

node1 을 위한 jboss-env.sh 를 소스하고 있다. 이렇게 함으로써 node1 을 위한 환경변수들을 사용해 node1 을 위한 명령행 콘솔로 진입하게 된다.

정리

지금까지 기술한 것을 정리하면 다음과 같다.

  • /opt/EAP-6.4.0/standalone 디렉토리를 /home/jboss/nodes/node1 으로 복사
  • node1 안에 위에서 기술한 파일들을 작성

시작, 중지

이제 모든 파일을 다 만들었다면, node1 서비스를 시작, 중지 시켜보자. 시작과 중지는 다음과 같이 한다. 참고로 이 스크립트의 실행은 반드시 슈퍼유저인 root 로 해야한다.

node1 시작
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
]# ./jboss-run.sh start
==================================================================
JAVA_HOME=/opt/java
JBOSS_HOME=/opt/EAP-6.4.0
JBOSS_NODE_NAME=node01
JBOSS_NODE_BASE_DIR=/home/jboss/nodes
JBOSS_CONFIG=standalone.xml
JBOSS_BIND_ADDR=0.0.0.0
JBOSS_PORT_OFFSET=100
JBOSS_PIDFILE=/home/jboss/nodes/node01/run/jboss-eap-node01.pid
JBOSS_CONSOLE_LOG=/home/jboss/nodes/node01/log/node01-console.log
JBOSS_GC_LOG=/home/jboss/nodes/node01/log/node01-gc.log
==================================================================
Starting jboss-as:                                         [  OK  ]

init 스크립트를 이용하기 때문에 자동으로 백그라운드로 전환되고 화면에는 아무것도 나오지 않는다. 구동시에 화면에 뿌려지는 내용은 로그로 기록된다.

중지는 다음과 같이 한다.

node1 중지
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
]# ./jboss-run.sh stop
==================================================================
JAVA_HOME=/opt/java
JBOSS_HOME=/opt/EAP-6.4.0
JBOSS_NODE_NAME=node01
JBOSS_NODE_BASE_DIR=/home/jboss/nodes
JBOSS_CONFIG=standalone.xml
JBOSS_BIND_ADDR=0.0.0.0
JBOSS_PORT_OFFSET=100
JBOSS_PIDFILE=/home/jboss/nodes/node01/run/jboss-eap-node01.pid
JBOSS_CONSOLE_LOG=/home/jboss/nodes/node01/log/node01-console.log
JBOSS_GC_LOG=/home/jboss/nodes/node01/log/node01-gc.log
==================================================================
Stopping jboss-as:                                         [  OK  ]

정상적으로 종료 되는 것을 볼 수 있으며 보다 자세한 내용은 로그를 보면 된다.

JBoss EAP 6.4 설치

 JBoss EAP 6.4 설치

JBoss EAP 6.4 설치에 대해 다룬다. JBoss EAP 6.4 설치는 GUI와 Text 기반 설치 두가지를 지원 한다. 여기서는 Linux 터미널에서 Text 기반 설치에 대해서 다룬다.

사전준비

JBoss EAP 6.4 를 설치하기 위해서는 JDK 1.7 이상 필요하다. JDK 1.6도 지원한다고 되어 있지만 현시점(2016. 06) 에서 1.6은 너무나 구형이라 권장하지 않는다.

설치를 위해서는 설치 파일이 필요한데, zip 파일과 installer 파일 형태로 제공된다. zip 파일은 그냥 압축해제하면 되지만 installer 는 인스톨 과정을 거쳐야 한다. 여기서는 installer를 이용한 설치에 대해서만 다룬다.

설치

설치 레이아웃은 다음과 같다.

  • JBOSS_HOME: /opt/EAP-6.4.0
  • JAVA_HOME: /opt/jdk1.8.0_40

JBoss EAP 6.4 의 인스톨 파일은 jboss-eap-6.4.0-installer.jar 이다. Text 기반으로 설치를 위해서는 다음과 같이 명령어를 쳐주면 시작된다.

Text 기반 JBoss EAP 6.4 설치.
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
~]$ java -version
java version "1.8.0_40"
Java(TM) SE Runtime Environment (build 1.8.0_40-b26)
Java HotSpot(TM) 64-Bit Server VM (build 25.40-b25, mixed mode)
~]$ java -jar jboss-eap-6.4.0-installer.jar -console
Select language :
0: eng
1: chn
2: deu
3: fra
4: jpn
5: por
6: spa
Please choose [-1] : 0
Copyright (c) 2013 Red Hat, Inc. All rights reserved. Red Hat, JBoss and the JBoss logo are registered trademarks of Red Hat, Inc. All other trademarks are the property of their respective owners.
press 1 to continue, 2 to quit, 3 to redisplay.
1
 
Select the installation path:  [/opt/EAP-6.4.0]
press 1 to continue, 2 to quit, 3 to redisplay.
1
 
 
Select the packs you want to install:
1    [x] [Required]      [Red Hat JBoss Enterprise Application Platform] (542.89 KB)
2    [x]                 [AppClient] (34.24 KB)
3    [x] [Required]      [Bin] (10.99 MB)
4    [x] [Required]      [Bundles] (1.01 MB)
5    [x]                 [Docs] (4.75 MB)
6    [x] [Required]      [Domain] (125.56 KB)
7    [x] [Required]      [Domain Shell Scripts] (17.35 KB)
8    [x] [Required]      [Modules] (147.01 MB)
9    [x] [Required]      [Standalone] (152.77 KB)
10   [x] [Required]      [Standalone Shell Scripts] (14.16 KB)
11   [x] [Required]      [Welcome Content] (2.11 MB)
12   [x]                 [Red Hat JBoss Enterprise Application Platform Natives] (8 KB)
13   [x]                 [Native RHEL7 x86_64] (76 KB)
14   [x]                 [Native Utils RHEL7 x86_64] (53.04 KB)
15   [x]                 [Native Webserver RHEL7 x86_64] (254.97 KB)
Total Size Required: 167.11 MB
Press 0 to confirm your selections
Please select which packs you want to install
0
Pack Selection Done
press 1 to continue, 2 to quit, 3 to redisplay.
1
 
Create an administrative user
This user will be added to the host container's management realm for administrative purposes. It can be used to access the management console, the management CLI or other applications secured in this realm.
 
The password must be at least eight characters long, with one alphabetic character, one digit, and one non-alphanumeric character not including &.
 
Admin username: [admin]
admin
Admin password: []
**********
Confirm admin password: [**********]
**********
press 1 to continue, 2 to quit, 3 to redisplay.
1
Quickstarts
Red Hat JBoss Enterprise Application Platform comes with a series of quickstart examples designed to help users begin writing applications using the Java EE 6 technologies. Would you like to install quickstarts?
0  [x] No
1  [ ] Yes
Input Selection:
0
 
press 1 to continue, 2 to quit, 3 to redisplay.
1
 
Socket Bindings
Configure the socket bindings for Red Hat JBoss Enterprise Application Platform.
 
Select Port Configuration:
0  [x] Use the default port bindings for standalone and domain modes.
1  [ ] Configure an offset for all default port bindings.
2  [ ] Configure custom port bindings.
Input Selection:
0
 
 
 
If this computer is using a pure IPv6 configuration, please check the box below.
  [ ] Enable pure IPv6 configuration
Input 1 to select, 0 to deselect:
0
press 1 to continue, 2 to quit, 3 to redisplay.
1
 
Server Launch
Choose server startup mode:
0  [x] Don't start the server
1  [ ] Standalone Mode
2  [ ] Domain Mode
Input Selection:
0
 
press 1 to continue, 2 to quit, 3 to redisplay.
1
 
Logging Options
 
Configure the logging levels for Red Hat JBoss Enterprise Application Platform?
0  [x] No
1  [ ] Yes
Input Selection:
0
 
 
press 1 to continue, 2 to quit, 3 to redisplay.
1
 
Configure runtime environment
There are several additional options for configuring Red Hat JBoss Enterprise Application Platform now that the server has been installed. Each option can be individually chosen, and will be configured in the order displayed upon pressing next. Would you like to do this now?
0  [x] Perform default configuration
1  [ ] Perform advanced configuration
Input Selection:
0
 
press 1 to continue, 2 to quit, 3 to redisplay.
1
 
[ Starting to unpack ]
[ Processing package: Red Hat JBoss Enterprise Application Platform (1/15) ]
[ Processing package: AppClient (2/15) ]
[ Processing package: Bin (3/15) ]
[ Processing package: Bundles (4/15) ]
[ Processing package: Docs (5/15) ]
[ Processing package: Domain (6/15) ]
[ Processing package: Domain Shell Scripts (7/15) ]
[ Processing package: Modules (8/15) ]
[ Processing package: Standalone (9/15) ]
[ Processing package: Standalone Shell Scripts (10/15) ]
[ Processing package: Welcome Content (11/15) ]
[ Processing package: Red Hat JBoss Enterprise Application Platform Natives (12/15) ]
[ Processing package: Native RHEL7 x86_64 (13/15) ]
[ Processing package: Native Utils RHEL7 x86_64 (14/15) ]
[ Processing package: Native Webserver RHEL7 x86_64 (15/15) ]
[ Unpacking finished ]
[ Starting processing ]
Starting process Logging installation information (1/4)
IzPack variable state written to /opt/EAP-6.4.0/installation/InstallationLog.txt
Starting process Adding temporary admin user (2/4)
Exit code: 0
Command completed successfully.
Starting process Adding admin user (3/4)
Exit code: 0
Command completed successfully.
Starting process Unpacking natives (4/4)
Command success: cp -rP /opt/EAP-6.4.0/jboss-eap-6.4/modules /opt/EAP-6.4.0
Command success: cp /opt/EAP-6.4.0/jboss-eap-6.4/SHA256SUM /opt/EAP-6.4.0
Unpacking complete.
Create shortcuts in the Start-Menu (y/n) [y]:n
Installation has completed successfully.
Application installed on /opt/EAP-6.4.0
Would you like to generate an automatic installation script and properties file? (y/n) [n]:n
[ Console installation done ]

설치 중간중간에 관리자가 선택해야할 사항들이 존재한다. 설치할 패키지들 목록과 포트 설정, 서버 설정, 로깅 설정등을 보다 디테일하게 할 수도 있다.

삭제

삭제는 설치한 디렉토리를 삭제하면 되지만 uninstaller 를 제공한다. EAP_HOME 디렉토리에 Uninstaller 디렉토리에 보면 uninstaller.jar 파일을 제공한다. 역시 Text 기반 삭제는 다음과 같이 하면 된다.

JBoss EAP 삭제
ZSH
1
]$ java -jar uninstaller.jar -console

 

MongoDB 3.x 인증 알고리즘 변경

MongoDB 3.x 부터는 인증 알고리즘이 MONGODB-CR 에서 SCRAM-SHA-1 으로 변경되었다. 그런데 특정 사용자에 대해서 MONGODB-CR 방식을 적용해야할 필요가 생기기도 한다. 그래서 사용자마다 알고리즘을 달리 적용할 수 있을까?

결론부터 말하면 MongoDB 3.x 는 이를 지원하지만 지원하는 것 같지 않은 상태다. 공식적인 지원을 하지만 이를 구현하기 위해서는 서버를 중단해야하고 인증을 해제해야한 다음에 사용자 알고리즘을 고치고 다시 인증을 걸고 서버를 재시작해야 한다.

또, Replica Set 상태에서 Primary 에서 MONGODB-CR 인증을 설정한다고 하더라도 Secondary  에서는 SCRAM-SHA-1 으로 싱크가 된다. 그래서 프로그램상에서 Replica Set 에서 접속할때에 MONGODB-CR 인증방식으로 접속을 시도하면 Primary 에서는 정상으로 접속되나 Secondary 서버에서는 인증이 실패해 접속이 안된다.

이러한 한계에도 불구하고 MongoDB 3.x 인증 알고리즘 변경 은 다음과 같이하면 된다.

서버 셧다운

제일 번저 서버를 셧다운 해야한다. 이유는 인증모드를 해제하기 위해서다. 관리자로 로그인을 한 후에 다음과 같이 서버를 셧다운 한다.

mongodb 서버 셧다운
1
2
3
4
5
6
7
8
9
10
> db.shutdownServer({force:true})
server should be down...
2016-06-11T01:35:35.931+0900 I NETWORK  [thread1] trying reconnect to 127.0.0.1:27017 (127.0.0.1) failed
2016-06-11T01:35:35.932+0900 W NETWORK  [thread1] Failed to connect to 127.0.0.1:27017, reason: errno:111 Connection refused
2016-06-11T01:35:35.932+0900 I NETWORK  [thread1] reconnect 127.0.0.1:27017 (127.0.0.1) failed failed
2016-06-11T01:35:35.934+0900 I NETWORK  [thread1] trying reconnect to 127.0.0.1:27017 (127.0.0.1) failed
2016-06-11T01:35:35.934+0900 W NETWORK  [thread1] Failed to connect to 127.0.0.1:27017, reason: errno:111 Connection refused
2016-06-11T01:35:35.934+0900 I NETWORK  [thread1] reconnect 127.0.0.1:27017 (127.0.0.1) failed failed
> exit
bye

 

무인증 설정

이제 MongoDB 설정 파일에서 인증 부분을 주석처리해 무인증으로 만들고 서버를 시작한다.

mongod.conf 무인증 설정
YAML
1
2
3
4
security:
  #keyFile: "/home/instance1/mongodb/etc/.keyfile/mongodb_keyfile"
  #clusterAuthMode: "keyFile"
  authorization: "disabled"

이렇게 한 후에 서버를 시작하면 인증없이 모든 것을 할 수 있게 된다.

 

MONGODB-CR 인증 계정 생성

MONGODB-CR  인증을 생성하기 위해서는  MongoDB  자체의 인증 방법을 먼저 변경을 해줘야 한다. 이 변경은 역시 무인증 서버상태에서만 가능하다.

MongoDB 인증 모드 변경
1
2
3
4
5
> use admin
switched to db admin
> db.system.version.save({ "_id" : "authSchema", "currentVersion" : 3 });
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
>

authSchema 버전을 3으로 변경하는데 이게 MONGODB-CR 인증 방법을 말한다. 5번은 SCRAM-SHA-1 이다.

이제 생성하고자하는 계정의 데이터베이스로 가서 계정을 생성한다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
> use test
switched to db test
> db.createUser({
... user: "test1",
... pwd: "154321",
... roles: [ { role: "readWrite", db: "test" } ]
... });
Successfully added user: {
"user" : "test1",
"roles" : [
{
"role" : "readWrite",
"db" : "test"
}
]
}

생성된 계정을 확인해보면 다음과 같다.

계정 확인
1
2
3
> db.system.users.find()
{ "_id" : "test.test1", "user" : "test1", "db" : "test", "credentials" : { "MONGODB-CR" : "d742f64096c71b3a2aef03165f428f76" }, "roles" : [ { "role" : "readWrite", "db" : "test" } ] }
>

 

인증방법 복원

MONGODB-CR 을 위한 계정을 생성했다면 SCRAM-SHA-1 로 바꾸고 서버에 인증을 걸어야 한다.

SCRAM-SHA-1 인증으로 변경
1
2
3
> db.system.version.save({ "_id" : "authSchema", "currentVersion" : 5 });
WriteResult({ "nMatched" : 1, "nUpserted" : 0, "nModified" : 1 })
>

그리고 설정파일에 인증을 걸어준다.

Mongo 설정파일 변경
YAML
1
2
3
4
security:
  keyFile: "/home/instance1/mongodb/etc/.keyfile/mongodb_keyfile"
  clusterAuthMode: "keyFile"
  authorization: "enabled"

그리고 서버를 재시작해주면 된다.

문제점

문제점은 앞에서 이야기 했듯이 Replica Set 상태에서 Primary 에서 MONGODB-CR 인증으로 계정을 생성했다고 하더라도 Secodary 에서는 SCRAM-SHA-1 으로 싱크가 된다. 그래서 Secondary 서버에 MONGODB-CR로 인증할려면 오류를 낸다.