CentOS 7 싱글모드 부팅

centos logoCentOS 7 에서 많은 변화가 있지만 그 중에 하나가 싱글 모드(Single Mode) 부팅 입니다.

CentOS 6 에서 싱글모드 부팅을 위해서 부팅 커널 이미지 옵션으로 1 을 입력하면 되었습니다. 하지만 CentOS 7 에서는 그렇게하면 안됩니다.

이 문서는 CentOS 7 싱글모드 부팅 을 어떻게 하는지에 대한 글 입니다.

1. 싱글모드 부팅 (Single Mode Booting)

CentOS 7 에서는 부팅 매니저가 Grub2 로 변경 되었습니다. Grub2 부팅 매니저가 나오면 ‘e’ 를 클릭해서 부팅 커널 이미지를 선택 합니다.

CentOS 7 Grub2
CentOS 7 Grub2

그러면 선택한 커널 이미지에 대한 Grub2 의 각각지 설정값들을 볼수 있으며 커널 이미지와 이에 대한 옵션들을 볼 수 있습니다.

CentOS 7 Grub2 에서 부팅 커널 편집
CentOS 7 Grub2 에서 부팅 커널 편집

화면를 자세히 보시면 파일시스템 마운트 옵션인 ‘ro’를 보실 수 있습니다. 이부분을 다음과 같이 바꿔 줍니다.

CentOS 7 싱글모드 옵션
CentOS 7 싱글모드 옵션

‘ro’ 되어 있던 부분을 ‘rw init=/sysroot/bin/sh’ 로 변경해 줍니다. 그리고 아래부분에 나온대로 Ctrl-x 를 눌러줍니다. 그러면 부팅이 됩니다.

CentOS 7 싱글모드
CentOS 7 싱글모드

가만히 생각해보면 CentOS 7 에서의 싱글모드 부팅은 CentOS 7 의 복구부팅(Rescue Booting) 과 유사합니다.

CentOS 7 싱글모드로 부팅을 하면 /sysroot 디렉토리로 파일시스템을 rw 모드로 마운팅을 해줍니다.

2. Root 패스워드 리셋

보통 싱글모드 부팅을 하는 많은 목적중에 Root 패스워드 리셋이 있습니다. Root 패스워드를 잊어먹어서 Root 패스워드를 바꾸고 싶을때에 싱글모드로 부팅을 하면 인증없이 Root 쉘을 받을 수 있고 그래서 바로 바꿀 수 있습니다.

그런데 CentOS 7 에서 싱글모드 부팅은 복구모드처럼 부팅을 하기 때문에 먼저 파일시스템을 chroot 를 이용해서 변경해 줍니다.

CentOS 7 싱글모드에서 패스워드 변경
CentOS 7 싱글모드에서 패스워드 변경

‘chroot /sysroot’ 로 변경을 하고 패스워드를 변경해 줍니다. ‘touch /.autorelabel’ 는 SELinux 를 신규로 업데이트 해주는 겁니다.

Bash History 를 Syslog 에 남기기

centos logoBash 쉘은 명령어 히스토리 기능을 제공 합니다. history 명령어를 입력하면 지금까지 사용했던 Bash 명령어들이 모두 보여 줍니다.

이러한 기능은 사용자 홈 디렉토리에 ‘.bash_history’ 파일에 기록되어 집니다. 그러나 여러 사람이 사용하는 서버에서 각 사용자 홈 디렉토리에 히스토리를 남기기 보다는 리눅스의 syslog 에 남기게 함으로써 사용자가 못된 일을 하는지 않하는지를 감시하도록 하면 좋을 것입니다.

이 문서는 Bash History 를 Syslog 에 남기기 에 대한 것입니다.

1. logger 를 이용한 방법

logger 는 쉘 명령어를 syslog 에 적도록하는 모듈 입니다. 이를 이용하면 수동으로 syslog 에 기록을 남기게 할 수 있습니다. 이를 이용해서 다음과 같이 /etc/profile.d/cmd.sh 파일을 작성 합니다.

/etc/profile.d/cmd.sh
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
function history_to_syslog
{
declare cmd
        who=$(whoami)
        cmd=$(history 1)
        TTY=`tty`
        HISNAME="`basename $TTY`"
ip=`who |grep pts/${HISNAME} |cut -f 2 -d \(|cut -f 1 -d \)`
 
logger -p local7.notice -- IP=$ip USER=$who, PID=$$, PWD=$PWD, CMD=$cmd
}
trap history_to_syslog DEBUG || EXIT
 
HISTSIZE=10000
HISTFILESIZE=1000000
HISTTIMEFORMAT="%F %T "
 
export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE HISTFILESIZE HISTTIMEFORMAT INPUTRC
 
declare -r HISTFILE

이제 이를 Source 해 줍니다.

Shell
1
source /etc/profile.d/cmd.sh

2. rsyslog 설정

다음과 같이 설정을 해줍니다.

/etc/rsyslog.conf
Shell
1
2
3
#user command log
local7.notice                                           /var/log/bash_history
local7.notice                                           @192.168.0.2:514 # udp transfer

이렇게하면 ‘/var/log/bash_history’ 파일에 Bash 쉘 히스토리가 남기며 ‘192.168.0.2’ 서버에 로그를 전송합니다.

CentOS 7 에서 네트워크 인터페이스 이름 바꾸기

centos logoCentOS 7 은 많은 변화가 있었지만 그중 하나가 네트워크 인터페이스 이름 입니다.

지금까지 네트워크 인터페이스 이름은 eth0, eth1 식으로 고정되어 있었습니다. 하지만 CentOS 7 부터는 바이오스 장치 이름을 조합해서 생성됩니다. 다시 말해서 각 서버마다 네트워크 인터페이스 카드가 모두 동일하다고 할지라도 CentOS 7 에서의 네트워크 인터페이스 이름은 모두 다를 수가 있다는 겁니다.

이 문서는 CentOS 7 에서 네트워크 인터페이스 이름 바꾸기 에 대한 것입니다.

1. 상태확인

CentOS 7 에서의 네트워크 인터페이스 이름은 다음과 같습니다.

CentOS 7 에서 네트워크 인터페이스 이름
Shell
1
2
3
4
5
6
7
8
9
]# ifconfig
enp0s3: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 192.168.0.105  netmask 255.255.255.0  broadcast 192.168.0.255
        inet6 fe80::a00:27ff:fe97:3935  prefixlen 64  scopeid 0x20<link>
        ether 08:00:27:97:39:35  txqueuelen 1000  (Ethernet)
        RX packets 37862  bytes 29870696 (28.4 MiB)
        RX errors 0  dropped 0  overruns 0  frame 0
        TX packets 6939  bytes 513516 (501.4 KiB)
        TX errors 0  dropped 0 overruns 0  carrier 0  collisions 0

enp0s3 으로 나옵니다. 네트워크 인터페이스 설정 파일도 이름과 동일하게 생성 됩니다.

네트워크 인터페이스 파일
Shell
1
2
]# ls -lh /etc/sysconfig/network-scripts/ifcfg-enp0s3
-rw-r--r--. 1 root root 321  9월 22 13:50 /etc/sysconfig/network-scripts/ifcfg-enp0s3

2. eth0 로 바꾸기

바꾸는 방법은 grub 에서 바이오스장치이름을 네트워크 인터페이스 이름으로 사용하지 않겠다고 선언하는 것입니다. 커널이 업그레이드되면 grub 에 파라메터값을 다시 해줘야 하는 불편함을 없애기위해서 grub 의 기본설정을 변경해 줍니다.

Shell
1
2
3
4
5
6
7
8
]# vim /etc/default/grub
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="vconsole.font=latarcyrheb-sun16 vconsole.keymap=ko crashkernel=auto  rhgb quiet net.ifnames=0 biosdevname=0"
GRUB_DISABLE_RECOVERY="true"

핵심은 ‘GRUB_CMDLINE_LINUX’ 에 ‘net.ifnames=0 biosdevname=0’ 를 추가하는 것입니다. 그리고 다음과 같이 grub2 를 다시 만들어 줍니다.

grub2 재 생성
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
grub2-mkconfig -o /boot/grub2/grub.cfg
Generating grub configuration file ...
Found linux image: /boot/vmlinuz-3.10.0-123.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-123.el7.x86_64.img
Found linux image: /boot/vmlinuz-3.10.0-123.9.3.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-123.9.3.el7.x86_64.img
Found linux image: /boot/vmlinuz-3.10.0-123.8.1.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-123.8.1.el7.x86_64.img
Found linux image: /boot/vmlinuz-3.10.0-123.6.3.el7.x86_64
Found initrd image: /boot/initramfs-3.10.0-123.6.3.el7.x86_64.img
Found linux image: /boot/vmlinuz-0-rescue-babecd961e9a465686311e3f5930f25e
Found initrd image: /boot/initramfs-0-rescue-babecd961e9a465686311e3f5930f25e.img
done

이제 네트워크 인터페이스 파일을 다음과 같이 바꿔 줍니다.

네트워크 인터페이스
Shell
1
2
]# cd /etc/sysconfig/network-scripts/
[root@localhost network-scripts]# mv ifcfg-enp0s3 ifcfg-eth0

이제 재부팅을 하면 네트워크 인터페이스 이름이 eth0 로 올라온것을 볼 수 있습니다.

Nvidia Driver 설치하기

nvidia-linux

Nvidia 는 AMD 와 함께 그래픽 카드 시장을 양분하고 있는 회사 입니다. 어느쪽이 더 좋은지는 각 회사에 새로운 제품이 출시될때마다 달라질만큼 우열을 가리기 힘듭니다.

Nvidia 와 AMD 는 리눅스를 위한 드라이버도 만들어서 배포하는데 CentOS 7 에서 Nvidia Driver 를 설치하는 방법에 대한 것입니다. 사실 AMD HD2600 을 썼었는데 AMD 에서 더 이상 드라이버를 업데이트를 해주지 않아 그래픽 가속을 쓸수 없었는데, 몇일전에 Nvidia Geforce GTS 450 이 손에 들어와서 설치하는 과정을 정리한 글이기도 합니다.

1. Requirement

Nvidia Driver 를 설치하기 위해서는 컴파일을 위한 의존성 패키지가 설치되어 있어야 합니다. 의존성 패키지는 다음과 같이 설치하시면 됩니다.

Shell
1
yum install kernel-devel kernel-headers gcc make

또, Nvidia 를 비롯한 그래픽 카드 드라이버는 커널에 의존적이기 때문에 커널이 바뀌면 재컴파일 설치를 해줘야 합니다. 따라서 이왕설치하는거면 최신 커널에 설치를 하는게 좋을 것입니다. 다음과 같이 커널을 업그레이드 해주고 시스템을 리붓해줍니다.

1
2
yum update kernel kernel-devel
reboot

2. Nouveau driver 제거

CentOS 7 에도 Nvidia Driver 가 설치되어 있습니다. 오픈소스 드라이버인데, 여기에는 Nouveau 가 활성화되는 모듈이 포함됩니다. Nvidia Driver 는 이 Nouveau 모듈과 충돌이 나서 설치하는데 지장이 생깁니다.

141115-0001

이는 다음과 같이 확인이 가능 합니다.

Shell
1
2
3
4
5
6
7
8
9
10
]# lsmod | grep nouv
nouveau               974305  1
mxm_wmi                13021  1 nouveau
wmi                    19070  2 mxm_wmi,nouveau
video                  19267  1 nouveau
i2c_algo_bit           13413  1 nouveau
ttm                    83948  1 nouveau
drm_kms_helper         52758  1 nouveau
drm                   297829  3 ttm,drm_kms_helper,nouveau
i2c_core               40325  5 drm,i2c_piix4,drm_kms_helper,i2c_algo_bit,nouveau

부팅할때에 nouveau 를 메모리에 올리못하게 하면 이 문제는 해결 됩니다. 다음과 같이 blacklist 에 적어줍니다.

1
2
]# vim /etc/modprobe.d/nvidia-disable-nouveau.conf
blacklist nouveau

위와같이 파일을 작성하고 저장한 후에 시스템을 리붓해 줍니다.

3. 설치

Nvidia Driver 를 Nvidia 홈페이지에서 다운받습니다. 그리고 CentOS 7 을 그래픽 모드가 아니 터미널 모드로 전환해주고 다운받은 파일을 실행해 줍니다.

1
2
3
4
# init 3 으로 전환
init 3
# 다운로드한 Nvidia Driver 설치 실행
bash NVIDIA-Linux-x86_64-340.58.run

 

4. 마치며

nouveau 비활성화는데에는 grub 을 이용할 수도 있습니다. 부팅할때에 grub 에 옵션으로 주면 비활성화를 할 수 있는데, CentOS 7 에선 grub2 를 사용하고 grub2 에서는 공통부분을 /etc/default/grub 에 “rdblacklist=nouveau” 를 추가해줍니다.

1
2
3
4
5
6
7
GRUB_TIMEOUT=5
GRUB_DISTRIBUTOR="$(sed 's, release .*$,,g' /etc/system-release)"
GRUB_DEFAULT=saved
GRUB_DISABLE_SUBMENU=true
GRUB_TERMINAL_OUTPUT="console"
GRUB_CMDLINE_LINUX="ipv6.disable=1 vconsole.font=latarcyrheb-sun16 vconsole.keymap=ko crashkernel=auto  rhgb quiet rdblacklist=nouveau"
GRUB_DISABLE_RECOVERY="true"

“GRUB_CMDLINE_LINUX” 에 추가해줍니다.

그리고 grub2 를 갱신해줍니다.

1
grub2-mkconfig -o /boot/grub2/grub.cfg

이렇게하면 blacklist 파일을 작성하지 않고도 nouveau 모듈을 부팅때마다 비활성화 할 수 있습니다.

Nginx Gzip Compression 설정

HTTP 에서도 압축전송을 지원 합니다. 이는 Header 에 압축에 대한 정보가 다음과 같이 담깁니다. Nginx Gzip Compression 설정 은 다음과같이 하시면 됩니다.

Gzip Http Header
Shell
1
Content-Encoding: gzip

압축전송을 하게되면 트래픽을 줄일 수 있어, 서버 호스팅을 이용하는 분들에게는 큰 도움이 됩니다. 사용법은 다음과 같습니다.

nginz Gzip Directive
Apache
1
2
3
4
5
6
7
8
9
10
11
12
13
14
    # gzip compression 켜기
    gzip on;
    # 파일을 압축하기 위한 최소 파일 크기
    gzip_min_length  1100;
    # gzip 버퍼 크기, 4 32k 면 대부분 상황에서 적당한 크기 입니다.
    gzip_buffers  4 32k;
    # 압축을 적용할 파일타입. 파일타입은 MIME 타입을 말함.
    gzip_types    text/plain application/x-javascript text/xml text/css;
    # 헤더 응답에 "Vary: Accept-Encoding" 리턴.
    gzip_vary on;
    # 압축률 지정. 1 ~ 9 사이이며 9가 최고등급의 압축.
    gzip_comp_level 9;
    # 압축을 사용하기 위해서 클라이언트에게 HTTP 1.1 사용하도록 요구함.
    gzip_http_version 1.1;

잘 동작하는지 다음과 같이 테스트를 할 수 있습니다.

Gzip 압축 테스트
Shell
1
2
3
4
5
6
7
8
9
10
11
curl --header "Accept-Encoding: gzip,deflate,sdch" -I http://linux.systemv.pe.kr
HTTP/1.1 200 OK
Server: nginx/1.6.1
Date: Mon, 03 Nov 2014 14:22:28 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Keep-Alive: timeout=5
Vary: Accept-Encoding
X-Powered-By: PHP/5.3.3
X-Pingback: http://linux.systemv.pe.kr/xmlrpc.php
Content-Encoding: gzip

“Content-Encoding: gzip” 이 보이면 정상으로 설정이 된 것 입니다.

Atheros AR81 Family GigaEthernet 드라이버 설치.

AMD 칩셋을 달고 나오는 저가형 메인보드의 경우에 Atheros 의 Ethernet 칩셋을 탑재하는 경우가 있습니다. 문제는 Atheros Ethernet 드라이버가 윈도우용은 제공하는데 리눅스용은 제공을 않하더군요.

ASRock 960GM-VGS3 FX Mainboard
ASRock 960GM-VGS3 FX Mainboard

인터넷을 검색해보니까 누군가 리눅스용 드라이버를 제작해 놨는데, 오래된 경우라 최신의 리눅스 커널을 위해서는 패치를 해야하고 그 패치도 누군가 만들어서 올려놨더군요.

이 문서는 Atheros AR81 Family GigaEthernet 리눅스 드라이버를 설치하는 방법을 설명한 것 입니다.

1. 다운로드

첨부파일을 다운로드 하면 됩니다.

첨부파일: AR81Family-linux-v1.0.1.14.tar

2. 설치

먼저, 커널 소스를 설치합니다. 현재 설치된 커널의 버전에 맞는 것을 설치해야 합니다.

커널 소스 설치.
Shell
1
2
3
uname -r
#2.6.18-398.el5PAE
yum install kernel-PAE-devel

Atheros 드라이버는 커널의 소스를 ‘/usr/src/linux’ 디렉토리에서 찾습니다. 다음과 같이 심볼릭 링크를 생성해 줍니다.

심볼릭 링크 생성
Shell
1
ln -s /usr/src/kernels/2.6.18-398.el5PAE-i686 linux

압축을 푼 드라이버 디렉토리에서 컴파일 설치를 해줍니다.

Shell
1
2
3
tar xvzf AR81Family-linux-v1.0.1.14.tar.gz
cd AR81Family-linux-v1.0.1.14
make install

부팅시 마다 자동으로 모듈을 로딩하도록 하기 위해서 다음과 같이 해줍니다.

드라이버 로딩 등록
Shell
1
echo /sbin/modprobe atl1e >> /etc/sysconfig/modules/local.modules

재부팅해서 eth0 가 올라오는지 살펴봅니다.

대부분 다 잘 올라 옵니다. eth0 가 올라오면 이제 IP 설정을 해주면 됩니다.

  • Camera: Nikon D200
  • Focal length: 5.6mm
  • ISO: 100
  • Shutter speed: 1/204s

TIMESTAMP and DATETIME 기능 개선

MariadbMariaDB 10 버전이 올라가면 기능이 향상되는데, TIMESTAMP 와 DATETIME 의 데이터 타입(Data Type)을 사용하는 컬럼에 경우 Update, Insert 시에 몇가지 기능이 향상되었습니다.

Test Schema
MySQL
1
2
3
4
5
6
CREATE TABLE test_date (
a INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
b INT,
created TIMESTAMP DEFAULT CURRENT_TIMESTAMP,
updated TIMESTAMP ON UPDATE CURRENT_TIMESTAMP
);

여기서 주목해야 할 것은 ‘created TIMESTAMP DEFAULT CURRENT_TIMESTAMP‘와 ‘updated TIMESTAMP ON UPDATE CURRENT_TIMESTAMP‘ 입니다.

Desc test_date
MySQL
1
2
3
4
5
6
7
8
9
10
desc test_date;
+---------+------------------+------+-----+---------------------+-----------------------------+
| Field   | Type             | Null | Key | Default             | Extra                       |
+---------+------------------+------+-----+---------------------+-----------------------------+
| a       | int(10) unsigned | NO   | PRI | NULL                | auto_increment              |
| b       | int(11)          | YES  |     | NULL                |                             |
| created | timestamp        | NO   |     | CURRENT_TIMESTAMP   |                             |
| updated | timestamp        | NO   |     | 0000-00-00 00:00:00 | on update CURRENT_TIMESTAMP |
+---------+------------------+------+-----+---------------------+-----------------------------+
4 rows in set (0.01 sec)

Default와 Extra 컬럼에 내용을 자세히 보십시오.

여기서 Insert 를 다음과 같이 합니다.

Test 데이터 입력
MySQL
1
2
3
4
5
6
7
8
9
10
root@localhost:test 16:40:38> INSERT INTO test_date SET b=1;
Query OK, 1 row affected (0.02 sec)
 
root@localhost:test 16:41:38> SELECT * FROM test_date;
+---+------+---------------------+---------------------+
| a | b    | created             | updated             |
+---+------+---------------------+---------------------+
| 1 |    1 | 2014-10-26 16:41:38 | 0000-00-00 00:00:00 |
+---+------+---------------------+---------------------+
1 row in set (0.00 sec)

‘created’ 컬럼에 자동으로 시간이 등록됩니다. 과거에는 다음과 같이 해줬어야 했습니다.

MariaDB 10 이하에서는 다음과 같이 해줘야..
MySQL
1
INSERT INTO test_date SET b=1, created=now();

‘now()’ 함수를 사용해서 했어야 했지만 Mariadb 10 에서 TIMESTAMP 타입을 이용해서 컬럼을 정의하면 더 손쉽게 자동으로 처리를 해줍니다.

다음과 같이 Update 를 해봅니다.

Update 실행
MySQL
1
2
3
4
5
6
7
8
9
10
11
mysql> UPDATE test_date SET b = b+1;
Query OK, 1 row affected (0.01 sec)
Rows matched: 1  Changed: 1  Warnings: 0
 
mysql> SELECT * FROM test_date;
+---+------+---------------------+---------------------+
| a | b    | created             | updated             |
+---+------+---------------------+---------------------+
| 1 |    2 | 2012-06-12 17:07:20 | 2012-06-12 17:11:48 |
+---+------+---------------------+---------------------+
1 row in set (0.00 sec)

update 필드에 값이 자동으로 시간이 업데이트 됩니다. DATETIME 도 이와 같은데 다른점은 값이 없을 경우 ‘NULL’이 됩니다.

test_date2 테이블 생성
MySQL
1
2
3
4
5
6
CREATE TABLE test_date2 (
a INT UNSIGNED NOT NULL AUTO_INCREMENT PRIMARY KEY,
b INT,
created DATETIME DEFAULT CURRENT_TIMESTAMP,
updated DATETIME ON UPDATE CURRENT_TIMESTAMP
);

test_date2 를 만들고 다음과 같이 실행보면 값이 없을때는 NULL이 들어 갑니다.

DATETIME 의 경우 NULL
MySQL
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
root@localhost:test 16:46:45>INSERT INTO test_date2 SET b=1;
Query OK, 1 row affected (0.02 sec)
 
root@localhost:test 16:47:34>select * from test_date2;
+---+------+---------------------+---------+
| a | b    | created             | updated |
+---+------+---------------------+---------+
| 1 |    1 | 2014-10-26 16:47:34 | NULL    |
+---+------+---------------------+---------+
1 row in set (0.00 sec)
 
root@localhost:test 16:47:42>UPDATE test_date2 SET b = b+1;
Query OK, 1 row affected (0.03 sec)
Rows matched: 1  Changed: 1  Warnings: 0
 
root@localhost:test 16:48:05>select * from test_date2;
+---+------+---------------------+---------------------+
| a | b    | created             | updated             |
+---+------+---------------------+---------------------+
| 1 |    2 | 2014-10-26 16:47:34 | 2014-10-26 16:48:05 |
+---+------+---------------------+---------------------+
1 row in set (0.00 sec)

 

아파치 로그 분석하기

Apache Logo

아파치 웹 서버에는 접속에 대한 로그를 남길 수 있습니다.

로그의 형식은 다양하지만 대략적으로 어느 컴퓨터(IP 주소)에서 어떤 기기, 어떤 프로그램을 이용해서 어떤 웹 페이지를 접속했는지, 각 컨텐츠의 전송량등의 정보가 담깁니다.

이 문서는 아파치 로그 분석하기 에 대한 것입니다.

전송량 통계

로그 파일에 컨텐츠의 전송량이 담기기 때문에 이것들을 전부 더하면 아파치 웹 서버가 내보낸 전송량을 알 수 있겠지요? awk 쉘 스크립트로 간단하게 할 수 있습니다.

아파치 로그 전송량 계산
Shell
1
awk '{ s += $10 } END { print "Total ", s/1024/1024 " MB", "- Average ", s/NR/1024/1024 " MB", "- Access ", NR }' access_log

여기서 중요한 것이 access_log 파일에 전송량을 표시하는 위치 입니다. 위 명령어 앞줄에 ‘s += $10’ 이 있는데, 공백을 기준으로 10번째 칸이 전송량을 표시한다는 거기 때문에 전송량 표시되는 부분이 12번째 칸이라면 이것을 ‘s += $12’ 로 고쳐줍니다.

좀 더 나가서 특정 아이피에 대한 것만 계산하고 싶다면 다음과 같이 해줍니다.

특정 IP 만을 이용한 계산
Shell
1
grep "192.168.0.12" access_log | awk '{ s += $10 } END { print "Total ", s/1024/1024 " MB", "- Average ", s/NR/1024/1024 " MB", "- Access ", NR }'

grep 을 이용해서 필요로하는 컨테츠만을 뽑아서 총 전송량을 계산할 수 있습니다.

로봇에 의한 전송량도 계산할 수 있습니다. 구글 봇이 페이지를 긁어가는데 들어간 전송량은 다음과 같이 계산할 수 있습니다.

구글 봇이 긁어간 전송량.
Shell
1
grep -i "googlebot" access_log | awk '{ s += $10 } END { print "Total ", s/1024/1024 " MB", "- Average ", s/NR/1024/1024 " MB", "- Access ", NR }'

HTTP 응답코드별 트래픽 계산은 다음과 같이 할 수 있습니다.

HTTP 200 응답코드에 대한 트래픽 계산.
Shell
1
awk '($9 ~ /200/)' access_log | awk '{ s += $10 } END { print "Total ", s/1024/1024 " MB", "- Average ", s/NR/1024/1024 " MB", "- Access ", NR }'

응답코드만을 다르게하면 응답코드별로 트래픽 양을 알수 있습니다.

HTTP 응답코드 세기

HTTP 응답코드는 중요 합니다. 이를 잘 파악하면 웹 사이트에 대한 상태를 알 수도 있습니다.

HTTP 응답코드 세기
1
2
3
4
5
6
7
8
9
# cut 를 이용한 방법
cat access.log | cut -d '"' -f3 | cut -d ' ' -f2 | sort | uniq -c | sort -r
     59 200
     11 404
      5 302
# awk 를 이용한 방법
     59 200
     11 404
      5 302

외부에서 이미지 링크 파악

종종 외부 사이트에서 내 사이트에서 이미지를 링크걸어놓은 것을 볼 수 있습니다. 트래픽을 절약하기 위해서 종종 사용하기도 하는데, 이러한 것을 다음과 같이 파악할 수 있습니다.

Shell
1
awk '($2 ~ /\.(jpg|gif)/ && $4 !~ /^http:\/\/linux\.systemv\.pe\.kr/){print $4}' linux.systemv.pe.kr.access.log | sort | uniq -c | sort -r

http://linux.systemv.pe.kr 부분을 자신의 웹사이트 주소를 입력해 주시면 됩니다.

MariaDB 10 소스 설치

MariadbMariaDB 는 MySQL 의 오픈소스 버전 입니다. MySQL 를 최초로 개발한 사람이 점점 폐쇄성이 짙어가는 MySQL 을 대체하기 위해 MySQL 을 복제하고 기능을 개선한 MySQL 의 또 다른 버전 입니다.

현재 MariaDB 는 10.0.14 버전 입니다.  MariaDB 10 소스 설치를 해보겠습니다. 설치 환경은 다음과 같습니다.

  • 배포판: CentOS 7
  • 아키텍쳐: 64bit

준비

MariaDB 10.0.14 버전은 MariaDB 홈페이지에서 다운받을 수 있습니다. 그런데, 이 소스 버전을 가지고 설치를 할 수도 있지만, Fedora 배포판에서 패치한 버전을 가지고 설치를 해보겠습니다.

Fedora 배포판의 경우에 10.0.14 버전에 보안 패치나 경로에 대한 패치 그리고 CentOS 7 의 Systemd 를 지원하도록 하는 스크립트를 제공 합니다. 이것은 SRPM 을 다운받아 소스를 패치하는 방법을 썼습니다.

Configure && Compile && Install

MariaDB 는 cmake 를 이용하기 때문에 일반 Configure 와는 다르게 이것을 이용 합니다.

cmake 옵션 설정
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
# 64bit 를 위한 설정.
export CFLAGS='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -specs=/usr/lib/rpm/redhat/redhat-hardened-cc1  -m64 -mtune=generic -D_GNU_SOURCE -D_FILE_OFFSET_BITS=64 -D_LARGEFILE_SOURCE -fPIC -fno-delete-null-pointer-checks'
export CXXFLAGS='-O2 -g -pipe -Wall -Wp,-D_FORTIFY_SOURCE=2 -fexceptions -fstack-protector-strong --param=ssp-buffer-size=4 -grecord-gcc-switches -specs=/usr/lib/rpm/redhat/redhat-hardened-cc1  -m64 -mtune=generic -D_GNU_SOURCE -D_FILE_OFFSET_BITS=64 -D_LARGEFILE_SOURCE -fPIC -fno-delete-null-pointer-checks'
export LDFLAGS=' -pie -Wl,-z,relro,-z,now'
 
# cmake 를 이용한 configure
cmake \
-DCMAKE_INSTALL_PREFIX=/usr/local/mariadb-10.0.14 \
-DINSTALL_SYSCONFDIR=/usr/local/mariadb-10.0.14/etc \
-DINSTALL_SYSCONF2DIR=/usr/local/mariadb-10.0.14/etc/my.cnf.d \
-DINSTALL_DOCDIR=share/doc/mariadb-10.0.14 \
-DINSTALL_DOCREADMEDIR=share/doc/mariadb-10.0.14 \
-DINSTALL_INCLUDEDIR=include/mysql \
-DINSTALL_INFODIR=share/info \
-DINSTALL_LIBDIR=lib64/mysql \
-DINSTALL_MANDIR=share/man \
-DINSTALL_MYSQLSHAREDIR=share/mariadb \
-DINSTALL_MYSQLTESTDIR=share/mysql-test \
-DINSTALL_PLUGINDIR=lib64/mysql/plugin \
-DINSTALL_SBINDIR=libexec \
-DINSTALL_SCRIPTDIR=bin \
-DINSTALL_SQLBENCHDIR=share \
-DINSTALL_SUPPORTFILESDIR=support-files \
-DMYSQL_DATADIR=/usr/local/mariadb-10.0.14/data \
-DTMPDIR=/usr/local/mariadb-10.0.14/tmp \
-DMYSQL_UNIX_ADDR=/var/lib/mariadb/mariadb.sock \
-DPID_FILE_DIR=/var/run/mariadb \
-DDAEMON_NAME=mariadb \
-DENABLED_LOCAL_INFILE=ON \
-DWITH_SSL=system \
-DWITH_ZLIB=system \
-DWITH_JEMALLOC=no \
-DWITH_ARIA_STORAGE_ENGINE=ON \
-DUSE_ARIA_FOR_TMP_TABLES=ON \
-DWITH_PARTITION_STORAGE_ENGINE=ON \
-DWITH_PERFSCHEMA_STORAGE_ENGINE=ON \
-DWITH_QUERY_CACHE_INFO=ON \
-DWITH_QUERY_RESPONSE_TIME=ON \
-DWITH_SAFEMALLOC=AUTO \
-DWITH_XTRADB_STORAGE_ENGINE=ON \
-DWITH_LOCALES=ON \
-DDEFAULT_CHARSET=utf8 \
-DDEFAULT_COLLATION=utf8_general_ci \
-DWITH_EXTRA_CHARSETS=all
 
# 컴파일
make
# 설치
make install

위 설정은 다음과 같은 주요한 기능을 가집니다.

  • Aria 스토리지 엔진 지원
  • Partition 스토리지 엔진 지원
  • XtraDB 스토리지 엔진 지원
  • TokuDB 플러그인 지원

설치 후 작업

Fedora 배포판의 설정중에 디렉토리 설정 부분을 많이 인용을 했기 때문에 기존의 컴파일 설치한 디렉토리와는 사뭇 다릅니다. 대부분의 소스 컴파일을 설치했을 때에는 대부분 설치할 디렉토리인 PREFIX 만 지정하기  때문에 벤치디렉토리, 서포트디렉토리등이 모드 PREFIX 이하에 놓입니다. 하지만 위 설정을 보시면 Fedora 배포판 호환인 RedHat 디렉토리 구조를 계승하고 있다는 것을 인지하시기 바랍니다.

설치가 끝난 후에는 수동으로 옮겨주어야할 파일들이 존재 합니다. 그래서 설치 후 작업을 다음과 같이 진행 합니다.

systemd 등록.
Shell
1
2
3
4
5
6
7
8
9
10
# mariadb systemd에 파일 설치.
install -D -p -m 644 scripts/mysql.service /usr/lib/systemd/system/mariadb.service
# mariadb tmpfiles.d에 파일 설치.
install -D -p -m 0644 scripts/mysql.tmpfiles.d /usr/lib/tmpfiles.d/mariadb.conf
# mysql 호환을 위한 systemd에 파일 설치.
install -p -m 644 scripts/mysql-compat.service /usr/lib/systemd/system/mysql.service
mkdir -p /usr/lib/systemd/system/mariadb.service.d
install -p -m 644 scripts/mysql-compat.conf /usr/lib/systemd/system/mariadb.service.d/mysql-compat.conf
# 활성화하기.
systemctl enable mariadb

CentOS 7 데서부터 도입된 systemd 등록을 위한 파일들을 설치 합니다.

그리고 다음과 같이 스크립트 파일들을 복사해 줍니다.

스크립트 파일 복사
Shell
1
2
3
4
5
install -p -m 755 scripts/mysql-prepare-db-dir /usr/local/mariadb-10.0.14/libexec/mysql-prepare-db-dir
install -p -m 755 scripts/mysql-wait-ready /usr/local/mariadb-10.0.14/libexec/mysql-wait-ready
install -p -m 755 scripts/mysql-check-socket /usr/local/mariadb-10.0.14/libexec/mysql-check-socket
install -p -m 755 scripts/mysql-check-upgrade /usr/local/mariadb-10.0.14/libexec/mysql-check-upgrade
install -p -m 644 scripts/mysql-scripts-common /usr/local/mariadb-10.0.14/libexec/mysql-scripts-common

이제 mariadb 를 운영하기 위한 계정을 생성해 주고 디렉토리 퍼미션을 조정해 줍니다.

MariaDB 계정 생성
Shell
1
2
3
4
5
6
7
8
9
# MariaDB 사용을 위한 시스템 계정 생성.
/usr/sbin/groupadd -g 27 -o -r mysql >/dev/null 2>&1
/usr/sbin/useradd -M -N -g mysql -o -r -d /usr/local/mariadb-10.0.14/data -s /sbin/nologin -c "MariaDB Server" -u 27 mysql >/dev/null 2>&1
# 디렉토리 소유권을 바꿔 줍니다.
chown -R mysql /usr/local/mariadb-10.0.14/data
chgrp -R mysql /usr/local/mariadb-10.0.14
mkdir /usr/local/mariadb-10.0.14/tmp
mkdir /usr/local/mariadb-10.0.14/logs
chown mysql: /usr/local/mariadb-10.0.14/tmp /usr/local/mariadb-10.0.14/logs

이렇게 한 후에 다음과 같이 MariaDB 에 기본 데이터베이스들을 생성해 줍니다.

기본 데이터베이스 생성하기.
Shell
1
2
3
4
5
6
7
# 심볼릭 링크 만들기.
cd /etc
ln -s /usr/local/mariadb-10.0.14/etc/my.cnf
ln -s /usr/local/mariadb-10.0.14/etc/my.conf.d
# mysql_install_db 실행
cd /usr/local/mariadb-10.0.14/
./bin/mysql_install_db --user=mysql

이제 다 되었습니다. systemd 를 이용해서 mariadb 를 시작하면 됩니다.

Shell
1
2
# Mariadb 시작.
systemctl start mariadb

MariaDB 오픈 소스 데이터베이스

MariaDB 는 한 개발자의 노력을 시작된 오픈 소스 프로젝트 입니다. 과거 오픈 소스 데이터베이스의 대명사인 MySQL 을 개발한 개발자 중에 한인 Monty Widenius. 1962년 핀란드 태생으로 1995년 MySQL 데이터베이스를 개발하기 시작해서 그 이듬해에 첫 릴리즈를 하게 됩니다. 그리고 1998년, 3.21 버전부터 www.mysql.com 을 만들어 운영하면서 명실상부한 오픈 소스 데이터베이스로 발을 딛기 시작 합니다.

Monty Widenius
MySQL 을 개발한 Monty Widenius

MySQL은 오픈소스 정책을 가지고 있지만 개발과 판매등을 총괄하는 회사가 있습니다. MySQL AB 라는 회사인데, 개발지원에서부터 판매, 홍보까지 MySQL에 거의 모든것을 관장하던 회사입니다. MySQL이 오픈소스이긴 하지만 라이센스정책이 이중으로 되어있어(GPL, CopyRight) 이러한 라이센스 관련해서 제품의 구성등 전반적인 부분도 이 회사에서 모두 관리합니다.

MySQL이 오픈소스 진영에서 이름을 날리고 있던 2008년에 썬 아킥텍쳐 및 썬 OS로 유명한 ‘Sun microsystems’ 에 85억 달러에 인수 됩니다. 이때에 MySQL을 전부 총괄하던 MySQL AB 회사도 함께 넘어감으로써 모든 지적재산권도 썬으로 넘어가게 됩니다. 그러던 것이 1년도 않된 시점인 2009년 4월 오라클이 썬마이크로시스템즈를 인수함으로써 MySQL AB 의 모든 지적재선권은 다시 오라클로 넘어갑니다.

Oracle. 오픈소스 진영에서는 거의 악날함을 자주 보여줬던 RDBMS 최강의 회사 입니다. 상용시장에서 독보적인 오라클 데이터베이스 를 가지고 있었고 인수전에는 MySQL과 알게 모르게 경쟁하던 데이터베이스 제품을 가진 회사였기 때문에 인수당시부터 오픈소스진영에서는 MySQL에 대한 운명(?)에 대해서 우려하는 목소리가 많았습니다. ‘오라클 스럽게 죽일거다’라는 소리가 자주 들렸지요.

그런데, MySQL AB를 설립했던 Michael “Monty” Widenius(마이클 ‘몬티’ 비드니우스) 라는 사람이 오라클을 뛰쳐 나옵니다. 오픈소스 정의감으로 뛰쳐나왔으면 드라마틱하겠지만 오라클에서 대우가 별로 맘에 않들었다고 하네요. 그러한 그가 나와서 뭘했을 까요? 배운게 도둑질인데, 오라클 회사를 나와서 ‘Monty Program’ 이라는 것을 하게됩니다. 그리고 이 ‘Moty Program’ 에서 GPL 라이센스로 되어있는 MySQL 코드를 Branch 해서 RDBMS를 만들게 되었는데 그것이 바로 ‘MariaDB’ 입니다.

Monty Widenius 는  오라클이 MySQL 을 인수하게되자 오픈 소스 진영에 MySQL 을 구해달라는 호소문을 올리기도 합니다.

[MySQL 을 구해주세요!!]

실제로 오라클이 MySQL 을 인수하고 난 후에, 오라클은 라이센스 정책을 변경했으며 MySQL 의 테스트 소스코드를 비공개로 변경했습니다.

이러한 오라클의 폐쇄적인 정책으로 불구하고 MariaDB 는 수많은 개발자들의 기부로 인해서 성장했고 대부분의 리눅스 배포판에서 MySQL 을 대체하는데 이르렀습니다. 현재 MariaDB 는 10 버전을 출시로 더욱 강력해지고 안전한 데이터베이스를 제공하고 있습니다.

Mariadb
Mariadb 의 로고