Category: Linux

Nginx Gzip Compression 설정

HTTP 에서도 압축전송을 지원 합니다. 이는 Header 에 압축에 대한 정보가 다음과 같이 담깁니다. Nginx Gzip Compression 설정 은 다음과같이 하시면 됩니다.

Gzip Http Header
Shell
1
Content-Encoding: gzip

압축전송을 하게되면 트래픽을 줄일 수 있어, 서버 호스팅을 이용하는 분들에게는 큰 도움이 됩니다. 사용법은 다음과 같습니다.

nginz Gzip Directive
Apache
1
2
3
4
5
6
7
8
9
10
11
12
13
14
    # gzip compression 켜기
    gzip on;
    # 파일을 압축하기 위한 최소 파일 크기
    gzip_min_length  1100;
    # gzip 버퍼 크기, 4 32k 면 대부분 상황에서 적당한 크기 입니다.
    gzip_buffers  4 32k;
    # 압축을 적용할 파일타입. 파일타입은 MIME 타입을 말함.
    gzip_types    text/plain application/x-javascript text/xml text/css;
    # 헤더 응답에 "Vary: Accept-Encoding" 리턴.
    gzip_vary on;
    # 압축률 지정. 1 ~ 9 사이이며 9가 최고등급의 압축.
    gzip_comp_level 9;
    # 압축을 사용하기 위해서 클라이언트에게 HTTP 1.1 사용하도록 요구함.
    gzip_http_version 1.1;

잘 동작하는지 다음과 같이 테스트를 할 수 있습니다.

Gzip 압축 테스트
Shell
1
2
3
4
5
6
7
8
9
10
11
curl --header "Accept-Encoding: gzip,deflate,sdch" -I http://linux.systemv.pe.kr
HTTP/1.1 200 OK
Server: nginx/1.6.1
Date: Mon, 03 Nov 2014 14:22:28 GMT
Content-Type: text/html; charset=UTF-8
Connection: keep-alive
Keep-Alive: timeout=5
Vary: Accept-Encoding
X-Powered-By: PHP/5.3.3
X-Pingback: http://linux.systemv.pe.kr/xmlrpc.php
Content-Encoding: gzip

“Content-Encoding: gzip” 이 보이면 정상으로 설정이 된 것 입니다.

Atheros AR81 Family GigaEthernet 드라이버 설치.

AMD 칩셋을 달고 나오는 저가형 메인보드의 경우에 Atheros 의 Ethernet 칩셋을 탑재하는 경우가 있습니다. 문제는 Atheros Ethernet 드라이버가 윈도우용은 제공하는데 리눅스용은 제공을 않하더군요.

ASRock 960GM-VGS3 FX Mainboard
ASRock 960GM-VGS3 FX Mainboard

인터넷을 검색해보니까 누군가 리눅스용 드라이버를 제작해 놨는데, 오래된 경우라 최신의 리눅스 커널을 위해서는 패치를 해야하고 그 패치도 누군가 만들어서 올려놨더군요.

이 문서는 Atheros AR81 Family GigaEthernet 리눅스 드라이버를 설치하는 방법을 설명한 것 입니다.

1. 다운로드

첨부파일을 다운로드 하면 됩니다.

첨부파일: AR81Family-linux-v1.0.1.14.tar

2. 설치

먼저, 커널 소스를 설치합니다. 현재 설치된 커널의 버전에 맞는 것을 설치해야 합니다.

커널 소스 설치.
Shell
1
2
3
uname -r
#2.6.18-398.el5PAE
yum install kernel-PAE-devel

Atheros 드라이버는 커널의 소스를 ‘/usr/src/linux’ 디렉토리에서 찾습니다. 다음과 같이 심볼릭 링크를 생성해 줍니다.

심볼릭 링크 생성
Shell
1
ln -s /usr/src/kernels/2.6.18-398.el5PAE-i686 linux

압축을 푼 드라이버 디렉토리에서 컴파일 설치를 해줍니다.

Shell
1
2
3
tar xvzf AR81Family-linux-v1.0.1.14.tar.gz
cd AR81Family-linux-v1.0.1.14
make install

부팅시 마다 자동으로 모듈을 로딩하도록 하기 위해서 다음과 같이 해줍니다.

드라이버 로딩 등록
Shell
1
echo /sbin/modprobe atl1e >> /etc/sysconfig/modules/local.modules

재부팅해서 eth0 가 올라오는지 살펴봅니다.

대부분 다 잘 올라 옵니다. eth0 가 올라오면 이제 IP 설정을 해주면 됩니다.

  • Camera: Nikon D200
  • Focal length: 5.6mm
  • ISO: 100
  • Shutter speed: 1/204s

아파치 로그 분석하기

Apache Logo

아파치 웹 서버에는 접속에 대한 로그를 남길 수 있습니다.

로그의 형식은 다양하지만 대략적으로 어느 컴퓨터(IP 주소)에서 어떤 기기, 어떤 프로그램을 이용해서 어떤 웹 페이지를 접속했는지, 각 컨텐츠의 전송량등의 정보가 담깁니다.

이 문서는 아파치 로그 분석하기 에 대한 것입니다.

전송량 통계

로그 파일에 컨텐츠의 전송량이 담기기 때문에 이것들을 전부 더하면 아파치 웹 서버가 내보낸 전송량을 알 수 있겠지요? awk 쉘 스크립트로 간단하게 할 수 있습니다.

아파치 로그 전송량 계산
Shell
1
awk '{ s += $10 } END { print "Total ", s/1024/1024 " MB", "- Average ", s/NR/1024/1024 " MB", "- Access ", NR }' access_log

여기서 중요한 것이 access_log 파일에 전송량을 표시하는 위치 입니다. 위 명령어 앞줄에 ‘s += $10’ 이 있는데, 공백을 기준으로 10번째 칸이 전송량을 표시한다는 거기 때문에 전송량 표시되는 부분이 12번째 칸이라면 이것을 ‘s += $12’ 로 고쳐줍니다.

좀 더 나가서 특정 아이피에 대한 것만 계산하고 싶다면 다음과 같이 해줍니다.

특정 IP 만을 이용한 계산
Shell
1
grep "192.168.0.12" access_log | awk '{ s += $10 } END { print "Total ", s/1024/1024 " MB", "- Average ", s/NR/1024/1024 " MB", "- Access ", NR }'

grep 을 이용해서 필요로하는 컨테츠만을 뽑아서 총 전송량을 계산할 수 있습니다.

로봇에 의한 전송량도 계산할 수 있습니다. 구글 봇이 페이지를 긁어가는데 들어간 전송량은 다음과 같이 계산할 수 있습니다.

구글 봇이 긁어간 전송량.
Shell
1
grep -i "googlebot" access_log | awk '{ s += $10 } END { print "Total ", s/1024/1024 " MB", "- Average ", s/NR/1024/1024 " MB", "- Access ", NR }'

HTTP 응답코드별 트래픽 계산은 다음과 같이 할 수 있습니다.

HTTP 200 응답코드에 대한 트래픽 계산.
Shell
1
awk '($9 ~ /200/)' access_log | awk '{ s += $10 } END { print "Total ", s/1024/1024 " MB", "- Average ", s/NR/1024/1024 " MB", "- Access ", NR }'

응답코드만을 다르게하면 응답코드별로 트래픽 양을 알수 있습니다.

HTTP 응답코드 세기

HTTP 응답코드는 중요 합니다. 이를 잘 파악하면 웹 사이트에 대한 상태를 알 수도 있습니다.

HTTP 응답코드 세기
1
2
3
4
5
6
7
8
9
# cut 를 이용한 방법
cat access.log | cut -d '"' -f3 | cut -d ' ' -f2 | sort | uniq -c | sort -r
     59 200
     11 404
      5 302
# awk 를 이용한 방법
     59 200
     11 404
      5 302

외부에서 이미지 링크 파악

종종 외부 사이트에서 내 사이트에서 이미지를 링크걸어놓은 것을 볼 수 있습니다. 트래픽을 절약하기 위해서 종종 사용하기도 하는데, 이러한 것을 다음과 같이 파악할 수 있습니다.

Shell
1
awk '($2 ~ /\.(jpg|gif)/ && $4 !~ /^http:\/\/linux\.systemv\.pe\.kr/){print $4}' linux.systemv.pe.kr.access.log | sort | uniq -c | sort -r

http://linux.systemv.pe.kr 부분을 자신의 웹사이트 주소를 입력해 주시면 됩니다.

Apache Options, AllowOverride

Apache Logo Apache 설정 중에 Directory 디렉티브(Directive) 내에서 Options, AllowOverride 등을 사용할 수 있는데 이에 대해서 자세히 알아 보겠습니다.

 

AllowOverride

AllowOverride 는 AccessFileName 에 지정한 파일에서 아파치의 설정을 덮어쓸 수 있도록 해줍니다. 보통 AccessFileName 에는 .htaccess 를 지정해주고 DocumentRoot 에 .htaccess 파일에 아피치 설정에 대한 것을 해두면 아파치는 이 파일을 읽어서 반영해 줍니다.

만일 AccessFileName 을 지정하지 않았고 .htaccess 파일이 필요없을 경우에는 AllowOverride 를 사용할 필요가 없기 때문에 다음과 같이 None 으로 설정해주면 좋습니다.

AllowOverride None
Apache
1
2
3
<Directory "/home/nymph203/www">
    AllowOverride None
</Directory>

AllowOverride 를 사용할때에 지정할 수 있는 옵션들이 있는데 다음과 같습니다.

  • FileInfo : 문서의 유형을 제어하는 지시자 사용을 허락함. 문서 유형을 제어하는 지시자에는 AddEncoding, AddLanguage, AddType, DefaultType, ErrorDocument, LanguagePriority 등이다.
  • Indexes : 디렉토리 인덱싱을 제어하는 지시자 사용을 허락함. 사용 가능한 지시자로는 AddDescription, AddIcon, AddIconByEncoding, AddIconByType 등이 있다.
  • AuthConfig : 인증 유형을 사용할 수 있도록 허용함.
  • Limit : 호스트 접근을 제어하는 지시어 사용을 허용함. Allow, Deny, Order 같은 지시어를 사용할 수 있다.
  • Options : 지정한 디렉토리를 제어할수 있도록 지시자 사용을 허용함.

AllowOverride 는 AccessFileName 에 지정된 파일에서 쓰일수 있는 기능들을 정의한다고 생각하면 됩니다.

Options

이것은 <Directory > 디렉티브로 지정한 파일시스템에 대해서 아파치 서버가 어떻게 제어할지를 지정해 줍니다. 아주 중요한 부분으로 보안의 시작점이라고 보시면 됩니다.

  • FollowSymLinks: 파일의 심볼릭 링크를 허용하고 아파치는 이를 이용할 수 있다.
  • SymLinksIfOwnerMatch: 심볼릭 링크를 허용하지만 심볼릭 링크의 소유자가 사용자여야 된다.
  • Indexes : 아파치가 디렉토리에 접근했는데, DirectoryIndex 지시자로 설정한 파일이 없을 경우 디렉토리안의 파일 목록을 보여준다.
  • ExecCGI : 지정한 디렉토리내에서 CGI 실행을 허용한다.
  • MutiViews: 클라이언트의 요청에 따라서 적절한 페이지를 보여준다.
  • None : 모든 설정을 사용할 수 없다.

예제로는 다음과 같이 사용합니다.

AllowOverride, Options
Apache
1
2
3
4
5
<Directory "/home/nymph203/www">
      Options SymLinksIfOwnerMatch MultiViews
      AllowOverride None
      Require method GET POST
</Directory>

 

smartctl을 이용한 하드디스크 진단

컴퓨터에서 디스크의 의미는 매우 중요합니다. 사람의 데이터를 영구적으로 보관해야 할 의무를 가지 때문이지요. 이러한 디스크에 문제가 발생한다면 데이터를 영구적으로 잃을 수도 있고 오늘과 같이 IT 를 기반으로 사회가 움직이는 마당에 그러한 일이 발생한다면 큰 금전적인 손실을 입을 수도 있습니다.

이렇게 중요한 디스크의 문제나 오류를 차단하기 위해서는 주기적으로 점검을 해야할 필요가 있는데, 리눅스 시스템에서는 이러한 유용한 도구를 제공 합니다.

smartctl

smartctl 도구는 S.M.A.R.T. (Self-Monitoring, Analysis, and Reporting Technology) 기능이 탑재된 하드디스크를 점검하는 도구 입니다. 사실상 S.M.A.R.T 의 기능을 이용하는 도구이다보니 이 기능이 없는 하드디스크는 이 도구를 이용할 수가 없습니다. 하지만 걱정할 필요는 없습니다. S.M.A.R.T. 기능은 오래전부터 있었던 것이라 왠만한 하드디스크에는 모두 지원되고 있습니다.

먼전, 간단한 디스크 정보도 볼겸 하드디스크에 S.M.A.R.T. 가 기능이 있고 활성화가 되어 있는지를 다음과 같이 해봅니다.

S.M.A.R.T. 활성화 체크.
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
smartctl -i /dev/sda
 
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.10.0-123.6.3.el7.x86_64] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org
 
=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar SE Serial ATA
Device Model:     WDC WD1600JS-00NCB1
Serial Number:    WD-WMANM4339367
Firmware Version: 10.02E02
User Capacity:    160,041,885,696 bytes [160 GB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA/ATAPI-7 (minor revision not indicated)
Local Time is:    Tue Oct  7 21:27:49 2014 KST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

‘-i’ 옵션을 주고 리눅스에서 하드디스크 장치를 인자로 주면 위와같은 결과를 보여줍니다. 주목해야 할 것은 맨 아래에 있는 ‘SMART support is: Enabled’ 입니다. 또, 자세히 보면 ‘/dev/sda’ 의 하드디스크 정보도 함께 파악할 수 있습니다.

참고로, 위의 결과는 하드디스크마다 다 다릅니다. 다른 하드디스크를 봐보겠습니다.

/dev/sdd 하드디스크 정보.
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
martctl -i /dev/sdd
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.10.0-123.6.3.el7.x86_64] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org
 
=== START OF INFORMATION SECTION ===
Model Family:     Seagate Barracuda 7200.14 (AF)
Device Model:     ST3000DM001-1CH166
Serial Number:    Z1F4K25T
LU WWN Device Id: 5 000c50 065eb3e31
Firmware Version: CC27
User Capacity:    3,000,592,982,016 bytes [3.00 TB]
Sector Sizes:     512 bytes logical, 4096 bytes physical
Rotation Rate:    7200 rpm
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ACS-2, ACS-3 T13/2161-D revision 3b
SATA Version is:  SATA 3.1, 6.0 Gb/s (current: 3.0 Gb/s)
Local Time is:    Tue Oct  7 21:31:53 2014 KST
 
==> WARNING: A firmware update for this drive may be available,
see the following Seagate web pages:
http://knowledge.seagate.com/articles/en_US/FAQ/207931en
http://knowledge.seagate.com/articles/en_US/FAQ/223651en
 
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

자세히 보면 이전 결과와 달리 ‘SATA Version is:’ 라고해서 SATA 버전도 나오고 ‘Rotation Rate’ 이라고해서 하드디스크의 회전수인 RPM 도 나옵니다. 추가적으로 WARING 을 통해서 이 하드디스크의 최신 펌웨어 정보가 있으니 업그레이드해보라고까지 나옵니다.

다음으로 좀 더 많은 자세하고 많은 정보를 봐보겠습니다.

/dev/sdb 자세한 하드디스크 정보.
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
smartctl -a /dev/sdb
smartctl 6.2 2013-07-26 r3841 [x86_64-linux-3.10.0-123.6.3.el7.x86_64] (local build)
Copyright (C) 2002-13, Bruce Allen, Christian Franke, www.smartmontools.org
 
=== START OF INFORMATION SECTION ===
Model Family:     Western Digital Caviar SE16 Serial ATA
Device Model:     WDC WD3200KS-00PFB0
Serial Number:    WD-WCAPD1278172
Firmware Version: 21.00M21
User Capacity:    320,072,933,376 bytes [320 GB]
Sector Size:      512 bytes logical/physical
Device is:        In smartctl database [for details use: -P show]
ATA Version is:   ATA/ATAPI-7 (minor revision not indicated)
Local Time is:    Tue Oct  7 21:37:47 2014 KST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled
 
=== START OF READ SMART DATA SECTION ===
SMART overall-health self-assessment test result: PASSED
 
General SMART Values:
Offline data collection status:  (0x05) Offline data collection activity
was aborted by an interrupting command from host.
Auto Offline Data Collection: Disabled.
Self-test execution status:      (   0) The previous self-test routine completed
without error or no self-test has ever
been run.
Total time to complete Offline
data collection: ( 9600) seconds.
Offline data collection
capabilities: (0x7b) SMART execute Offline immediate.
Auto Offline data collection on/off support.
Suspend Offline collection upon new
command.
Offline surface scan supported.
Self-test supported.
Conveyance Self-test supported.
Selective Self-test supported.
SMART capabilities:            (0x0003) Saves SMART data before entering
power-saving mode.
Supports SMART auto save timer.
Error logging capability:        (0x01) Error logging supported.
General Purpose Logging supported.
Short self-test routine
recommended polling time: (   2) minutes.
Extended self-test routine
recommended polling time: ( 111) minutes.
Conveyance self-test routine
recommended polling time: (   6) minutes.
SCT capabilities:        (0x103f) SCT Status supported.
SCT Error Recovery Control supported.
SCT Feature Control supported.
SCT Data Table supported.
 
SMART Attributes Data Structure revision number: 16
Vendor Specific SMART Attributes with Thresholds:
ID# ATTRIBUTE_NAME          FLAG     VALUE WORST THRESH TYPE      UPDATED  WHEN_FAILED RAW_VALUE
  1 Raw_Read_Error_Rate     0x000f   200   200   051    Pre-fail  Always       -       0
  3 Spin_Up_Time            0x0003   200   185   021    Pre-fail  Always       -       5000
  4 Start_Stop_Count        0x0032   096   096   000    Old_age   Always       -       4940
  5 Reallocated_Sector_Ct   0x0033   200   200   140    Pre-fail  Always       -       0
  7 Seek_Error_Rate         0x000f   200   200   051    Pre-fail  Always       -       0
  9 Power_On_Hours          0x0032   077   077   000    Old_age   Always       -       17398
10 Spin_Retry_Count        0x0013   100   100   051    Pre-fail  Always       -       0
11 Calibration_Retry_Count 0x0013   100   100   051    Pre-fail  Always       -       0
12 Power_Cycle_Count       0x0032   096   096   000    Old_age   Always       -       4444
194 Temperature_Celsius     0x0022   101   001   000    Old_age   Always       -       49
196 Reallocated_Event_Count 0x0032   200   200   000    Old_age   Always       -       0
197 Current_Pending_Sector  0x0012   200   200   000    Old_age   Always       -       0
198 Offline_Uncorrectable   0x0010   200   200   000    Old_age   Offline      -       0
199 UDMA_CRC_Error_Count    0x003e   200   200   000    Old_age   Always       -       7
200 Multi_Zone_Error_Rate   0x0009   200   200   051    Pre-fail  Offline      -       0
 
SMART Error Log Version: 1
No Errors Logged
 
SMART Self-test log structure revision number 1
No self-tests have been logged.  [To run self-tests, use: smartctl -t]
 
 
SMART Selective self-test log data structure revision number 1
SPAN  MIN_LBA  MAX_LBA  CURRENT_TEST_STATUS
    1        0        0  Not_testing
    2        0        0  Not_testing
    3        0        0  Not_testing
    4        0        0  Not_testing
    5        0        0  Not_testing
Selective self-test flags (0x0):
  After scanning selected spans, do NOT read-scan remainder of disk.
If Selective self-test is pending on power-up, resume after 0 minute delay.

‘-a’ 옵션을 주면 위와같이 상세한 정보가 나옵니다. 눈여겨 보실 부분은 중간에 나온 ‘SMART Attributes with Thresholds’ 부분 입니다. 각 항목별로 오른쪽에 수치가 나옵니다. 각각의 항목별은 의미가 다 있는데, 여기서 집중해서 봐야할 항목은 다음과 같습니다.

  • Raw_Read_Error_Rate : 디스크로부터 데이터를 읽을때에 발생한 오류 비율. 외부에 물리적으로 충격이 가해지면 이 수치가 치솟는다고 합니다.
  • Reallocated_Sector_Ct : 섹터에 문제가 발생할 경우에 대체영역으로 섹터를 바꾼 횟수
  • Seek_Error_Rate : 하드디스크에서 데이터를 찾는 동안에 발생한 탐색 오류 비율.
  • Offline_Uncorrectable : Offline 은 전원이 없는 상태를 말하며 하드디스크가 꺼졌을때에 잘못된 섹터 갯수로 매우 심각한 상태를 말한다.
  • UDMA_CRC_Error_Count : 데이터 전송시에 발생한 CRC 체크섬 오류 횟수.

위 부분에 수치들이 높게 나온다면 문제가 있다고 봐야 하며 될수 있으면 하드디스크 구매한 곳에가서, A/S 기간이 남았다면, 교체를 요청해야 합니다.

특히나 서버에서 사용되어지는 하드디스크는 다른 하드디스크들보다 중요성은 말할 필요도 없겠지요. smartctl 을 통해서 미리미리 장애를 대응함으로써 중요한 데이터를 보호할 수 있습니다.

 

Apache mod_ruid2 설치

Apache LogoApache 는 TCP/IP 접속과 접속이 이루어진 후에 컨텐츠를 처리하는 프로세스의 권한이 다릅니다. TCP/IP 접속관련은 Root 권한으로 동작하고 이후 동작은 아파치의 설정에 따른 권한으로 실행 됩니다.

 

아파치의 동작 권한은 다음과 같이 설정 합니다.

httpd.conf
Apache
1
2
3
4
5
6
# User/Group: The name (or #number) of the user/group to run httpd as.
# It is usually good practice to create a dedicated user and group for
# running httpd, as with most system services.
#
User nobody
Group nobody

위 설정은 아파치의 컨텐츠를 처리하는 프로세스가 nobody:nobody 권한으로 동작하도록 지정한 것입니다.

그런데, 이렇게 하면 버추얼 호스트(VirtualHost) 설정을 할 경우에 보통 각 계정별로 RootDocument 를 설정하는데, 이럴경우 아파치 프로세스는 한가지의 권한으로 동작하고 모든 계정에 접근해야 함으로 각 계정에 액세스 권한을 줘야 합니다. 그래서 주로 다음과 같이 해줘야 합니다.

리눅스 계정 디렉토리 권한 설정.
Shell
1
2
3
4
5
ls -lh /home/
합계 0
drwx-----x 2 test  test  59 10월  4 23:06 test
drwx-----x 2 test1 test1 59 10월  4 23:06 test1
drwx-----x 2 test2 test2 59 10월  4 23:06 test2

이러한 아파치 권한과 리눅스 시스템 계정별 권한때문에 공개 CMS 프로그램들(xe, gnuboard, wordpress) 등을 설치할때에 홈디렉토리의 퍼미션을 777 로 하게됩니다. 이럴경우 보안상 큰 문제가 됩니다.

아파치의 컨텐츠 프로세스마다 지정한 시스템 계정의 권한으로 동작하도록 하게 한다면 각 계정별로 퍼미션을 바꿀 필요가 없게 됩니다. 이러한 것을 가능하도록 해주는 모듈이 바로 mod_ruid2 입니다.

이 문서는 Apache mod_ruid2 설치 에 관련된 내용 입니다.

1. 설치 환경

설치 환경은 다음과 같습니다.

  • 배포판: CentOS 7
  • Apache Version: 2.4.10
  • Apache MPM: prefork

2. mod_ruid2 설치.

mod_ruid2 프로젝트 홈페이지에서 다운로드 받고 압축을 해제한 후에 apxs 를 이용해서 다음과 같이 설치 해줍니다.

mod_ruid2 설치
Shell
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
# mod_ruid2 다운로드
wget http://downloads.sourceforge.net/project/mod-ruid/mod_ruid2/mod_ruid2-0.9.8.tar.bz2?r=http%3A%2F%2Fsourceforge.net%2Fprojects%2Fmod-ruid%2F&ts=1412085172&use_mirror=cznic
# 압축 해제
tar xvjf mod_ruid2-0.9.8.tar.bz2
# 디렉토리 변경
cd mod_ruid2-0.9.8
# 컴파일 설치
/usr/local/apache2.4.10/bin/apxs -a -i -l cap -c mod_ruid2.c
/usr/local/apache2.4.10/build/libtool --silent --mode=link gcc -std=gnu99 -Wl,-z,relro,-z,now,-L/usr/lib64   -o mod_ruid2.la  -lcap -rpath /usr/local/apache2.4.10/modules -module -avoid-version    mod_ruid2.lo
/usr/local/apache2.4.10/build/instdso.sh SH_LIBTOOL='/usr/local/apache2.4.10/build/libtool' mod_ruid2.la /usr/local/apache2.4.10/modules
/usr/local/apache2.4.10/build/libtool --mode=install install mod_ruid2.la /usr/local/apache2.4.10/modules/
libtool: install: install .libs/mod_ruid2.so /usr/local/apache2.4.10/modules/mod_ruid2.so
libtool: install: install .libs/mod_ruid2.lai /usr/local/apache2.4.10/modules/mod_ruid2.la
libtool: install: install .libs/mod_ruid2.a /usr/local/apache2.4.10/modules/mod_ruid2.a
libtool: install: chmod 644 /usr/local/apache2.4.10/modules/mod_ruid2.a
libtool: install: ranlib /usr/local/apache2.4.10/modules/mod_ruid2.a
libtool: finish: PATH="/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/root/bin:/sbin" ldconfig -n /usr/local/apache2.4.10/modules
----------------------------------------------------------------------
Libraries have been installed in:
   /usr/local/apache2.4.10/modules
 
If you ever happen to want to link against installed libraries
in a given directory, LIBDIR, you must either use libtool, and
specify the full pathname of the library, or use the `-LLIBDIR'
flag during linking and do at least one of the following:
   - add LIBDIR to the `LD_LIBRARY_PATH' environment variable
     during execution
   - add LIBDIR to the `LD_RUN_PATH' environment variable
     during linking
   - use the `-Wl,-rpath -Wl,LIBDIR' linker flag
   - have your system administrator add LIBDIR to `/etc/ld.so.conf'
 
See any operating system documentation about shared libraries for
more information, such as the ld(1) and ld.so(8) manual pages.
----------------------------------------------------------------------
chmod 755 /usr/local/apache2.4.10/modules/mod_ruid2.so
[activating module `ruid2' in /usr/local/apache2.4.10/conf/httpd.conf]

모듈 파일이 설치되고 httpd.conf 파일에 이 모듈이 자동으로 활성화 됩니다.

3. mod_ruid2 설정

기본적으로 다음과 같이 사용을 하시면 됩니다.

mod_ruid2 설정.
Apache
1
2
3
4
5
6
7
8
<VirtualHost *:80>
........
........
    <IfModule mod_ruid2.c>
        RMode config
        RUidGid test test
    </IfModule>
</VirtualHost>

4. 그러나, 아직은..

이 모듈은 프로세스의 소유권 변환을 해줌으로 보안성을 향상시키지만 다음과 같은 모듈과 호환성을 제공하지 않습니다. (함께 쓸수 없다는 이야기…)

  • mod_cache
  • mod_cache_disk
  • mod_cache_socache
  • MPM worker
  • MPM event

Apache 2.4.10 이후로 SSLSessionCache를 위해선 mod_cache_socache 의 의존성을 가지고 있기 때문에 mod_ruid2 를 사용한다면 SSL 제대로 동작하지 않을 가능성이 있습니다. (mod_cache_socache 는 과거의 mod_mem_cache 입니다.)

MPM event 일 경우에 이것이 동작하지 않는다는게 가장 큰 문제로 보입니다.

Apache mod_deflate 설정

Apache LogoApache 2.4 에서 mod_deflate 설정 에 대한 문서 입니다.

Apache 2.2 에비해서 Apache 2.4 에서의 설정이 새롭게 바뀌었습니다.

 

 

1. Requirement

Apache 2.4 에서 mod_deflate 를 사용하기 위해서는 다음과 같은 모듈들도 활성화되어야 합니다.

  • mod_setenvif : 환경변수를 정의한다.
  • mod_headers : HTTP 요청 헤더와 응답 헤더를 조절하고 수정하는 지시어를 제공한다.
  • mod_deflate : 서버의 출력을 네트웍으로 클라이언트에 보내기 전에 압축하는 기능 제공

위 모듈들이 Apache 2.4.10 에 활성화 되어 있어야 합니다.

2. 설정

mod_deflate 의 설정은 Apache 2.2 와 2.4 가 차이가 있습니다. 두 버전에 상관없이 설정할 수 있는 방법도 있는데, 이것은 아파치 문서에 나와 있는 방법이기도 합니다.

mod_deflate 설정.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
이미지를 제외한 모든 것을 압축
 
<Location />
# 필터를 추가한다
SetOutputFilter DEFLATE
 
# Netscape 4.x에 문제가 있다...
BrowserMatch ^Mozilla/4 gzip-only-text/html
 
# Netscape 4.06-4.08에 더 문제가 있다
BrowserMatch ^Mozilla/4\.0[678] no-gzip
 
# MSIE은 Netscape라고 자신을 알리지만, 문제가 없다
# BrowserMatch \bMSIE !no-gzip !gzip-only-text/html
 
# 주의: 아파치 2.0.48까지 mod_setenvif의 버그때문에
# 위의 정규표현식은 동작하지 않는다. 원하는 효과를
# 얻기위해 다음과 같이 수정하여 사용한다:
BrowserMatch \bMSI[E] !no-gzip !gzip-only-text/html
 
# 이미지를 압축하지 않는다
SetEnvIfNoCase Request_URI \
\.(?:gif|jpe?g|png)$ no-gzip dont-vary
 
# 프록시가 잘못된 내용을 전달하지않도록 한다
Header append Vary User-Agent env=!dont-vary
</Location>

그런데, Apache 2.4 의 Fileter 모듈을 적용해서 특정한 컨텐츠타입에만 Deflate 를 적용하면 다음과 같습니다.

filter 모듈을 이용한 deflate 설정.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
<ifmodule filter_module>
        # HTML, TXT, CSS, JavaScript, JSON, XML, HTC:
        FilterDeclare   COMPRESS
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$text/html'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$text/css'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$text/plain'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$text/xml'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$text/x-component'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$application/javascript'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$application/json'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$application/xml'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$application/xhtml+xml'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$application/rss+xml'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$application/atom+xml'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$application/vnd.ms-fontobject'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$image/svg+xml'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$image/x-icon'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$application/x-font-ttf'"
        FilterProvider  COMPRESS  DEFLATE "%{CONTENT_TYPE} = '$font/opentype'"
        FilterChain     COMPRESS
        FilterProtocol  COMPRESS  DEFLATE change=yes;byteranges=no
</ifmodule>
<ifmodule !filter_module>
        # Legacy versions of Apache
        AddOutputFilterByType DEFLATE text/html text/plain text/css application/json
        AddOutputFilterByType DEFLATE application/javascript
        AddOutputFilterByType DEFLATE text/xml application/xml text/x-component
        AddOutputFilterByType DEFLATE application/xhtml+xml application/rss+xml application/atom+xml
        AddOutputFilterByType DEFLATE image/x-icon image/svg+xml application/vnd.ms-fontobject application/x-font-ttf font/opentype
</ifmodule>

deflate 를 사용하는데 따라 클라이언트에게 압축된 컨텐츠라는 걸 알려주기 위해서 헤더값을 다음과 같이 조작해 줍니다.

deflate 를 위한 헤더값 조사.
1
2
3
4
5
6
<IfModule setenvif_module>
        <IfModule headers_module>
                SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
                RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
        </IfModule>
</IfModule>

이것을 종합하면 다음과 같습니다.

apache 2.4.10 에서 Deflate 설정.
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
<IfModule deflate_module>
        <IfModule setenvif_module>
                <IfModule headers_module>
                        SetEnvIfNoCase ^(Accept-EncodXng|X-cept-Encoding|X{15}|~{15}|-{15})$ ^((gzip|deflate)\s*,?\s*)+|[X~-]{4,13}$ HAVE_Accept-Encoding
                        RequestHeader append Accept-Encoding "gzip,deflate" env=HAVE_Accept-Encoding
                </IfModule>
        </IfModule>
 
        <IfModule filter_module>
                # HTML, TXT, CSS, JavaScript, JSON, XML, HTC
                FilterDeclare  COMPRESS
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'text/html'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'text/css'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'text/plain'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'text/xml'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'text/x-component'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'application/javascript'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'application/json'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'application/xml'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'application/xhtml+xml'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'application/rss+xml'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'application/atom+xml'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'application/vnd.ms-fontobject'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'image/svg+xml'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'image/x-icon'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'application/x-font-ttf'"
                FilterProvider COMPRESS DEFLATE "%{CONTENT_TYPE} = 'font/opentype'"
                FilterChain    COMPRESS
                FilterProtocol COMPRESS DEFLATE change=yes;byteranges=no
        </IfModule>
 
        <IfModule !filter_module>
                # Legacy versions of Apache
                AddOutputFilterByType DEFLATE text/html text/plain text/css application/json
                AddOutputFilterByType DEFLATE application/javascript
                AddOutputFilterByType DEFLATE text/xml application/xml text/x-component
                AddOutputFilterByType DEFLATE application/xhtml+xml application/rss+xml application/atom+xml
                AddOutputFilterByType DEFLATE image/svg+xml application/vnd.ms-fontobject application/x-font-ttf font/opentype
        </IfModule>
</IfModule>

Apache 설정

Apache LogoApache 설정이 필요 합니다. 그대로 쓰더라도 아무 문제가 없기는 하지만 아주 조금만 설정을 해주면 보안도 높아지고 성능도 좋아집니다.

이 문서의 내용은 Apache 2.4.10 기준으로 작성 되었습니다.

 

1. Default Character Set

아파치의 기본 문자셋을 지정해 줍니다.

Set Default Charset
Apache
1
2
# Specify a Default Charset
AddDefaultCharset utf-8

2. Server Signature

서버의 자세한 정보를 숨깁니다. 이는 컴파일 설치를 했다면 conf/extra/httpd-default.conf 파일에 정의되어 있으며 httpd.conf 에서 extra/httpd-default.conf 파일을 Include 해주면 활성화됩니다.

Disable server signature
Apache
1
2
ServerSignature Off
ServerTokens Prod

3. 디렉토리 리스팅 비활성화

컴파일 설치를 했다면 httpd.conf 파일에서 extra/httpd-autoindex.html 파일을 활성화 하지 않습니다. 그리고 다음과 같이 디렉토리 리스팅을 비활성화 해줍니다.

Disable directory listing
Apache
1
2
3
<IfModule mod_autoindex>
Options -Indexes
</IfModule>

4. backup 파일이나 source 파일 접근 금지

Block access to backup and source files
Apache
1
2
3
4
5
<FilesMatch "(\.(bak|config|conf|sql|fla|ini|log|sh|inc|swp|dist)|~)$">
Order allow,deny
Deny from all
Satisfy All
</FilesMatch>

 

iptable 의 hashlimit 를 이용한 접속 제한

보통 DDOS 공격과 같은 경우에 초당 몇 십개에서 몇백번건의 접속을 시도 합니다. 이러한 초당 수백건의 접속을 이용해서 iptables 의 hashlimit 를 이용한 접속 제한을 할 수 있습니다.

hashlimit match options
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
hashlimit match options
 
  --hashlimit-upto            max average match rate
                                   [Packets per second unless followed by
                                   /sec /minute /hour /day postfixes]
  –hashlimit-above           min average match rate
  –hashlimit-mode           mode is a comma-separated list of
                                   dstip,srcip,dstport,srcport (or none)
  –hashlimit-srcmask      source address grouping prefix length
  –hashlimit-dstmask      destination address grouping prefix length
  –hashlimit-name           name for /proc/net/ipt_hashlimit
  –hashlimit-burst     number to match in a burst, default 5
  –hashlimit-htable-size     number of hashtable buckets
  –hashlimit-htable-max      number of hashtable entries
  –hashlimit-htable-gcinterval    interval between garbage collection runs
  –hashlimit-htable-expire        after which time are idle entries expired?

예를들어 초당 20번 이상 접속을 시도하는 것을 차단하고 싶다면 다음과 같이 지정하면 됩니다.

hashlimit for iptables
1
-m hashlimit --hashlimit-name dnsudplimit --hashlimit-above 20/second --hashlimit-mode srcip --hashlimit-burst 100 --hashlimit-srcmask 24 --hashlimit-htable-expire 3600 -j DROP

이 차단은 약 1시간 동안 유지됩니다.

 

[번역] 리눅스 커널 튜닝 – swappiness and overcommit_memory

이 문서는 다음 주소의 내용을 발 번역한 것입니다.

리눅스 커널 튜닝 – swappiness and overcommit_memory

리눅스 커널  튜닝가능한 파라메터 vm.swappiness (/proc/sys/vm/swappiness) 는 어떻게 메모리 페이지들이(memory pages) 적극적으로 디스크에 스왑(swap)되어질 수 있는지를 정의하는데 사용되어질 수 있습니다. 리눅스는 활용할 수 있는 free 메모리양이 충분하더라도 오랫동안 메모리 페이지에 접근하지 않는 것들을 스왑 공간으로 이동시킵니다. 이러한  동작은 “swappiness” 커널 파라메터 값을 /proc/sys/vm/swappiness 에서 변경할 수 있습니다.

높은 swappiness 값은 커널은 매핑된 페이지를 좀 더 해제하라는 의미 입니다. 낮은 swappiness 값은 반대의 의미로 커널은 매핑된 페이지를 덜 해제하도록 하라는 의미 입니다. 바꿔말해서, vm.swappiness 값이 높을 수록 시스템은 좀 더 많이 스왑을 할 것입니다.

vm.swappiness 는 스와핑 활동과 freeing 캐쉬사이의 균형을 바꾸기 위해서 0 에서 100 사이의 값을 가집니다. 100 은 커널이 항상 비활성 페이지를 찾게되고 그것들을 스왑 합니다. 다른 말로, 스왑의 발생은 애플리케이션이 메모리를 얼마나 많이 사용하는지, 어떻게 부족한 캐쉬가 찾기 활동을하고  비활성 아이템을 릴리즈하는가에 의존합니다.

Shell
1
2
echo 0 > /proc/sys/vm/swappiness
cat /proc/sys/vm/swappiness

일반적으로 프로세스들은 함수 malloc() 를 호출함으로서 메모리를 할당 합니다. 커널은 충분한 메모리가 활용가능한지 판단하고 할당요청을 허용하거나 거부할지를 결정합니다. 리눅스는 메모리 오버커밋(overcommit memory) 할 수 있는 기능을 지원 합니다. 그것은 물리적 램과 스왑을 합쳐 더 많은 메모리를 할당되어질 수 있도록 허용하는 것 입니다. 이것은 무섭지만, 때때로 애플리케이션이 최악의 케이스 시나리오로 메모리를 할당하는 경우에 필요하지만 절대로 이러한 케이스를 사용해서는 안됩니다. (애플리케이션이 메모리를 많이 잡아먹도록 만들지 말라는 이야기 입니다.)

vm.overcommit_memory 는 3가지 가능한 세팅 값이 있습니다.

  • 0 (heuristic overcommit) : 충분한 메모리가 활용가능하지 체크하고, 만약 그렇다면, 할당을 허용한다. 만약 메모리가 충분하지 않다면, 요청을 거부하거나 애플리케이션에 에러를 리턴한다.
  • 1 (always overcommit) :  커널은 “모든 돈을 걸어라”는 것과 같다. 1로 세팅하는 것은 커널에게 애플리케이션의 메모리에 대한 요청을 항상 성공으로 리턴하라고 명령하는 것이다. 이것은 듣기에따라서 섬뜩하고 무서운 것이다.
  • 2 (strict covercommit) : 메모리에 물리적 메모리와 스왑을 합쳐 초과 할당을 vm.overcommit_ratio 에 정의되어진 것만큼 할당하도록 허용하라. vm.overcommit_ratio 파라메터는 비율로서 얼마나 커널이 오버커밋을 할 수 있는지를 결정할때에 추가할 메모리의 양이다. 예를들어, vm.overcommit_ratio 가 50 이고 1GB 의 램을 가지고 있따면 커널은 요청이 실페하기전에 0.5GB 의 물리메모리와 스왑을 더해서 할당되어질 수 있도록 허용하게 된다. 결국 물리메모리를 낭비하게 된다.

프로세스가 포크(fork)될때나 fork()함수를 호출할때, 이것은 전체 페이지 테이블(page table)이 복제된다. 다른 말로하면, 작식 프로세스는 완벽하게 부모의 메모리공간의 복사본을 가진다는 것이며 이는 당신이 예상한대로 두배의 메모리양을 필요로한다. (부모 메모리, 자식 메모리) 만약 그 자식들의 의도가 즉각적으로 exec()를 호출하는 것이라면( 하나의 프로세스가 다른것으로 교체되는) 부모의 메모리를 복제하는 활동은 시간을 낭비한다. 왜냐하면 이러한 패턴은 아주 일반적인것으로, fork()와 달리 vfork()로 생성은 부모 메모리를 복제하지 않으며 대신에 자식 프로세스가 exec() 를 호출하거나 사라질때까지 그것을 블럭킹한다.  The problem is that the HotSpot JVM developers implemented Java’s fork operation using fork() rather than vfork()

Shell
1
2
echo 1 >  /proc/sys/vm/overcommit_memory
cat /proc/sys/vm/overcommit_memory

영구적으로 바꾸기.

1
2
3
4
5
6
7
#vi /etc/sysctl.conf
add the following (dash not included)
---------------------------------
# Hadoop Kernel tuning
vm.swappiness=0
vm.overcommit_memory=1
---------------------------------