리눅스 tag - 10 중 7 번째 페이지

HowTo, Linux

High Availability – Cold, Warm, Hot

04/10/2015

이글은 다음의 내용을 번역한 것입니다. High Availability – Cold, Warm, Hot 클러스터링(Clustering) 은 소프트웨어, 하드웨어, 데이터 이중화 도입이 필요한 어떤 서비스에 대해 고가용성(High Availability) 구현을 위한 가장 일반적인 기술이다. 실패한 클러스터링 소프트웨어에서는 즉각적으로 관리자 개입이 필요없이 대기(standby) 시스템에 애플리케이션이 시작된다. 소프트웨어 이중화의 타입에 따라서 고가용성이 제공되어질 클러스터들은 다음과 같은 설정들로 구성되어질 수 있다. Cold Standby: 보조 노드는 다른 동일한 기존 시스템의 백업처럼 동작 한다. 이 보조 노드는 처음으로 기존 노드가 고장이 발생했을때만 설치되어지고 구성되어진다. 그리고 나서, 기존 노드가 실패할때에 보조 […]

HowTo, Linux

SNMP Extend

03/31/2015

snmpd 는 시스템의 자원들에 대해서 SNMP 프로토콜을 통해서 볼 수 있는 기능을 제공 한다. 그런데, 알고 싶은 자원들에 대한 목록들을 조회하기 위해 MIB 값들이 할당되어 있으며 자주 사용되는 운영체제, 라우터, 스위치 같은 장비들에 대한 MIB 값들을 미리 할당되어 전 세계적으로 표준으로 재정해 사용하고 있다. 그런데, 표준으로 재정된 MIB 값외에 사용자가 필요한 자원들을 조회하기 위한 MIB 값을 등록해야 하는데 이때 사용하는 것이 SNMP Extend 를 사용하면 된다. SNMP Extend 는 ‘.1.3.6.1.4.1.2021.8.10’ 같은 MIB 에 조회하고자하는 값들을 등록하면 된다. 예를들면 다음과 같다. […]

HowTo, Linux

HyperText Transfer Protocol

03/18/2015

HyperText Transfer Protocol 은 인터넷 미디어를 전송하기 위한 규약이다. 인터넷 미디어라는 단어를 쓰기는 했지만, 요즘에는 인터넷을 통해서 못하는게 없을 정도로 인터넷 미디어를 규정하는 매체의 경계는 없다. 따라서 “인터넷 미디어를 전송하기 위한 규약”은 구시대적인 정의이며 차라리 “인터넷을 이용한 웹을 사용할 경우에 쓰이게되는 규약” 정도가 더 잘 맞는듯 하다. HyperText 는 텍스트를 가지는 노드사이에 지역적인 링크(이걸 HyperLink라 한다)를 사용하는 구조적 텍스트를 말한다. 쉽게 말해서 웹사이트에서 링크를 클릭하면서 텍스트를 불러오는 텍스트 구조를 말하는 것이다. History 1989년 CERN (유럽 입자 물리학 연구소) 에 근무하던 […]

HowTo, Linux

리눅스 시스템 자원 제한.

03/10/2015

아주 접속이 많은 웹 서버를 운영하던중에 다음과 같은 종류의 메시지를 접하는 경우가 종종 있다.

Too many open files (24)

1	Too many open files (24)

너무나 많은 파일을 열었다는 건데, 도대체 무슨 파일을 열었다는건지 서비스하는 웹 페이지의 파일 개수도 많지도 않은데 말이다. 이 문서는 이러한 의문을 가지는 사람들 위한 것이다. 모든게 파일! 리눅스 시스템은 모든것이 파일이다. 장치도 파일이다. 그 유명한 /dev/ 디렉토리에 있는 팡리들이 바로 장치들이다. 저 파일들에게 cat 명령어로 데이터를 던져주면 그것을 알아먹는 장치는 동작하게 된다. 또, 리눅스에서 프로그램의 실행은 혼자 동작하는 것이 아니다. C 프로그램을 해본사람이라면 라이브러리(Library) 개념을 […]

HowTo, Linux

Nginx KeepAlive

03/07/2015

Nginx 에서 KeepAlive 관련된 설정은 다음과 같이 세가지이다. keepalive_disable keepalive_timeout keepalive_requests 먼저, Keepalive 는 HTTP 와 TCP 상에서 구현되어 있다. HTTP 의 경우에는 1.0 버전과 1.1 버전이 존재하는데, 1.0 버전에서는 KeepAlive 는 존재하지 않으며 1.1 에서는 연결시에 기본으로 KeepAlive 가 활성화 된다. HTTP 는 “Connetionless” 방법을 취한다. 웹 컨텐츠를 전송 받기 위해서 서버에 연결을 한 후에 데이터를 전송받는다. 그리고는 연결을 바로 끊게 된다. 하지만 웹이라는게 HTML, Javascript, CSS, Image 파일등으로 수백개로 이루어진 상태에서 수백의 컨텐츠를 전송하기위해서 연결을 수백번을 한다면 비 […]

Database, Redis

[번역]레디스 슬레이브에서 “놓쳐버린” 키들.

03/04/2015

이 문서는 다음의 글을 번역한 것입니다. “Missing” Keys on Redis Slaves 레디스 슬레이브에서 “놓쳐버린” 키들. 만약 당신이 레디스(Redis)에서 만료중인 키를(expiring key)(“임시적인 키”로 알려진) 사용하고 있다면, 당신은 레디스 마스터에서 새로운 슬레이브(Slave)를 붙였을때에 놀랄 수도 있습니다. 슬레이브에서 키 갯수(key count)가 마스터에서 키 갯수보다 약 25%정도 낮을 것입니다. 이것은 임시적인 키(volatile key)가 아주 많다면 특별하게도 정상적인 것입니다. 레디스 슬레이브가 키를 놓쳐버린 걸까? 단순하게 데이터를 잃어버린 걸까? 결론부터 말하자면 “아니오” 입니다. 그러나, 왜그런지 이해하길 희망하면서, 레디스 슬레이브가 어떠한 데이터도 잃어버리지도 않았는데도 더 적은 키 […]

Database, Redis

Redis 운영에 필요한 잡지식들.

02/28/2015

Redis 는 In memory 기반으로 동작하기 때문에 메모리 관리가 매우 중요한데, 먼저 리눅스에 메모리 관리를 Redis 운영에 적합하도록 설정하는 것이 좋다. 먼저 Redis 는 Swap 을 사용하지 않고 물리 메모리 내에서만 운영하는 환경이다.

vm.overcommit=2
vm.overcommit_ratio=99
vm.swappiness=0

echo never > /sys/kernel/mm/transparent_hugepage/enabled

vm.overcommit=2

vm.overcommit_ratio=99

vm.swappiness=0

echo never > /sys/kernel/mm/transparent_hugepage/enabled

가상 메모리 overcommit 에 대해서 2 로 설정하는 것이 좋다. 2로 설정하게 되면 리눅스가 사용가능한 메모리는 다음과 같이 계산한다.

swap + (physical memory * overcommit_ratio)

1	swap + (physical memory * overcommit_ratio)

예를들어 32GB 물리 메모리를 가지고 있고 overcommit_ratio 가 50%라면 16GB 물리 메모리만 사용하게 된다. 그래서 overcommit_ratio 를 99% 로 설정을하면 모든 메모리를 사용하게 된다. swappiness 는 […]

Java, Programming

tomcat jmx 소스

02/11/2015

JMX 소스

import javax.management.MBeanServerConnection;
import javax.management.ObjectName;
import javax.management.openmbean.CompositeData;
import javax.management.remote.JMXConnector;
import javax.management.remote.JMXConnectorFactory;
import javax.management.remote.JMXServiceURL;

import java.io.Console;

public class check_jmx {

	public static final char ESC = 27;
	
	public static void main(String[] args) {
		// TODO Auto-generated method stub
		try {
			// Create an RMI connector client and
			// connect it to the RMI connector server
			//
			JMXServiceURL url =
				new JMXServiceURL("service:jmx:rmi:///jndi/rmi://127.0.0.1:9999/jmxrmi");
			JMXConnector jmxc = JMXConnectorFactory.connect(url, null);
			MBeanServerConnection mbsc = jmxc.getMBeanServerConnection();
			
			ObjectName tomcatThreadPoolObh = new ObjectName("Catalina:type=Executor,name=tomcatThreadPool");
			Object activeCnt = mbsc.getAttribute(tomcatThreadPoolObh, "activeCount");
			
			ObjectName memoryObh = new ObjectName("java.lang:type=Memory");
			CompositeData memoryRes = (CompositeData) mbsc.getAttribute(memoryObh, "HeapMemoryUsage");
			
			Console c = System.console();
			if (c == null) {
				System.err.println("no console");
				System.exit(1);
			}
			
			// clear screen only the first time
			c.writer().print(ESC + "[2J");
			c.flush();
			Thread.sleep(200);
		
			for (int i = 0; i < 100000; ++i) {
				// reposition the cursor to 1|1
				c.writer().print(ESC + "[1;1H");
				c.flush();
				
				//c.writer().println("hello " + i);
				c.writer().println("activeCount = " + activeCnt);
				c.writer().println("HeapMemoryUsage committed = " + memoryRes.get("committed"));
				c.writer().println("HeapMemoryUsage init = " + memoryRes.get("init"));
				c.writer().println("HeapMemoryUsage max = " + memoryRes.get("max"));
				c.writer().println("HeapMemoryUsage used = " + memoryRes.get("used"));
				c.flush();
			
				Thread.sleep(5000);
			}
			
			/*
			echo("activeCount = " + activeCnt);
			echo("HeapMemoryUsage committed = " + memoryRes.get("committed"));
			echo("HeapMemoryUsage init = " + memoryRes.get("init"));
			echo("HeapMemoryUsage max = " + memoryRes.get("max"));
			echo("HeapMemoryUsage used = " + memoryRes.get("used"));
			*/

			jmxc.close();
			
		} catch (Exception e) {
			e.printStackTrace();
		}
	}
	
	private static void echo(String msg) {
		System.out.println(msg);
	}

}

import javax.management.MBeanServerConnection;

import javax.management.ObjectName;

import javax.management.openmbean.CompositeData;

import javax.management.remote.JMXConnector;

import javax.management.remote.JMXConnectorFactory;

import javax.management.remote.JMXServiceURL;

import java.io.Console;

public class check_jmx {

public static final char ESC = 27;

public static void main(String[] args) {

// TODO Auto-generated method stub

try {

// Create an RMI connector client and

// connect it to the RMI connector server

JMXServiceURL url =

new JMXServiceURL("service:jmx:rmi:///jndi/rmi://127.0.0.1:9999/jmxrmi");

JMXConnector jmxc = JMXConnectorFactory.connect(url, null);

MBeanServerConnection mbsc = jmxc.getMBeanServerConnection();

ObjectName tomcatThreadPoolObh = new ObjectName("Catalina:type=Executor,name=tomcatThreadPool");

Object activeCnt = mbsc.getAttribute(tomcatThreadPoolObh, "activeCount");

ObjectName memoryObh = new ObjectName("java.lang:type=Memory");

CompositeData memoryRes = (CompositeData) mbsc.getAttribute(memoryObh, "HeapMemoryUsage");

Console c = System.console();

if (c == null) {

System.err.println("no console");

System.exit(1);

}

// clear screen only the first time

c.writer().print(ESC + "[2J");

c.flush();

Thread.sleep(200);

for (int i = 0; i < 100000; ++i) {

// reposition the cursor to 1|1

c.writer().print(ESC + "[1;1H");

c.flush();

//c.writer().println("hello " + i);

c.writer().println("activeCount = " + activeCnt);

c.writer().println("HeapMemoryUsage committed = " + memoryRes.get("committed"));

c.writer().println("HeapMemoryUsage init = " + memoryRes.get("init"));

c.writer().println("HeapMemoryUsage max = " + memoryRes.get("max"));

c.writer().println("HeapMemoryUsage used = " + memoryRes.get("used"));

c.flush();

Thread.sleep(5000);

}

echo("activeCount = " + activeCnt);

echo("HeapMemoryUsage committed = " + memoryRes.get("committed"));

echo("HeapMemoryUsage init = " + memoryRes.get("init"));

echo("HeapMemoryUsage max = " + memoryRes.get("max"));

echo("HeapMemoryUsage used = " + memoryRes.get("used"));

jmxc.close();

} catch (Exception e) {

e.printStackTrace();

}

private static void echo(String msg) {

System.out.println(msg);

}

Database, Redis

Redis 설치하기

02/07/2015

Redis 는 Key-Value 로 데이터를 저장하는 NoSQL 서버 입니다. In Memory 기반으로 동작하기 때문에 빠른 응답속도를 보입니다. 이 문서는 Redis 설치에 관한 문서 입니다. 다운로드

wget http://download.redis.io/releases/redis-2.8.19.tar.gz

1	wget http://download.redis.io/releases/redis-2.8.19.tar.gz

의존성 패키지 설치 CentOS 의 경우에는 다음과 같이 설치를 해줍니다.

yum install gcc.x86_64 gcc-c++.x86_64 wget.x86_64 bzip2-devel.x86_64 pkgconfig.x86_64 openssl-devel.x86_64 make.x86_64 man.x86_64 nasm.x86_64 gmp.x86_64 gdbm-devel.x86_64 readline-devel.x86_64 compat-readline43.x86_64 ncurses-devel.x86_64 db4-devel.x86_64 automake* autoconf* pcre-devel.x86_64 -y

yum install tcl-devel.x86_64 tcl.x86_64

yum install gcc.x86_64 gcc-c++.x86_64 wget.x86_64 bzip2-devel.x86_64 pkgconfig.x86_64 openssl-devel.x86_64 make.x86_64 man.x86_64 nasm.x86_64 gmp.x86_64 gdbm-devel.x86_64 readline-devel.x86_64 compat-readline43.x86_64 ncurses-devel.x86_64 db4-devel.x86_64 automake* autoconf* pcre-devel.x86_64 -y

yum install tcl-devel.x86_64 tcl.x86_64

Ubuntu 의 경우에는 다음과 같이 설치를 해줍니다.

sudo apt-get install build-essential

sudo apt-get install tcl8.5

sudo apt-get install build-essential

sudo apt-get install tcl8.5

컴파일

make

make

설치 설치는 PREFIX 를 인자로 줘서 설치 디렉토리 위치를 지정해줄 수 있습니다.

make install PREFIX=/usr/local/redis

1	make install PREFIX=/usr/local/redis

Redis 의 설치는 오로지 실행파일들만 복사해 줍니다. 설정 Redis 는 설치 후에 각종 설정을 할 수 있도록 스크립트를 지원 […]

Java, Programming

JMX 로 Tomcat 모니터링 하기.

01/29/2015

톰캣(Tomcat)은 JEE의 Web Container 의 구현에 입니다. 흔히 WAS 서버라고 하죠. 많은 기능이 있지만 이번에는 JMX를 설정하고 이를 이용해서 Tomcat 을 모니터링 해보겠습니다. JMX는 Java Management eXtension 으로 자바 서비스들을 관리하고 모니터링하기위한 API를 제공하는 기능을 포함하는 기술입니다. Tomcat 오 자바 서비스의 일종임으로 JMX를 이용할 수 있습니다. 톰캣(Tomcat)의 경우에 아쉽게도 기본 배포본에 이를 위한 라이브러리가 포함되어 있지않아 이 기능을 이용하기 위해서는 톰캣용 JMX 라이브러리를 다운받고 톰캣을 재시작 해줘야 합니다.

# 톰캣버전에 맞는 JMX 를 다운받으시길 바랍니다.
http://apache.mirror.cdnetworks.com/tomcat/tomcat-7/v7.0.57/bin/extras/catalina-jmx-remote.jar

1 2	# 톰캣버전에 맞는 JMX 를 다운받으시길 바랍니다. http://apache.mirror.cdnetworks.com/tomcat/tomcat-7/v7.0.57/bin/extras/catalina-jmx-remote.jar

이 파일을 톰캣(Tomcat) 라이브러리 디렉토리인 lib 에 넣어줍니다. 그리고 톰캣(Tomcat)시작 스크립트에 […]