Category: Linux

[번역] Nginx $proxy_add_x_forwarded_for and real_ip_header

이글은 다음의 글을 번역한 것입니다.

나는 대략 다음과 같은 구조로 Nginx 와 또 다른 프론트 로드 밸런서 뒤에 webapp 을 가지고 있다.

Client(a.a.a.a) -> LB(b.b.b.b) -> NGX(c.c.c.c) -> WEBAPP(d.d.d.d)

이것이 내 Nginx 설정의 일부다.

Nginx 설정 일부
Apache
1
2
3
4
5
6
7
8
location / {
    proxy_set_header  X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_set_header  X-Real-IP       $remote_addr;
 
    real_ip_header    X-Forwarded-For;
    set_real_ip_from  b.b.b.b;
    real_ip_recursive on;
}

1. 로드 밸런서는 X-Forwarded-For 필드에 Client IP 를 추가 한다.

    로드 밸런서가 추가한 헤더
    INI
    1
    X-Forwarded-For = a.a.a.a

    2. Nginx 는 X-Forwarded-For 헤더에서 LB IP(b.b.b.b) 를 생략하고 Client 에 Real IP를 찾는데, $remote_addr 은 b.b.b.b 에서 a.a.a.a 로 변경되고 따라서 proxy_set_header X-Real-IP $remote_addr 은 맞는 설정이다. (내가 원하는 설정대로다.)

    그런데, Nginx 는 X-Forwarded-For 헤더를 b.b.b.b 대신에 a.a.a.a IP 로 바꾼다.

    3. WEBAPP 은 다음과 같은 헤더를 수신한다.

    INI
    1
    2
    3
    X-Forwarded-For = a.a.a.a, a.a.a.a
    X-Real-IP = a.a.a.a
    -> X-Forwarded-For 는 a.a.a.a, b.b.b.b 여야 한다.

    내가 필요한 것은 먼저 proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_forwarded_for를 설정한 다음 실제 IP를 검색하고 $remote_addr 값을 바꾸는 기능입니다.

    이 문제를 어떻게 해결해야 하는지 알려줄 사람?

    답1

     $proxy_add_x_forwarded_for 는 $http_x_forwarded_for,$remote_addr 와 동일하고 $remote_addr 값은 http_realip_module 을 사용될때에 변경됩니다. 그래서 당신은 그 헤더에서 마지막 Proxy 주소를 얻을 수 없습니다. nginx 설정은 선언적이기 때문에 지시어의 순서 변경은 영향을 주지 않습니다.

    http_realip_module 를 사용하면,  $realip_remote_addr 값은 (nginx >= 1.9.7)  오리지널 $remote_addr 처럼 사용될 수 있습니다. (역, $realip_remote_addr 은 Nginx 앞에 있는 서버에 IP, 여기서는 LB(b.b.b.b) 를 가리킨다) 따라서 다음과 같이 X-Forwarded-For 를 세팅할 수 있습니다.

    X-Forwarded-For 지정
    INI
    1
    proxy_set_header X-Forwarded-For "$http_x_forwarded_for, $realip_remote_addr";

    답2

    나도 같은 문제로 여기까지 왔는데, 이러한 현상은 real_ip_recursive on; 으로 발생된다는 결론을 내렸습니다. Nginx 의 공식문서에 다음과 같이 나옵니다.

    If recursive search is enabled, an original client address that matches one of the trusted addresses is replaced by the last non-trusted address sent in the request header field.

    당신은 b.b.b.b 를 신뢰하도록 만들었다. 그래서 기대했던 a.a.a.a, b.b.b.b 가 a.a.a.a, a.a.a.a 로 바뀐 것입니다. 다음의 소스가 나에게 확신을 주었다. https://serverfault.com/questions/314574/nginx-real-ip-header-and-x-forwarded-for-seems-wrong

    X-Forwared-For 에서 Client IP 얻기

    Spring Boot3 에서 Reactive Web 이 아닌 그냥 Web 을 한다고 하면 Servlet 기반이고, Spring Boot 앱을 실행했을 경우 기본적으로 Embedded Tomcat 이 구동된다.

    만일 다음과 같은 환경이라고 가정해 보자.

    Client —-> AWS ALB ——> Nginx —–> Spring Boot3 (Embedded Tomca)

    ‘어느 미친놈이 저런 구조로 아키를 설계하고 구현하냐?’ 라고 비아냥될 수도 있지만 실제로 이렇게 하는 곳이 있다. 이런 구조에서 Spring Boot3 개발자은 다음과 같은 요구사항을 인프라에 전달 한다.

    Real Ip 를 가지고 올 수 있게 해주세요.

    Spring Boot3 에서 Real Ip, 그러니까 Client 의 IP 를 가지고 오는 방법으로 다음과 같은 코드를 자주 사용한다.

    Getting a remote address
    Java
    1
    2
    HttpServletRequest req = ((ServletRequestAttributes)RequestContextHolder.currentRequestAttributes()).getRequest();
    ip = req.getRemoteAddr();

    이렇게 해서 돌려보면 ip 에는 Nginx 의 ip를 가지고 오게 된다. 이를 해결하기 위한 다양한 방법이 존재한다.

    Nginx 설정

    Nginx 에서 Real IP 를 가지고 오기 위해서는 Nginx 에 자체 변수인 $remote_addr 에 Client IP 를 넣어줘야 한다. 여기서 ‘$remote_addr 변수에 값을 넣어줘야’ 말이 중요하다.

    Nginx 에서도 앞에 수많은 Proxy 가 있을 경우에 $remote_addr 은 이전 Proxy 의 IP 주소가 된다.

    Client —-> AWS ALB ——> Nginx

    만일 위와같은 구조일 경우에 Nginx 에 $remote_addr 값은 AWS ALB 의 값이 된다.

    이 문제를 해결하기 위해서 Nginx 에 ‘–with-http_realip_module’ 을 가지고 있을 경우에 특정 헤더에서 Real Ip 를 찾을 수 있도록 해준다. AWS ALB 의 경우에는 X-Forwarded-For 헤더에 Client IP 를 보존해 준다. 따라서 Nginx 에서는 다음과 같이 설정해줌으로써 $remote_addr 에 Client IP를 넣을 수 있다.

    realip config
    Apache
    1
    2
    3
    4
    set_real_ip_from 172.10.10.0/24; # ALB A zone
    set_real_ip_from 172.10.20.0/24; # ALB C zone
    real_ip_header X-Forwarded-For;
    real_ip_recursive on;

    X-Forwarded-For 라는 헤더에서 Client IP 를 찾아야 하는데, set_real_ip_from 에 있는 IP 는 그냥 신뢰할 수 있는 IP 로 정의하고 Client IP 에서 제외된다. 이렇게 하는 이유는 X-Forwarded-For 가 다음과 같은 구조를 가지기 때문이다.

    X-Forwarded-For: 213.13.24.10, 172.10.10.34

    신뢰할 수 있는 IP 라는 건 Proxied IP 를 말하는 것으로 중간에 있는 서버들을 말한다. 이러한 신뢰할 수 있는 IP 가 X-Forwarded-For 에 있기 때문에 이것은 Client IP가 될 수 없다. 이 신뢰할 수 있는 IP 를 제외하고 나면 Client IP 만 남게 되고 이것을 $remote_addr 변수에 담게 된다.

    이렇게하면 끝났으면 좋을련만, Nginx 뒤에 있는 Spring Boot3 에 req.getRemoteAdd() 함수에는 여전히 Client IP가 잡히지 않는다. Nginx 에 $remote_addr 은 어디까지나 Nginx 내에서만 활용되는 것이고 뒷단에 연결된 서버까지 연향을 주지 않는다.

    이 경우에는 별도의 Header 를 정의해서 그 Header 값을 가지고 옴으로써 Client IP를 얻을 수 있다. 먼저 Nginx 에서 Header 값을 지정해줘야 한다. 다음과 같이 proxy_set_header 를 이용해 X-Real-IP 에 $remote_addr 값을 담아 준다.

    proxy_set_header X-Real-IP
    Apache
    1
    proxy_set_header X-Real-IP $remote_addr;

    이렇게 하면 다음과 같은 코드로 Client IP 를 가지고 올 수 있다.

    X-Real-IP 가지고 오기
    Java
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
        private String[] headerTypes = {"X-Real-IP", "X-Forwarded-For", "Proxy-Client-IP",
                                        "WL-Proxy-Client-IP", "HTTP_CLIENT_IP", "HTTP_X_FORWARDED_FOR"};
     
        private String ip;
     
    @GetMapping(value = "/getIp")
    public String getIp() {
    HttpServletRequest req = ((ServletRequestAttributes)RequestContextHolder.currentRequestAttributes()).getRequest();
     
            for(String headerType: headerTypes) {
                ip = req.getHeader(headerType);
                if(ip != null) break;
            }
     
            if (ip == null) ip = req.getRemoteAddr();
            log.info("Real Remote(Client) IP Address: " + ip);
    return ip;
    }

    Nginx 에서 설정을 하게 되면 결국 Spring Boot3 에서 Nginx 에서 넘겨주는 Client IP 를 담고 있는 별도의 Header 값을 가지고 와야 하는 코드를 작성해야 한다.

    Spring Boot3 에 Tomcat 설정

    원래 Tomcat 에서는 Valve 를 이용해서 Real IP 를 가지고 올 수 있다. 놀랍게도 이 방법은 Nginx 의 설정과 방법과 동일하고 문법만 다르다. 신뢰할 수 있는 IP 대역을 지정하고 체크할 Header 를 지정해 주면 된다. 이것을 Spring Boot3 에서는 application.properties 에 설정만으로 간단하게 할 수 있다.

    다음과 같다.

    Spring Boot3 에서 Real IP 설정
    INI
    1
    2
    3
    4
    5
    6
    7
    8
    9
    server.forward-headers-strategy: native
    server.tomcat.remoteip.remote-ip-header=x-forwarded-for
    server.tomcat.remoteip.internal-proxies=10\.\d{1,3}\.\d{1,3}\.\d{1,3}|\
    169\.254\.\d{1,3}\.\d{1,3}|\
    127\.\d{1,3}\.\d{1,3}\.\d{1,3}|\
    172\.1[6-9]{1}\.\d{1,3}\.\d{1,3}|\
    172\.2[0-9]{1}\.\d{1,3}\.\d{1,3}|\
    172\.3[0-1]{1}\.\d{1,3}\.\d{1,3}|\
    192\.168\.96\.78

    internal-proxies 는 신뢰할 IP 설정이라고 보면 되고, Nginx 에서 set_real_ip_from 설정이며, remote-ip-header 는 어느 헤더에서 찾을지를 지정하는 것으로 Nginx 에서 real_ip_header 와 같다.

    이렇게 하면 Tomcat 은 Servlet 객체에 Client Ip 를 담아주게 되고 req.getRemoteAddr() 호출만으로, 추가적인 코딩 없이 Client Ip 를 가지고 올 수 있게 된다.

    Running a arm64 of guest on x86_64 host via kvm

    최근들어 arm64 아키텍쳐가 인기가 많아졌다. 애플의 실리콘 반도체라고 불리는것도 arm64 기반이며 Windows 11 도 arm64 에서도 작동된다. 리눅스는 오래전부터 다양한 아키텍쳐로 포팅이되었기 때문에 arm64 를 위한 배포판도 다양하게 존재한다. 문제는 arm64 아키텍쳐를 경험하기 위해서 arm64 하드웨어가 있어야 했지만, 이제는 x86_64 기반의 가상머신을 이용하면 arm64 아키텍쳐를 게스트로 운영할 수 있다.

    이 문서는 x86_64 기반 가상머신에서 arm64 아키텍쳐기반의 게스트를 실행하는 방법에 대해서 기술한 것이다.

    x86_64 가상머신

    x86_64 아키텍쳐 기반의 가상머신으로 리눅스 운영체제를 기반으로 KVM 을 활용하고 있다. GUI 툴로서 virt-manager, CLI 로는 virsh 를 활용해서 간단하게 게스트를 생성하고 운영하고 있다. arm64 아키텍쳐 게스트를 운영하기 위한 호스트로서 x86_64 아키텍쳐 기반 가상머신 스펙은 다음과 같다.

    • OS: Ubuntu 22.04
    • Kernel: 5.15.0-207.156.6.el9uek.x86_64
    • CPU: AMD Ryzen 7 2700X Eight-Core Processor

    libvirt vs QEMU

    arm64 아키텍쳐기반 게스트를 운영하기 위해서는 QEMU 를 사용해야 한다. QEMU 는 가상머신 에뮬레이터라고 생각하면 된다. 문제는 QEMU 는 CLI 기반만 제공한다.

    반면에 libvirt 는 KVM/QEMU 등을 지원하는 일종의 핸들러 라이브러리고 생각하면 된다. libvirt 를 이용하면 xml 기반으로 게스트 관련 가상머신 스펙을 정의할 수 있으며 virt-manager 와같은 GUI 툴도 활용할 수 있다.

    QEMU 에뮬레이터라고 했기 때문에 arm64 를 위한 QEMU 에뮬레이터를 설치하면 arm64 기반 게스트 운영체제를 운영할 수 있다. 다음과 같이 arm64 를 위한 QEMU 에뮬레이터를 설치해준다.

    qemu-system-arm 설치
    ZSH
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    $ sudo apt install qemu-system-arm
    Reading package lists... Done
    Building dependency tree... Done
    Reading state information... Done
    The following packages were automatically installed and are no longer required:
      guestfish guestmount libconfig9 libguestfs-perl libstring-shellquote-perl libsys-virt-perl libwin-hivex-perl libxml-parser-perl
      libxml-xpath-perl
    Use 'apt autoremove' to remove them.
    The following additional packages will be installed:
      qemu-efi-aarch64 qemu-efi-arm
    Suggested packages:
      vde2
    The following NEW packages will be installed:
      qemu-efi-aarch64 qemu-efi-arm qemu-system-arm
    0 upgraded, 3 newly installed, 0 to remove and 2 not upgraded.
    Need to get 15.8 MB of archives.
    After this operation, 532 MB of additional disk space will be used.

    위 패키지를 설치가 완료되면 다음과 같이 virt-manager 에서 게스트를 생성할때에 Architecture options 이 생긴다.

    qemu-system-arm 패키지 설치후 virt-manager 에서 Architecture options 이 나타난다.

    arm64 를 위한 지원 파일 생성(Optional)

    Ubuntu22.04 에서는 이 과정이 필요하지 않다.

    arm64 게스트 실행을 위해서 파일이 필요하다. 첫번째로 NVRAM 변수들을 저장하기 위한 플래쉬 볼륨(Flash volume) 을 생성해야 한다.

    NVRAM 변수 저장을 위한 플래쉬 파일 생성
    ZSH
    1
    ]$ truncate -s 64m varstore.img

    두번째로 ARM UEFI 펌웨어 파일이 필요하다.

    ARM UEFI 펌웨어 파일 생성
    ZSH
    1
    2
    ]$ truncate -s 64m efi.img
    ]$ dd if=/usr/share/qemu-efi-aarch64/QEMU_EFI.fd of=efi.img conv=notrunc

    이제 필요한 사항은 모두 갖춰졌다.

    Amazon Linux Arm64 이미지 실행

    처음부터 Arm64 기반 OS 를 게스트로 설치하면서 생성할 수도 있다. 하지만 이미 있는 Arm64 기반 OS를 가져다 쓸 수도 있다. 여기서는 Amazon Linux 를 가져다 사용해 보도록 하겠다.

    Amazon Linux 는 Amazon 이 AWS 서비스에서 사용할 목적으로 만든 배포판이다. 현재 Amazon Linux2 와 Amazon Linux3 등 다양한 버전을 제공한다. 최근 프로젝트가 Amazon Linux2 를 많이 사용하고 있어서 Amazon Linux2 Arm64 기반 OS 이미지를 게스트로 한번 실행 보도록 하겠다.

    Amazon Linux2 는 다음과같이 다운로드 할 수 있다. 이미지 파일은  Amazon Linux 2 virtual machine images 에서 찾을 수 있다.

    Amazon Linux2 다운로드 하기
    ZSH
    1
    ]$ curl -LJO https://cdn.amazonlinux.com/os-images/2.0.20240610.1/kvm-arm64/amzn2-kvm-2.0.20240610.1-arm64.xfs.gpt.qcow2

    seed.iso 만들기

    Amazon Linux2 는 기본적으로 ec2-user 라는 시스템 계정이 있으며, 로그인을 위해 패스워드 방식이 아닌 SSH 인증키 방식을 사용한다. 하지만 배포되는 이미지에 맞는 인증키가 따로 없기 때문에 부팅과정에서 이 부분을 변경하도록 해야하는데, 이를 위해서 seed.iso 를 만들어 게스트 OS 에 CD-ROM 에 넣어 부팅해준다. 이 부분에 대한 설명은 다음의 페이지에서 찾을 수 있다.

    간단하게, 시스템 호스트 이름(나중에 변경하면 된다) 과 ec2-user 에 로그인 패스워드를 변경하도록 seed.iso 파일을 만들어 보도록 하겠다.

    먼저 작업을 위한 디렉토리 seedconfig 만들고 meta-data, user-data 파일을 생성한다.

    seedconfig 디렉토리 생성 및 meta-data, user-data 파일 생성
    ZSH
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    ]$ mkdir seedconfig
    ]$ vim meta-data
    local-hostname: amazonlinux.onprem
    ]$ vim user-data
    #cloud-config
    #vim:syntax=yaml
    users:
    # A user by the name `ec2-user` is created in the image by default.
      - default
    chpasswd:
      list: |
        ec2-user:amazon
    # In the above line, do not add any spaces after 'ec2-user:'.

    로그인이 가능하도록 필요한 부분만 넣었다. 이제 다음과 같이 seed.iso 파일을 생성해 준다.

    seed.iso 이미지 작성
    ZSH
    1
    2
    3
    4
    5
    6
    7
    8
    ]$ genisoimage -output seed.iso -volid cidata -joliet -rock user-data meta-data
    I: -input-charset not specified, using utf-8 (detected in locale settings)
    Total translation table size: 0
    Total rockridge attributes bytes: 331
    Total directory bytes: 0
    Path table size(bytes): 10
    Max brk space used 0
    183 extents written (0 MB)

    virt-manager 로 Amazon Linux2 생성하기

    이제 준비할 것들은 모두 갖췄다. virt-manager 를 이용해서 Amazon Linux2 를 구동해 보자.

    새로운 게스트 생성하기

    OS 이미지가 있기 때문에 Import 로 하고 Arm64 는 aarch64 로 선택, Machine Type 은 virt 다.

    amazon linux2 이미지, 운영체제 종류 선택

    다운로드 받은 amazon linux2 이미지와 운영체제 종류를 선택한다. 운영체제 종류를 잘 모르겠다면 Generic Linux 로 해도 된다.

    Memory, Cpu 는 사양에 맞게 조절해주고 다음을 선택한다.

    Customize configuration before install 필수

    가상머신 이름을 지정하고 네트워크 선택을 한다음에 반드시 Customize configuration before install 를 체크해 준다. 그리고 Finish 를 하면 다음과 같은 화면이 나온다.

    Firmware 를 Custom 선택

    Firmware 를 Custom 으로 하고 no-secboot.fd 선택해 준다. 그리고 설치를 시작해 준다.

    정상적으로 부팅

    정상적으로 부팅이 된다. 로그인이 안되기 때문에 앞에서 만든 seed.iso 파일을 이용해야 한다. 이를 위해서 Amazon Linux2 게스트 OS 에 CD-ROM 하드웨어를 추가해 준다.

    CD-ROM 하드웨어 추가

    이제 VM 을 다시 시작시키면 seed.iso 에 user-data 에 설정한 ec2-user 의 패스워드로 로그인이 가능해 진다.

    정상적으로 로그인 성공

    정상적으로 로그인이 성공했다. ec2-user 는 기본적으로 sudoer 권한을 가지고 있기 때문에 sudo 를 이용해서 root 작업을 할 수 있다.

    sshd 에 설정에서 패스워드 인증을 활성화 해준다.

    /etc/ssh/sshd_config
    diff
    1
    2
    - 65 PasswordAuthentication no
    + 65 PasswordAuthentication yes

    설정을 변경해 줬기 때문에 sshd 를 재시작 해준다.

    이렇게 sshd 로 패스워드 인증방식을 활성화 했기 때문에 원격에서 접속도 가능해진다.

    마지막으로 Amazon Linux2 게스트 를 셧다운 해주고 seed.iso 를 위한 CD-ROM 하드웨어를 삭제해준다.

    systemctl –user 설정하기

    systemctl 은 리눅스에 서비스 데몬을 설정하는 것과 유사하다. 과거 init script 를 systemd 로 전환하면서 만들어진 것인데, 문제는 시스템의 서비스 데몬 등록이라서 대부분 root 권한으로 실행된다. 만일 일반 사용자가 systemd 유닛으로 등록하기 위해서는 어떻게 해야 할까…

    ~/.config/systemd/user

    사용자 홈디렉토리에 ~/.config/systemd/user 디렉토리를 생성한다. 이 디렉토리에 사용자 systemd 유닛 파일을 작성해야 한다.

    test.service

    systemd 유닛 파일의 확장자는 service 다. 그리고 반드시 다음과 같이 WantedBy 값을 default.target 으로 해줘야 한다. 가끔 multi-user.target 으로 하는 경우가 있는데, 이걸로 할 경우 부팅시에 자동으로 실행되지 않는다.

    test.service
    INI
    1
    2
    [Install]
    WantedBy=default.target

    서비스 활성화

    이제 다음과 같이 사용자 서비스를 활성화 해준다. 이렇게 함으로써 부팅시에 자동으로 서비스가 시작된다.

    서비스 활성화
    ZSH
    1
    ]$ systemctl --user enable test.service

    이렇게 세팅을 하게되면 리눅스 서버가 부팅될때마다 사용자 서비스도 함께 자동으로 실행이 된다.

    루트(root) 사용자 systemctl –user 사용하기

    systemctl –user 는 일반사용자가 사용하는 명령어다. 하지만, root 사용자가 systemctl –user 명령어를 사용할 수 있을까? systemd 248 (released March 2021) 버전에서 -M username@ 옵션을 통해서 root 사용자가 명령어를 실행할 수 있다.

    systemctl --user
    ZSH
    1
    ]# systemctl --user -M user1@ status myunit.service

    참고

    Start a systemd user service at boot

    Run systemctl –user commands as root

    민트 리눅스에 KVM 가상환경 구성하기

    민트 리눅스 21.03 에서 KVM 가상환경을 구성해 본다. 구성에 핵심은 KVM 의 네트워크 설정이다. 앞서 설정한 OpenvSwitch 를 이용하도록 설정 해야 한다.

    네트워크 환경

    KVM 가상화를 위해서는 네트워크 환경을 먼저 고려해야 한다. 필자의 경우에는 공유기를 이용하고 있다. 외부 광랜으로 들어온 라인을 모뎀에서 받아서 이더넷로 변환해준다. 여기서 랜선으로 공유기에 연결하고 각 컴퓨터에 연결해서 쓴다.

    공유기는 다들 아는 IpTime 인데, IpTime 은 새로운 장비가 접속되면 자동으로 사설IP 를 할당해 준다. 이것을 외부로 내보낼때는 NAT 기능을 이용해서 하나의 인터넷 라인으로 공유기 안쪽에 많은 장비를 사용할 수 있게된다.

    KVM 가상화를 하게되면 브릿지 네트워크가 생성된다. 이 브릿지 네트워크는 NAT 모드로 작동된다. 172.x.x.x 대역으로 게스트에게 자동으로 IP 를 할당해 준다. 마치 IpTime 공유기와 같은데, 문제는 이렇게 되면 다른 컴퓨터에서 게스트에 접속할 수가 없게 된다. NAT 는 단반향으로 게시트에서 바깥으로 접속은 할 수 있지만 바깥에서 게스트로 접속은 불가능하다. 가능한 방법은 Port 포워딩인데, 포트마다 설정을 해줘야 하는 번거로움이 있다.

    KVM 네트워크 설정을 NAT 가 아닌 브릿지(Bridge) 모드로 설정하고 드라이버를 OpenvSwitch 로 설정하면 호스트 컴퓨터에 브릿지 네트워크인 OpenvSwitch 를 통해서 IpTime 에서 사설 IP를 받게 된다. IpTime 내에 네트워크 모두 접속이 가능해 진다.

    KVM 을 위한 패키지 설치

    다음과 같이 패키지를 설치해 준다.

    1
    apt install qemu-kvm libvirt-daemon-system virtinst libvirt-clients bridge-utils libvirt-daemon libosinfo-bin virt-manager

    KVM 를 위한 브릿지 네트워크 설정

    주의해야 할 것은 OpenvSwitch 를 사용하도록 설정을 해야 한다. 민트 리눅스 21.03 은 특이하게도 KVM 설치해도 네트워크 설정이 없다. 다음과 같이 확인이 가능하다.

    1
    2
    3
    ]# virsh net-list
    Name   State   Autostart   Persistent
    ----------------------------------------

    네트워크를 정의하기 위해서 다음과 같이 xml 파일을 작성해 준다.

    KVM 을 위한 네트워크 정의
    XHTML
    1
    2
    3
    4
    5
    6
    <network>
            <name>ovsbr0</name>
            <forward mode='bridge'/>
            <bridge name='ovsbr0'/>
            <virtualport type='openvswitch'/>
    </network>

    forward 모드를 ‘bridge’ 이고 virtualport 의 타입이 openvswitch 여야 한다. 파일이 작성되었다면 이제 이것을 KVM 네트워크로 정의해 줘야 한다.

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    ]# virsh net-define ovsbr0.xml
    Network ovsbr0 defined from ovsbr0.xml
    ]# virsh net-start ovsbr0
    Network ovsbr0 started
    ]# virsh net-autostart ovsbr0
    Network ovsbr0 marked as autostarted
    ]# virsh net-list
    Name     State    Autostart   Persistent
    -------------------------------------------
    ovsbr0   active   yes         yes

    이로써 KVM 구성이 완료 됐다. 이제 virt-manager 를 이용해서 잘 게스트 OS 를 설치해 본다.

    일반 계정으로 KVM 이용하기

    KVM 설치하게 되면 root 계정으로만 사용할 수 있도록 되었다. 일반계정으로 사용하기 위해서는 다음과 같이 libvirt 그룹에 일반 계정을 추가해주면 된다.

    1
    2
    sudo usermod -a -G libvirt $(whoami)
    newgrp libvirt # 옵션으로 primary 그룹을 libvirt 로 바꾼다. 안해도 된다.

    이제 libvritd 의 설정 파일을 다음과 같이 변경한다.

    1
    2
    3
    ]# vim /etc/libvirt/libvirtd.conf
    unix_sock_group = "libvirt"
    unix_sock_ro_perms = "0770"

    설정을 변경했기 때문에 다음과 같이 재시작해 준다.

    1
    ]# sudo systemctl restart libvirtd.service

    민트 리눅스에서 OpenvSwitch 설정하기

    민트 리눅스(Mint Linux) 21.03 을 쓰고 있는데, 네트워킹이 NetworkManager 으로 되어 있다. Ubuntu 22.04 LTS 에서는 networkd 였지만 민트 리눅스는 같은 Ubuntu 라고 하더라도 네트워킹 운영을 NetworkManager 가 담당하고 있다.

    이 문서는 민트 리눅스에서 OpenvSwitch 설정에 대한 것이다. Ubuntu 와 다른 네트워킹을 사용하기 때문에 nmcli 명령어를 이용한 방법을 소개 한다.

    민트 리눅스 네트워킹 설정

    이렇게 NetworkManager 일 경우에는 네트워크 인터페이스 관련 설정을 nmcli 로 하게된다. 물론 민트 리눅스 이기 때문에 GUI 를 통해서 손쉽게 할 수 있다.

    GUI 툴을 이용해서 이렇게 설정을 하게 되면, nmcli 명령어를 사용해서 하는 것과 동일하게 nmcli 관련 설정파일이 변경 된다. 다음과 같은 경로에 파일이 존재한다.

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    ]# ls /etc/NetworkManager/system-connections/
    '유선 연결 1.nmconnection'
    ]# cat 유선\ 연결\ 1.nmconnection
    [connection]
    id=유선 연결 1
    uuid=f2de78ab-770b-3d94-9e17-12345
    type=ethernet
    autoconnect-priority=-999
    interface-name=enp5s0
    timestamp=1708005693
     
    [ethernet]
    wake-on-lan=64
     
    [ipv4]
    address1=192.168.96.4/20,192.168.96.1
    dns=192.168.96.7;8.8.8.8;
    method=manual
     
    [ipv6]
    addr-gen-mode=stable-privacy
    method=auto
     
    [proxy]

    GUI 툴을 이용해 설정한 내용이 위 파일에 적용된다.

    OpenvSwitch 설치

    OpenvSwitch 를 설치를 먼저 해야 한다. Ubuntu 를 사용하고 NetworkManager 일 경우에 OpenvSwitch 도 NetworkManager 와 연관된 패키지를 설치하는 경우가 많지만 민트 리눅스에는 다음과 같은 패키지를 설치 한다.

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    ]# apt install openvswitch-switch
    ]# systemctl status openvswitch-switch.service
    ● openvswitch-switch.service - Open vSwitch
         Loaded: loaded (/lib/systemd/system/openvswitch-switch.service; enabled; vendor preset: enabled)
         Active: active (exited) since Thu 2024-02-15 23:34:36 KST; 2min 11s ago
        Process: 5128 ExecStart=/bin/true (code=exited, status=0/SUCCESS)
       Main PID: 5128 (code=exited, status=0/SUCCESS)
            CPU: 664us
     
    2월 15 23:34:36 systemv-desktop systemd[1]: Starting Open vSwitch...
    2월 15 23:34:36 systemv-desktop systemd[1]: Finished Open vSwitch.

    systemd 에 설정이 되었고 시작도 되었다. 다음과 같이 명령어가 문제없이 출력되는 확인한다.

    1
    2
    3
    ]# vs-vsctl show
    c9b08240-08fb-438b-a314-123456
        ovs_version: "2.17.8"

    위와같이 정상적으로 버전이 출력되어야 한다.

    network-manager 패키지 문제

    민트 리눅스 21.03 에서는 network-manager 패키지에 문제가 있다. OpenvSwitch 플러그인이 비활성화된 패키지라는 거다. 다음과 같다.

    1
    2
    --disable-modify-system \
    --disable-ovs

    ovs 를 활성화하기 위해서는 network-manager 를 재패키징 해야 한다. 이를 위해서는 소스 deb 를 다운로드 받아야 한다.

    1
    ]# apt source network-manager

    이렇게하면 디렉토로에 network-manager 관련 패키징을 위한 파일과 디렉토리가 생성된다. 여기서 다름과 같이 deb 패키징을 위한 configure 파일이라 할 수 있는 rules 파일을 수정해 줘야 한다.

    1
    2
    ]# cd network-manager-1.36.6/debian
    ]# vim rules

    rules 파일을 열면 configure 설정을 볼 수 있다. 여기서 –disable-ovs 를 삭제한다. 이렇게 되면 ovs 를 위한 설정파일이 생성되고 이 파일에 대한 처리가 없으면 deb 패키징이 실패한다. 설치를 위한 파일 목록은 network-manager.install 파일이다. 여기서 다음을 추가해 준다.

    lib/systemd/system/NetworkManager.service.d/NetworkManager-ovs.conf

    이제 deb 패키지를 만들어야 하는데, network-manager 의 의존성 라이브러리를 설치해 줘야 한다.

    1
    2
    ]# apt build-dep network-manager
    ]# apt install devscripts

    그리고 debuild 명령어로 패키징을 제작해야 한다.

    1
    2
    3
    4
    ]# pwd
    network-manager-1.36.6/debian
    ]# cd ..
    ]# devbuild or dpkg-buildpackage -uc -us

    위와같이 하면 deb 패키지가 만들어진다. deb 패키지는 network-manager-1.36.6 디렉토리 밖에 만들어 진다.

    1
    2
    3
    ]# cd ..
    ]# ls *.deb
    network-manager_1.36.6-0ubuntu2_amd64.deb

    이제 다음과 같이 재설치를 해준다.

    1
    ]# dpkg -i network-manager_1.36.6-0ubuntu2_amd64.deb

    nmcli 명령어를 이용한 openvswitch 설정

    이제 nmcli 명령어를 이용해서 openvswitch 설정을 다음과 같이 한다. IP는 각자 자신의 네트워크 설정으로 바꾸면 된다. 먼저 명령어로 device 상태를 봐본다.

    1
    2
    3
    4
    ]# nmcli con show
    nmcli con show
    NAME             UUID                                  TYPE           DEVICE
    유선 연결 1      f2de78ab-770b-3d94-9e17-3c97bf3449c6  ethernet       enp5s0

    ‘유선 연결 1’ 을 connection name 이라고 하는데, 한글이라 앞으로 설정하는데 문제가 될 수 있다. 이것을 DEVICE와 동일하게 설정해준다. 이것은 앞서 GUI 툴을 이용해서 변경해서 적용하면 간단하게 바꿀 수 있다. 변경이 되면 다음과 같다.

    1
    ]# nmcli con show<br>NAME             UUID                                  TYPE           DEVICE <br>enp5s0           f2de78ab-770b-3d94-9e17-3c97bf3449c6  ethernet       enp5s0

    이제 nmcli 명령어를 다음과 같이 입력해준다.

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    nmcli con add type ovs-bridge conn.interface ovsbr0 con-name ovsbr0
    nmcli con add type ovs-port conn.interface ovsbr0 master ovsbr0 con-name ovs-port-ovsbr0
    nmcli con add type ovs-interface slave-type ovs-port conn.interface ovsbr0 master ovs-port-ovsbr0 con-name ovs-if-ovsbr0
    nmcli con add type ovs-port conn.interface ovs-port-enp5s0 master ovsbr0 con-name ovs-port-enp5s0
    nmcli con add type ethernet conn.interface enp5s0 master ovs-port-enp5s0 con-name ovs-if-enp5s0
    nmcli con modify ovs-if-ovsbr0 ipv4.addresses '192.168.96.3/20' ipv4.gateway '192.168.96.1' ipv4.method manual
    nmcli con modify ovs-if-ovsbr0 ipv4.dns '192.168.96.7' +ipv4.dns '8.8.8.8'
    nmcli con down enp5s0
    nmcli con up ovs-if-enp5s0
    nmcli con up ovs-if-ovsbr0

    IP 와 gateway 그리고 DNS 를 자신에 맞게 고쳐준다. 위와 같이하고 ovs-vsctl show 명령어로 제대로 되었는지 확인한다.

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    ]# ovs-vsctl show
    c9b08240-08fb-438b-a314-12345
        Bridge ovsbr0
            Port ovsbr0
                Interface ovsbr0
                    type: internal
            Port ovs-port-enp5s0
                Interface enp5s0
                    type: system
        ovs_version: "2.17.8"

    그리고 ip a 명령어로 제대로 ip가 세팅되었는지 확인한다.

    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    2: enp5s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master ovs-system state UP group default qlen 1000
        link/ether 9c:6b:00:05:c0:bb brd ff:ff:ff:ff:ff:ff
    11: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
        link/ether fe:f6:1b:cb:ea:74 brd ff:ff:ff:ff:ff:ff
    12: ovsbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
        link/ether 9c:6b:00:05:c0:bb brd ff:ff:ff:ff:ff:ff
        inet 192.168.96.3/20 brd 192.168.111.255 scope global noprefixroute ovsbr0
           valid_lft forever preferred_lft forever
        inet6 fe80::5b4e:4a7e:c5d1:44bf/64 scope link noprefixroute
           valid_lft forever preferred_lft forever

    잘되어 보인다. 이제 nmcli 명령어를 이용해 enp5s0 connection 을 삭제한다.

    1
    ]# nmcli con delete enp5s0

    최종적인 모습은 다음과 같다.

    1
    2
    3
    4
    5
    6
    7
    ]# nmcli c show
    NAME             UUID                                  TYPE           DEVICE          
    ovs-if-ovsbr0    1ee631aa-9b4b-45b8-83d5-ddeb3bc25c14  ovs-interface  ovsbr0          
    ovs-if-enp5s0    16d7e3ec-fce9-48d2-af78-7e407176fec8  ethernet       enp5s0          
    ovs-port-enp5s0  2b8a51b1-65db-4acf-a3c2-23ef69130422  ovs-port       ovs-port-enp5s0
    ovs-port-ovsbr0  253512b9-971f-47b0-97a7-c2221c87b179  ovs-port       ovsbr0          
    ovsbr0           86fe3021-cff9-41fb-a21e-92126f8afdf4  ovs-bridge     ovsbr0

    이제 재부팅을 한 후에 네트워크가 잘된다면 끝난다.

    Kafka 설치하기

    이벤트 스트림을 제공하는 브로커 이다. 더블어 메시지 스트림도 지원한다. Scala 로 제작되었으며 JVM 위에서 동작한다. 따라서 Java 가 있어야 한다.

    환경

    서버는 3대로 준비했다. Production 에서는 적어도 3대의 Broker 를 권장대로 설치한 것이다. 서버 3대는 다음과 같다.

    • klab-master1.systemv.local(192.168.96.60)
    • klab-worker1.systemv.local(192.168.96.61)
    • klab-worker2.systemv.local(192.168.96.62)

    배포판은 Rocky Linux 9.3 최신 버전이다.

    요구사항

    Apache Kafka 를 실행하기 위해 JVM 이 필요하다. Kafka 버전에 따라서 Java 버전도 선택해야 한다. 최신의 Kafka 는 Java 11 을 필요로 한다.

    Java 11 을 설치는 패키지로 설치 했다.

    Java 설치
    ZSH
    1
    sudo dnf install java-11-openjdk-headless.x86_64

    Kafka 다운로드 및 설치

    Apache Kafka 는 AWS 의 MSK 에 버전과 동일하게 선택했다.

    Kafka 다운로드
    ZSH
    1
    curl -LJO https://downloads.apache.org/kafka/3.5.2/kafka_2.13-3.5.2.tgz

    다음과 같이 /app 디렉토리에 압축해제로 설치를 완료 한다.

    Kafka 설치
    ZSH
    1
    2
    3
    4
    sudo tar xvzf kafka_2.13-3.5.2.tgz -C /app
    cd /app
    sudo chown -R systemv: kafka_2.13-3.5.2/
    sudo ln -s /app/kafka_2.13-3.5.2 kafka

    Zookeeper 설정

    kafka 에 zookeeper 가 내장되어 있다. 설정은 /app/kafka/config 디렉토리에 zookeeper.properties 파일이다. 다음은 예시다.

    Zookeeper 설정
    INI
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    # zookeeper.properties
    tickTime=2000       # 다른 zookeeper 의 heartbeats 시간으로 millisec                          
    dataDir=/app/kafka/data/zookeeper   # 데이터 디렉토리. dataLogDir 를 정의하지 않으면 이 디렉토리에 로그도 함께 쌓인다.
    clientPort=2181     # client 접속을 받기 위한 포트. Broker 의 접속을 받기 위한 포트
    maxClientCnxns=60   # client 의 접속을 받을 수 있는 최대 접속개수. 기본값 60, unlimited 는 0 이다.
    initLimit=20
    syncLimit=5
    # server.<myid> = <hostname>:<leaderport>:<electionport>
    server.1=klab-master1.systemv.local:2888:3888  
    server.2=klab-worker1.systemv.local:2888:3888
    server.3=klab-worker2.systemv.local:2888:3888
     
    admin.enableServer=false

    systemd Unit을 작성해서 관리한다.

    Zookeeper 의 systemd unit 파일
    INI
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    [Unit]
    Description=Zookeeper Daemon
    Documentation=https://zookeeper.apache.org
     
    Requires=network.target remote-fs.target
    After=network.target remote-fs.target
     
    [Service]
    Type=simple
    User=systemv
    Group=systemv
    WorkingDirectory=/app/kafka
    ExecStart=/app/kafka/bin/zookeeper-server-start.sh /app/kafka/config/zookeeper.properties
    ExecStop=/app/kafka/bin/zookeeper-server-stop.sh
    Restart=on-abnormal
     
    StandardOutput=append:/app/kafka/logs/zookeeper.log
    StandardError=append:/app/kafka/logs/zookeeper.log
     
    [Install]
    WantedBy=multi-user.target

    Kafka 설정

    kafka 의 설정은 /app/kafka/conf/server.properties 파일이다. 주요한 설정은 다음과 같다.

    Kafka 설정하기
    INI
    1
    2
    3
    4
    5
    6
    7
    8
    broker.id=1
    listeners=PLAINTEXT://klab-master1.systemv.local:9092
    advertised.listeners=PLAINTEXT://klab-master1.systemv.local:9092
    log.dirs=/app/kafka/data/kafka
    zookeeper.connect=klab-master1.systemv.local:2181,klab-worker1.systemv.local:2181,klab-worker2.systemv.local:2181/kafka_znode
    log.retention.hours=72
    delete.topic.enable=true
    allow.auto.create.topics=false

    systemd Unit을 작성해서 관리한다.

    Kafka 의 systemd unit 파일 작성
    INI
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    [Unit]
    Description=Apache Kafka server (broker)
    Requires=network.target remote-fs.target zookeeper.service
    After=network.target remote-fs.target zookeeper.service
     
    [Service]
    Type=simple
    User=systemv
    Group=systemv
    #Environment='KAFKA_HEAP_OPTS=-Xms500m -Xmx500m'
    WorkingDirectory=/app/kafka
    ExecStart=/app/kafka/bin/kafka-server-start.sh /app/kafka/config/server.properties
    ExecStop=/app/kafka/bin/kafka-server-stop.sh
    LimitNOFILE=16384:163840
    Restart=on-abnormal
     
    StandardOutput=append:/app/kafka/logs/kafka-server.log
    StandardError=append:/app/kafka/logs/kafka-server.log
     
    [Install]
    WantedBy=multi-user.target

    토픽 테스트

    이제 토픽을 생성해 테스트를 해본다. 다음과 같이 Topic 을 생성한다.

    Topic 생성하기
    ZSH
    1
    2
    /app/kafka/bin/kafka-topics.sh --bootstrap-server klab-master1.systemv.local:9092 --create --topic test-overview01 --partitions 1 --replication-factor 3
    Created topic test-overview01.

    파티션 1개 복제는 3개로 토픽이 생성되었다. consumer 명령어를 이용해서 토픽에 접속한다.

    Consumer 를 Topic 에 가입
    ZSH
    1
    /app/kafka/bin/kafka-console-consumer.sh --bootstrap-server klab-worker1.systemv.local:9092 --topic test-overview01

    접속을 하면 아무런 일도 발생하지 않는다.

    이제 producer 를 이용해서 메시지를 생산한다.

    Producer 를 이용해서 메시지 생산
    ZSH
    1
    2
    /app/kafka/bin/kafka-console-producer.sh --bootstrap-server klab-worker2.systemv.local:9092 --topic test-overview01
    >First message

    이렇게 메시지를 생성하면 앞서 접속한 consumer 화면에 똑같이 내용이 나와야 한다.

    topic 의 통계 정보를 다음과 같이 확인해 볼 수 있다.

    Kafka 상태 조회
    ZSH
    1
    2
    3
    /app/kafka/bin/kafka-topics.sh --bootstrap-server klab-worker2.systemv.local:9092 --topic test-overview01 --describe
    Topic: test-overview01  TopicId: nKyjCrdyQN6AGtaT4IWs7w PartitionCount: 1       ReplicationFactor: 3    Configs:
            Topic: test-overview01  Partition: 0    Leader: 3       Replicas: 3,1,2 Isr: 3,1,2

    참고

    Linux HotSwap 사용하기

    컴퓨터 하드웨어가 발달하면서 기존 서버시스템의 기능을 데스크탑에서도 사용할 수 있게 되었다. 그중에 하나가 Hot Swap 이다. 스토리지(Storage) 를 컴퓨터를 끄지 않고도 교체할 수 있는게 Hot Swap 기능이다.

    BIOS 설정

    Hot Swap 을 이용하기 위해서는 BIOS 에 기능을 활성화 해줘야 한다. 제조사마다 BIOS 설정 메뉴가 다르지만 내가 사용하는 메인보드의 경우에는 다음과 같이 설정이 가능하다.

    Hot Plug 라고 이름이 다르지만 이것이 Hot Swap 이다. 만을 BlOS 에서 이 메뉴가 없다면 메인보드에서 Hot Swap 기능을 제공하지 않는 것이다.

    Linux 에서 사용하기

    대부분의 최근의 Linux 커널에서는 Hot Swap 를 지원 한다. 별다른 설정없이 리눅스 배포판이라면 모두 사용이 가능하도록 되어 있다. 먼저 작동하고 있는 Disk 하나를 예를들어 Hot Swap 을 사용해보자.

    먼저 다음과 같이 Disk 의 파워를 꺼야 한다. 이는 Disk 꺼내기 위한 것으로 전원을 끄지 않고 갑자기 꺼내버리면 Disk 가 파손될 우려가 있기 때문에 파워를 꺼야 한다.

    sda 디스크의 파워 끄기
    ZSH
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    18
    19
    20
    21
    22
    23
    24
    ]# lsblk
    NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
    sda           8:0    0   5.5T  0 disk
    sdb           8:16   0   5.5T  0 disk
    └─sdb1        8:17   0   5.5T  0 part
    sdc           8:32   0   7.3T  0 disk
    sdd           8:48   0   5.5T  0 disk
    nvme0n1     259:0    0 232.9G  0 disk
    ├─nvme0n1p1 259:1    0   256M  0 part /boot/efi
    ├─nvme0n1p2 259:2    0     1G  0 part /boot
    ├─nvme0n1p3 259:3    0 211.6G  0 part /
    └─nvme0n1p4 259:4    0    20G  0 part [SWAP]
    ]# echo 1 > /sys/block/sdc/device/delete   # Disk 끄기
    ]# lsblk
    NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
    sda           8:0    0   5.5T  0 disk
    sdb           8:16   0   5.5T  0 disk
    └─sdb1        8:17   0   5.5T  0 part
    sdd           8:48   0   5.5T  0 disk
    nvme0n1     259:0    0 232.9G  0 disk
    ├─nvme0n1p1 259:1    0   256M  0 part /boot/efi
    ├─nvme0n1p2 259:2    0     1G  0 part /boot
    ├─nvme0n1p3 259:3    0 211.6G  0 part /
    └─nvme0n1p4 259:4    0    20G  0 part [SWAP]

    sdc 디스크에 대해서 파워를 끄도록 한 명령어다. 커널 파라메터 설정으로 파워를 끄게 된다. 그렇게되면 lsblk 명령어로 디스크가 안보이게 된다. 그리고 커널 메시지에 다음과 같이 표시 된다.

    sdc 디스크 파워 끄기 커널 메시
    ZSH
    1
    2
    3
    [ 1048.952001] sd 8:0:0:0: [sdc] Synchronizing SCSI cache
    [ 1048.952727] sd 8:0:0:0: [sdc] Stopping disk
    [ 1049.752955] ata9.00: disabled

    이제 하드디스크를 꺼내고 새로운 하드 디스크를 장착하면 된다. 새로운 하드 디스크를 장착하게 되면 최근의 리눅스 커널에서 자동으로 새로운 하드 디스크를 알아 차린다. 이 내용은 커널 메시지로 다음과 같이 나온다.

    새로운 디스크 인식
    ZSH
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    [ 1147.078762] ata9: SATA link down (SStatus 0 SControl 300)
    [ 1173.377021] ata9: softreset failed (device not ready)
    [ 1175.292989] ata9: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
    [ 1175.307448] ata9.00: ATA-10: WDC WD80EAZZ-00BKLB0, 80.00A80, max UDMA/133
    [ 1175.307943] ata9.00: 15628053168 sectors, multi 16: LBA48 NCQ (depth 32), AA
    [ 1175.308721] ata9.00: configured for UDMA/133
    [ 1175.308862] scsi 8:0:0:0: Direct-Access     ATA      WDC WD80EAZZ-00B 0A80 PQ: 0 ANSI: 5
    [ 1175.309078] sd 8:0:0:0: Attached scsi generic sg2 type 0
    [ 1175.309176] sd 8:0:0:0: [sdc] 15628053168 512-byte logical blocks: (8.00 TB/7.28 TiB)
    [ 1175.309214] sd 8:0:0:0: [sdc] 4096-byte physical blocks
    [ 1175.309248] sd 8:0:0:0: [sdc] Write Protect is off
    [ 1175.309277] sd 8:0:0:0: [sdc] Mode Sense: 00 3a 00 00
    [ 1175.309298] sd 8:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
    [ 1175.330483] sd 8:0:0:0: [sdc] Attached SCSI disk

    lsblk 로 보면 새로운 디스크가 인식된게 보이게 된다.

    만약 이렇게 자동으로 디스크가 인식되지 않는다면 SCSI 디스크 ReScan 기능을 이용해야 한다. Hot Swap 은 SCSI 의 host 번호를 이용해 작동됨으로 SCSI host 번호를 알아야 한다. 하지만 리눅스에서는 /dev/sdc 형식인데 SCSI host 번호와는 다른데, 다음과 같이 알아내야 한다.

    SCSI host 번호 알아내기
    ZSH
    1
    2
    3
    4
    5
    ]# ls -l /sys/block/ | grep sd
    lrwxrwxrwx 1 root root 0 Sep 29 00:12 sda -> ../devices/pci0000:00/0000:00:01.3/0000:02:00.1/ata5/host4/target4:0:0/4:0:0:0/block/sda
    lrwxrwxrwx 1 root root 0 Sep 29  2023 sdb -> ../devices/pci0000:00/0000:00:01.3/0000:02:00.1/ata6/host5/target5:0:0/5:0:0:0/block/sdb
    lrwxrwxrwx 1 root root 0 Sep 29 00:16 sdc -> ../devices/pci0000:00/0000:00:01.3/0000:02:00.2/0000:03:06.0/0000:08:00.0/ata9/host8/target8:0:0/8:0:0:0/block/sdc
    lrwxrwxrwx 1 root root 0 Sep 29 00:12 sdd -> ../devices/pci0000:00/0000:00:01.3/0000:02:00.2/0000:03:06.0/0000:08:00.0/ata10/host9/target9:0:0/9:0:0:0/block/sdd

    위 결과에서 중간에 host4, host5 가 바로 SCSI host 번호 이다. 이렇게 확인된 SCSI host 번호를 이용해서 ReScan 하도록 다음과 같이 할 수 있다.

    Rescan SATA Bus
    ZSH
    1
    echo "- - -" > /sys/class/scsi_host/host8/scan

    이렇게 수동으로 ReScan 를 하게 되며 하드 디스크를 인식하게 된다.

    • Camera: SM-F711N
    • Taken: 28 9월, 2023
    • Focal length: 4.25mm
    • ISO: 640
    • Shutter speed: 1/30s

    리눅스 부팅 복구하기

    VMPlayer 에서 RHEL 8.8 을 설치하고 사용하다가 KVM 으로 이미지를 바꿔서 옮겼다. 그리고 부팅을 했는데, 부팅이 되지 않았다. Graphic 모드를 끄고 부팅 메시지를 봤는데 다음과 같이 멈췄서 부팅이 되지 않는 것이였다.

    KVM에서 RHEL8.8 부팅 멈춤

    부팅이 되도록 해야하는데, 어떻게 진행했는지 기록해 본다.

    다른 KVM VM 에 디스크로 붙이기

    부팅이 멈춘 RHEL8.8 VM 이미지를 다른 VM 의 디스크로 붙인다. virsh 명령어를 이용해서 디스크를 추가 할 수 있다. 먼저, KVM VM 을 시작 시켜놔야 한다. 구동되고 있는 VM 에 디스크를 라이브로 붙일 수 있다.

    OL85 VM 에 vdb 디스크로 이미지를 붙인다
    ZSH
    1
    2
    ]# virsh attach-disk OL85 /mnt7/RHEL8.2.img vdb --cache none
    Disk attached successfully

    OL85 VM 에서 디스크가 추가 되었는지를 다음과 같이 확인한다.

    디스크 확인
    ZSH
    1
    2
    3
    4
    5
    6
    7
    8
    9
    ]$ lsblk
    NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
    sr0     11:0    1 1024M  0 rom  
    vda    252:0    0   50G  0 disk
    ├─vda1 252:1    0 38.7G  0 part /
    └─vda2 252:2    0 11.4G  0 part
    vdb    252:16   0   20G  0 disk
    ├─vdb1 252:17   0   18G  0 part
    └─vdb2 252:18   0    2G  0 part

    vdb 로 디스크가 붙인 것을 확인할 수 있다. 이제 뭔가를 할 수 있게 됐다.

    부팅 복구 하기

    이제부터는 일반적인 부팅 문제와 비슷하다. 보통 Grub2가 복구가 안되었거나 뭔가 문제가 있을때에 이런 방법을 자주 사용한다. 그러다보니 여러가지 방법들이 존재하는데, 가장 손 쉬운 방법은 설치ISO 이미지로 Rescure 모드로 부팅을 하는 것이다.

    RHEL 8 이기 때문에 Rocky Linux 8 설치 이미지를 다운로드 받는다.

    Rocky Linux 8 다운로드
    ZSH
    1
    2
    3
    4
    ]# curl -LJO https://download.rockylinux.org/pub/rocky/8/isos/x86_64/Rocky-8.8-x86_64-minimal.iso
      % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                     Dload  Upload   Total   Spent    Left  Speed
    100 2334M  100 2334M    0     0  4732k      0  0:08:24  0:08:24 --:--:-- 7066k

    이걸 이제 복구를 위한 RHEL8 VM 에 DVD 이미지로 붙여준다. 그러면 다음과 같이 부팅이 된다.

    Troubleshooting 메뉴 선택

    위 화면처럼 나오는데 여기서 Troubleshooting 메뉴를 선택한다.

    Rescue a Rocky Linux System 선택

    위 화면처럼 Rescue a Rocky Linux system 메뉴를 선택한다.

    1 번을 선택

    이렇게 1번을 선택하면 쉘(Shell)이 떨어진다. 화면에 안내처럼 chroot 명령어를 이용해서 시스템 작업을 할 수 있다.

    부팅 복구 작업

    쉘만 있으면 이제 부팅 복구 작업을 할 수 있다.

    복구 쉘 작업
    ZSH
    1
    2
    3
    4
    5
    sh-4.4# chroot /mnt/sysroot
    bash-4.4# cd /boot
    bash-4.4# dracut -f initramfs-5.14.0-162.6.1.el9_1.x86_64.img 5.14.0-162.6.1.el9_1.x86_64
    bash-4.4# exit
    bash-4.4# exit

    위와같이 부팅램이미지를 재 생성해줬다. Grub2 의 문제는 아니였기 때문에 부팅이미지를 재 생성으로 문제가 해결 되었다.

    RHEL 9 “dracut-initqueue [xxx]: Warning: /dev/disk/by-uuid/UUID does not exist” 부팅 실패

    RHEL 9 부팅 실패는 다양하지만 “/dev/disk/by-uuid/UUID” 를 찾지못해서 실패하는 경우가 있다.

    부팅 실패 메시지
    ZSH
    1
    2
    3
    4
    5
    6
    7
    8
    9
    10
    11
    12
    13
    14
    15
    16
    17
    [  126.950886] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
    [  127.469831] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
    [  127.982848] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
    [  128.499820] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
    ...
    [  187.220024] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
    [  187.738820] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
    [  188.257817] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
    [  188.259827] dracut-initqueue[448]: Warning: Could not boot.
    [  188.260799] dracut-initqueue[448]: Warning: /dev/disk/by-uuid/7415appltest-8eff-478e-8c0c-24321f669e0d does not exist
           Starting Setup Virtual Console...
    [32m  OK  [0m] Started Setup Virtual Console.
    Warning: /dev/disk/by-uuid/7415appltest-8eff-478e-8c0c-24321f669e0d does not exist
    Generating "/run/initramfs/rdsosreport.txt"
    Entering emergency mode. Exit the shell to continue.
    Type "journalctl" to view system logs.
    You might want to save "/run/initramfs/rdsosreport.txt" to

    문제해결 – 부팅 커널 옵션으로 장치를 직접 입력 -> 해결 안됨

    인터넷 자료를 보니, 커널 옵션으로 장치 이름을 직접 입력하면 된다는 내용이 있어 해봤지만 되지 않았다. 부팅 커널은 부팅할때에 Grub 에서 편집하는 것을 말하는 것인데, 다음과 같이 편집을 한다.

    부팅시 커널 옵션으로 root 파티션을 직접 입력
    ZSH
    1
    2
    - /boot/vmlinuz-5.14.0-284.18.1.el9_2.x86_64 root=UUID=4b6efd0a-e0ce-4d88-8efe-560f492316fa ro crashkernel=1G-4G:192M,4G-64G:256M,64G-:512M resume=UUID=9e00f20a-eb7f-4160-904a-7e5b003c72ed rhgb quiet
    + /boot/vmlinuz-5.14.0-284.18.1.el9_2.x86_64 root=/dev/vda1 ro crashkernel=1G-4G:192M,4G-64G:256M,64G-:512M resume=UUID=9e00f20a-eb7f-4160-904a-7e5b003c72ed rhgb quiet"

    grub 메뉴에서 위와같이 UUID 를 빼고 디바이스 장치를 직접 입력했지만 되지 않았다.

    Grub2 재설정 -> 해결안됨

    Grub2 에 UUID 값이 갱신되지 않아서 벌어지는 일이여서 이것을 갱신해줄 필요가 있다. 그래서 다음과 같이 Grub2 메뉴를 갱신해 줬다.

    grub2 메뉴 갱신
    ZSH
    1
    ]$ sudo grub2-mkconfig -o /boot/grub2/grub.cfg

    이렇게 한 후에 부팅을 진행했지만, 역시 해결되지 않았다.

    dracut 명령어로 부팅 이미지 재 생성 -> 성공

    /boot 디렉토리에 있는 커널 부팅 이미지를 재생성 해줬다. /boot 는 커널이미지와 커널부팅이미지가 존재한다. 이것을 재생성 해줬다.

    커널부팅이미지 재생성
    ZSH
    1
    ]$ sudo dracut -f /boot/initramfs-5.14.0-162.6.1.el9_1.x86_64.img 5.14.0-162.6.1.el9_1.x86_64

    이렇게 한 후에 부팅이 정상적으로 되었다.