Category: Linux

민트 리눅스에 KVM 가상환경 구성하기

민트 리눅스 21.03 에서 KVM 가상환경을 구성해 본다. 구성에 핵심은 KVM 의 네트워크 설정이다. 앞서 설정한 OpenvSwitch 를 이용하도록 설정 해야 한다.

네트워크 환경

KVM 가상화를 위해서는 네트워크 환경을 먼저 고려해야 한다. 필자의 경우에는 공유기를 이용하고 있다. 외부 광랜으로 들어온 라인을 모뎀에서 받아서 이더넷로 변환해준다. 여기서 랜선으로 공유기에 연결하고 각 컴퓨터에 연결해서 쓴다.

공유기는 다들 아는 IpTime 인데, IpTime 은 새로운 장비가 접속되면 자동으로 사설IP 를 할당해 준다. 이것을 외부로 내보낼때는 NAT 기능을 이용해서 하나의 인터넷 라인으로 공유기 안쪽에 많은 장비를 사용할 수 있게된다.

KVM 가상화를 하게되면 브릿지 네트워크가 생성된다. 이 브릿지 네트워크는 NAT 모드로 작동된다. 172.x.x.x 대역으로 게스트에게 자동으로 IP 를 할당해 준다. 마치 IpTime 공유기와 같은데, 문제는 이렇게 되면 다른 컴퓨터에서 게스트에 접속할 수가 없게 된다. NAT 는 단반향으로 게시트에서 바깥으로 접속은 할 수 있지만 바깥에서 게스트로 접속은 불가능하다. 가능한 방법은 Port 포워딩인데, 포트마다 설정을 해줘야 하는 번거로움이 있다.

KVM 네트워크 설정을 NAT 가 아닌 브릿지(Bridge) 모드로 설정하고 드라이버를 OpenvSwitch 로 설정하면 호스트 컴퓨터에 브릿지 네트워크인 OpenvSwitch 를 통해서 IpTime 에서 사설 IP를 받게 된다. IpTime 내에 네트워크 모두 접속이 가능해 진다.

KVM 을 위한 패키지 설치

다음과 같이 패키지를 설치해 준다.

1
apt install qemu-kvm libvirt-daemon-system virtinst libvirt-clients bridge-utils libvirt-daemon libosinfo-bin virt-manager

KVM 를 위한 브릿지 네트워크 설정

주의해야 할 것은 OpenvSwitch 를 사용하도록 설정을 해야 한다. 민트 리눅스 21.03 은 특이하게도 KVM 설치해도 네트워크 설정이 없다. 다음과 같이 확인이 가능하다.

1
2
3
]# virsh net-list
Name   State   Autostart   Persistent
----------------------------------------

네트워크를 정의하기 위해서 다음과 같이 xml 파일을 작성해 준다.

KVM 을 위한 네트워크 정의
XHTML
1
2
3
4
5
6
<network>
        <name>ovsbr0</name>
        <forward mode='bridge'/>
        <bridge name='ovsbr0'/>
        <virtualport type='openvswitch'/>
</network>

forward 모드를 ‘bridge’ 이고 virtualport 의 타입이 openvswitch 여야 한다. 파일이 작성되었다면 이제 이것을 KVM 네트워크로 정의해 줘야 한다.

1
2
3
4
5
6
7
8
9
10
]# virsh net-define ovsbr0.xml
Network ovsbr0 defined from ovsbr0.xml
]# virsh net-start ovsbr0
Network ovsbr0 started
]# virsh net-autostart ovsbr0
Network ovsbr0 marked as autostarted
]# virsh net-list
Name     State    Autostart   Persistent
-------------------------------------------
ovsbr0   active   yes         yes

이로써 KVM 구성이 완료 됐다. 이제 virt-manager 를 이용해서 잘 게스트 OS 를 설치해 본다.

일반 계정으로 KVM 이용하기

KVM 설치하게 되면 root 계정으로만 사용할 수 있도록 되었다. 일반계정으로 사용하기 위해서는 다음과 같이 libvirt 그룹에 일반 계정을 추가해주면 된다.

1
2
sudo usermod -a -G libvirt $(whoami)
newgrp libvirt # 옵션으로 primary 그룹을 libvirt 로 바꾼다. 안해도 된다.

이제 libvritd 의 설정 파일을 다음과 같이 변경한다.

1
2
3
]# vim /etc/libvirt/libvirtd.conf
unix_sock_group = "libvirt"
unix_sock_ro_perms = "0770"

설정을 변경했기 때문에 다음과 같이 재시작해 준다.

1
]# sudo systemctl restart libvirtd.service

민트 리눅스에서 OpenvSwitch 설정하기

민트 리눅스(Mint Linux) 21.03 을 쓰고 있는데, 네트워킹이 NetworkManager 으로 되어 있다. Ubuntu 22.04 LTS 에서는 networkd 였지만 민트 리눅스는 같은 Ubuntu 라고 하더라도 네트워킹 운영을 NetworkManager 가 담당하고 있다.

이 문서는 민트 리눅스에서 OpenvSwitch 설정에 대한 것이다. Ubuntu 와 다른 네트워킹을 사용하기 때문에 nmcli 명령어를 이용한 방법을 소개 한다.

민트 리눅스 네트워킹 설정

이렇게 NetworkManager 일 경우에는 네트워크 인터페이스 관련 설정을 nmcli 로 하게된다. 물론 민트 리눅스 이기 때문에 GUI 를 통해서 손쉽게 할 수 있다.

GUI 툴을 이용해서 이렇게 설정을 하게 되면, nmcli 명령어를 사용해서 하는 것과 동일하게 nmcli 관련 설정파일이 변경 된다. 다음과 같은 경로에 파일이 존재한다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
]# ls /etc/NetworkManager/system-connections/
'유선 연결 1.nmconnection'
]# cat 유선\ 연결\ 1.nmconnection
[connection]
id=유선 연결 1
uuid=f2de78ab-770b-3d94-9e17-12345
type=ethernet
autoconnect-priority=-999
interface-name=enp5s0
timestamp=1708005693
 
[ethernet]
wake-on-lan=64
 
[ipv4]
address1=192.168.96.4/20,192.168.96.1
dns=192.168.96.7;8.8.8.8;
method=manual
 
[ipv6]
addr-gen-mode=stable-privacy
method=auto
 
[proxy]

GUI 툴을 이용해 설정한 내용이 위 파일에 적용된다.

OpenvSwitch 설치

OpenvSwitch 를 설치를 먼저 해야 한다. Ubuntu 를 사용하고 NetworkManager 일 경우에 OpenvSwitch 도 NetworkManager 와 연관된 패키지를 설치하는 경우가 많지만 민트 리눅스에는 다음과 같은 패키지를 설치 한다.

1
2
3
4
5
6
7
8
9
10
11
]# apt install openvswitch-switch
]# systemctl status openvswitch-switch.service
● openvswitch-switch.service - Open vSwitch
     Loaded: loaded (/lib/systemd/system/openvswitch-switch.service; enabled; vendor preset: enabled)
     Active: active (exited) since Thu 2024-02-15 23:34:36 KST; 2min 11s ago
    Process: 5128 ExecStart=/bin/true (code=exited, status=0/SUCCESS)
   Main PID: 5128 (code=exited, status=0/SUCCESS)
        CPU: 664us
 
2월 15 23:34:36 systemv-desktop systemd[1]: Starting Open vSwitch...
2월 15 23:34:36 systemv-desktop systemd[1]: Finished Open vSwitch.

systemd 에 설정이 되었고 시작도 되었다. 다음과 같이 명령어가 문제없이 출력되는 확인한다.

1
2
3
]# vs-vsctl show
c9b08240-08fb-438b-a314-123456
    ovs_version: "2.17.8"

위와같이 정상적으로 버전이 출력되어야 한다.

network-manager 패키지 문제

민트 리눅스 21.03 에서는 network-manager 패키지에 문제가 있다. OpenvSwitch 플러그인이 비활성화된 패키지라는 거다. 다음과 같다.

1
2
--disable-modify-system \
--disable-ovs

ovs 를 활성화하기 위해서는 network-manager 를 재패키징 해야 한다. 이를 위해서는 소스 deb 를 다운로드 받아야 한다.

1
]# apt source network-manager

이렇게하면 디렉토로에 network-manager 관련 패키징을 위한 파일과 디렉토리가 생성된다. 여기서 다름과 같이 deb 패키징을 위한 configure 파일이라 할 수 있는 rules 파일을 수정해 줘야 한다.

1
2
]# cd network-manager-1.36.6/debian
]# vim rules

rules 파일을 열면 configure 설정을 볼 수 있다. 여기서 –disable-ovs 를 삭제한다. 이렇게 되면 ovs 를 위한 설정파일이 생성되고 이 파일에 대한 처리가 없으면 deb 패키징이 실패한다. 설치를 위한 파일 목록은 network-manager.install 파일이다. 여기서 다음을 추가해 준다.

lib/systemd/system/NetworkManager.service.d/NetworkManager-ovs.conf

이제 deb 패키지를 만들어야 하는데, network-manager 의 의존성 라이브러리를 설치해 줘야 한다.

1
2
]# apt build-dep network-manager
]# apt install devscripts

그리고 debuild 명령어로 패키징을 제작해야 한다.

1
2
3
4
]# pwd
network-manager-1.36.6/debian
]# cd ..
]# devbuild or dpkg-buildpackage -uc -us

위와같이 하면 deb 패키지가 만들어진다. deb 패키지는 network-manager-1.36.6 디렉토리 밖에 만들어 진다.

1
2
3
]# cd ..
]# ls *.deb
network-manager_1.36.6-0ubuntu2_amd64.deb

이제 다음과 같이 재설치를 해준다.

1
]# dpkg -i network-manager_1.36.6-0ubuntu2_amd64.deb

nmcli 명령어를 이용한 openvswitch 설정

이제 nmcli 명령어를 이용해서 openvswitch 설정을 다음과 같이 한다. IP는 각자 자신의 네트워크 설정으로 바꾸면 된다. 먼저 명령어로 device 상태를 봐본다.

1
2
3
4
]# nmcli con show
nmcli con show
NAME             UUID                                  TYPE           DEVICE
유선 연결 1      f2de78ab-770b-3d94-9e17-3c97bf3449c6  ethernet       enp5s0

‘유선 연결 1’ 을 connection name 이라고 하는데, 한글이라 앞으로 설정하는데 문제가 될 수 있다. 이것을 DEVICE와 동일하게 설정해준다. 이것은 앞서 GUI 툴을 이용해서 변경해서 적용하면 간단하게 바꿀 수 있다. 변경이 되면 다음과 같다.

1
]# nmcli con show<br>NAME             UUID                                  TYPE           DEVICE <br>enp5s0           f2de78ab-770b-3d94-9e17-3c97bf3449c6  ethernet       enp5s0

이제 nmcli 명령어를 다음과 같이 입력해준다.

1
2
3
4
5
6
7
8
9
10
11
12
13
nmcli con add type ovs-bridge conn.interface ovsbr0 con-name ovsbr0
nmcli con add type ovs-port conn.interface ovsbr0 master ovsbr0 con-name ovs-port-ovsbr0
nmcli con add type ovs-interface slave-type ovs-port conn.interface ovsbr0 master ovs-port-ovsbr0 con-name ovs-if-ovsbr0
nmcli con add type ovs-port conn.interface ovs-port-enp5s0 master ovsbr0 con-name ovs-port-enp5s0
nmcli con add type ethernet conn.interface enp5s0 master ovs-port-enp5s0 con-name ovs-if-enp5s0
nmcli con modify ovs-if-ovsbr0 ipv4.addresses '192.168.96.3/20' ipv4.gateway '192.168.96.1' ipv4.method manual
nmcli con modify ovs-if-ovsbr0 ipv4.dns '192.168.96.7' +ipv4.dns '8.8.8.8'
nmcli con down enp5s0
nmcli con up ovs-if-enp5s0
nmcli con up ovs-if-ovsbr0

IP 와 gateway 그리고 DNS 를 자신에 맞게 고쳐준다. 위와 같이하고 ovs-vsctl show 명령어로 제대로 되었는지 확인한다.

1
2
3
4
5
6
7
8
9
10
]# ovs-vsctl show
c9b08240-08fb-438b-a314-12345
    Bridge ovsbr0
        Port ovsbr0
            Interface ovsbr0
                type: internal
        Port ovs-port-enp5s0
            Interface enp5s0
                type: system
    ovs_version: "2.17.8"

그리고 ip a 명령어로 제대로 ip가 세팅되었는지 확인한다.

1
2
3
4
5
6
7
8
9
10
2: enp5s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master ovs-system state UP group default qlen 1000
    link/ether 9c:6b:00:05:c0:bb brd ff:ff:ff:ff:ff:ff
11: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether fe:f6:1b:cb:ea:74 brd ff:ff:ff:ff:ff:ff
12: ovsbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 9c:6b:00:05:c0:bb brd ff:ff:ff:ff:ff:ff
    inet 192.168.96.3/20 brd 192.168.111.255 scope global noprefixroute ovsbr0
       valid_lft forever preferred_lft forever
    inet6 fe80::5b4e:4a7e:c5d1:44bf/64 scope link noprefixroute
       valid_lft forever preferred_lft forever

잘되어 보인다. 이제 nmcli 명령어를 이용해 enp5s0 connection 을 삭제한다.

1
]# nmcli con delete enp5s0

최종적인 모습은 다음과 같다.

1
2
3
4
5
6
7
]# nmcli c show
NAME             UUID                                  TYPE           DEVICE          
ovs-if-ovsbr0    1ee631aa-9b4b-45b8-83d5-ddeb3bc25c14  ovs-interface  ovsbr0          
ovs-if-enp5s0    16d7e3ec-fce9-48d2-af78-7e407176fec8  ethernet       enp5s0          
ovs-port-enp5s0  2b8a51b1-65db-4acf-a3c2-23ef69130422  ovs-port       ovs-port-enp5s0
ovs-port-ovsbr0  253512b9-971f-47b0-97a7-c2221c87b179  ovs-port       ovsbr0          
ovsbr0           86fe3021-cff9-41fb-a21e-92126f8afdf4  ovs-bridge     ovsbr0

이제 재부팅을 한 후에 네트워크가 잘된다면 끝난다.

Kafka 설치하기

이벤트 스트림을 제공하는 브로커 이다. 더블어 메시지 스트림도 지원한다. Scala 로 제작되었으며 JVM 위에서 동작한다. 따라서 Java 가 있어야 한다.

환경

서버는 3대로 준비했다. Production 에서는 적어도 3대의 Broker 를 권장대로 설치한 것이다. 서버 3대는 다음과 같다.

  • klab-master1.systemv.local(192.168.96.60)
  • klab-worker1.systemv.local(192.168.96.61)
  • klab-worker2.systemv.local(192.168.96.62)

배포판은 Rocky Linux 9.3 최신 버전이다.

요구사항

Apache Kafka 를 실행하기 위해 JVM 이 필요하다. Kafka 버전에 따라서 Java 버전도 선택해야 한다. 최신의 Kafka 는 Java 11 을 필요로 한다.

Java 11 을 설치는 패키지로 설치 했다.

Java 설치
ZSH
1
sudo dnf install java-11-openjdk-headless.x86_64

Kafka 다운로드 및 설치

Apache Kafka 는 AWS 의 MSK 에 버전과 동일하게 선택했다.

Kafka 다운로드
ZSH
1
curl -LJO https://downloads.apache.org/kafka/3.5.2/kafka_2.13-3.5.2.tgz

다음과 같이 /app 디렉토리에 압축해제로 설치를 완료 한다.

Kafka 설치
ZSH
1
2
3
4
sudo tar xvzf kafka_2.13-3.5.2.tgz -C /app
cd /app
sudo chown -R systemv: kafka_2.13-3.5.2/
sudo ln -s /app/kafka_2.13-3.5.2 kafka

Zookeeper 설정

kafka 에 zookeeper 가 내장되어 있다. 설정은 /app/kafka/config 디렉토리에 zookeeper.properties 파일이다. 다음은 예시다.

Zookeeper 설정
INI
1
2
3
4
5
6
7
8
9
10
11
12
13
# zookeeper.properties
tickTime=2000       # 다른 zookeeper 의 heartbeats 시간으로 millisec                          
dataDir=/app/kafka/data/zookeeper   # 데이터 디렉토리. dataLogDir 를 정의하지 않으면 이 디렉토리에 로그도 함께 쌓인다.
clientPort=2181     # client 접속을 받기 위한 포트. Broker 의 접속을 받기 위한 포트
maxClientCnxns=60   # client 의 접속을 받을 수 있는 최대 접속개수. 기본값 60, unlimited 는 0 이다.
initLimit=20
syncLimit=5
# server.<myid> = <hostname>:<leaderport>:<electionport>
server.1=klab-master1.systemv.local:2888:3888  
server.2=klab-worker1.systemv.local:2888:3888
server.3=klab-worker2.systemv.local:2888:3888
 
admin.enableServer=false

systemd Unit을 작성해서 관리한다.

Zookeeper 의 systemd unit 파일
INI
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[Unit]
Description=Zookeeper Daemon
Documentation=https://zookeeper.apache.org
 
Requires=network.target remote-fs.target
After=network.target remote-fs.target
 
[Service]
Type=simple
User=systemv
Group=systemv
WorkingDirectory=/app/kafka
ExecStart=/app/kafka/bin/zookeeper-server-start.sh /app/kafka/config/zookeeper.properties
ExecStop=/app/kafka/bin/zookeeper-server-stop.sh
Restart=on-abnormal
 
StandardOutput=append:/app/kafka/logs/zookeeper.log
StandardError=append:/app/kafka/logs/zookeeper.log
 
[Install]
WantedBy=multi-user.target

Kafka 설정

kafka 의 설정은 /app/kafka/conf/server.properties 파일이다. 주요한 설정은 다음과 같다.

Kafka 설정하기
INI
1
2
3
4
5
6
7
8
broker.id=1
listeners=PLAINTEXT://klab-master1.systemv.local:9092
advertised.listeners=PLAINTEXT://klab-master1.systemv.local:9092
log.dirs=/app/kafka/data/kafka
zookeeper.connect=klab-master1.systemv.local:2181,klab-worker1.systemv.local:2181,klab-worker2.systemv.local:2181/kafka_znode
log.retention.hours=72
delete.topic.enable=true
allow.auto.create.topics=false

systemd Unit을 작성해서 관리한다.

Kafka 의 systemd unit 파일 작성
INI
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
[Unit]
Description=Apache Kafka server (broker)
Requires=network.target remote-fs.target zookeeper.service
After=network.target remote-fs.target zookeeper.service
 
[Service]
Type=simple
User=systemv
Group=systemv
#Environment='KAFKA_HEAP_OPTS=-Xms500m -Xmx500m'
WorkingDirectory=/app/kafka
ExecStart=/app/kafka/bin/kafka-server-start.sh /app/kafka/config/server.properties
ExecStop=/app/kafka/bin/kafka-server-stop.sh
LimitNOFILE=16384:163840
Restart=on-abnormal
 
StandardOutput=append:/app/kafka/logs/kafka-server.log
StandardError=append:/app/kafka/logs/kafka-server.log
 
[Install]
WantedBy=multi-user.target

토픽 테스트

이제 토픽을 생성해 테스트를 해본다. 다음과 같이 Topic 을 생성한다.

Topic 생성하기
ZSH
1
2
/app/kafka/bin/kafka-topics.sh --bootstrap-server klab-master1.systemv.local:9092 --create --topic test-overview01 --partitions 1 --replication-factor 3
Created topic test-overview01.

파티션 1개 복제는 3개로 토픽이 생성되었다. consumer 명령어를 이용해서 토픽에 접속한다.

Consumer 를 Topic 에 가입
ZSH
1
/app/kafka/bin/kafka-console-consumer.sh --bootstrap-server klab-worker1.systemv.local:9092 --topic test-overview01

접속을 하면 아무런 일도 발생하지 않는다.

이제 producer 를 이용해서 메시지를 생산한다.

Producer 를 이용해서 메시지 생산
ZSH
1
2
/app/kafka/bin/kafka-console-producer.sh --bootstrap-server klab-worker2.systemv.local:9092 --topic test-overview01
>First message

이렇게 메시지를 생성하면 앞서 접속한 consumer 화면에 똑같이 내용이 나와야 한다.

topic 의 통계 정보를 다음과 같이 확인해 볼 수 있다.

Kafka 상태 조회
ZSH
1
2
3
/app/kafka/bin/kafka-topics.sh --bootstrap-server klab-worker2.systemv.local:9092 --topic test-overview01 --describe
Topic: test-overview01  TopicId: nKyjCrdyQN6AGtaT4IWs7w PartitionCount: 1       ReplicationFactor: 3    Configs:
        Topic: test-overview01  Partition: 0    Leader: 3       Replicas: 3,1,2 Isr: 3,1,2

참고

Linux HotSwap 사용하기

컴퓨터 하드웨어가 발달하면서 기존 서버시스템의 기능을 데스크탑에서도 사용할 수 있게 되었다. 그중에 하나가 Hot Swap 이다. 스토리지(Storage) 를 컴퓨터를 끄지 않고도 교체할 수 있는게 Hot Swap 기능이다.

BIOS 설정

Hot Swap 을 이용하기 위해서는 BIOS 에 기능을 활성화 해줘야 한다. 제조사마다 BIOS 설정 메뉴가 다르지만 내가 사용하는 메인보드의 경우에는 다음과 같이 설정이 가능하다.

Hot Plug 라고 이름이 다르지만 이것이 Hot Swap 이다. 만을 BlOS 에서 이 메뉴가 없다면 메인보드에서 Hot Swap 기능을 제공하지 않는 것이다.

Linux 에서 사용하기

대부분의 최근의 Linux 커널에서는 Hot Swap 를 지원 한다. 별다른 설정없이 리눅스 배포판이라면 모두 사용이 가능하도록 되어 있다. 먼저 작동하고 있는 Disk 하나를 예를들어 Hot Swap 을 사용해보자.

먼저 다음과 같이 Disk 의 파워를 꺼야 한다. 이는 Disk 꺼내기 위한 것으로 전원을 끄지 않고 갑자기 꺼내버리면 Disk 가 파손될 우려가 있기 때문에 파워를 꺼야 한다.

sda 디스크의 파워 끄기
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
]# lsblk
NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda           8:0    0   5.5T  0 disk
sdb           8:16   0   5.5T  0 disk
└─sdb1        8:17   0   5.5T  0 part
sdc           8:32   0   7.3T  0 disk
sdd           8:48   0   5.5T  0 disk
nvme0n1     259:0    0 232.9G  0 disk
├─nvme0n1p1 259:1    0   256M  0 part /boot/efi
├─nvme0n1p2 259:2    0     1G  0 part /boot
├─nvme0n1p3 259:3    0 211.6G  0 part /
└─nvme0n1p4 259:4    0    20G  0 part [SWAP]
]# echo 1 > /sys/block/sdc/device/delete   # Disk 끄기
]# lsblk
NAME        MAJ:MIN RM   SIZE RO TYPE MOUNTPOINTS
sda           8:0    0   5.5T  0 disk
sdb           8:16   0   5.5T  0 disk
└─sdb1        8:17   0   5.5T  0 part
sdd           8:48   0   5.5T  0 disk
nvme0n1     259:0    0 232.9G  0 disk
├─nvme0n1p1 259:1    0   256M  0 part /boot/efi
├─nvme0n1p2 259:2    0     1G  0 part /boot
├─nvme0n1p3 259:3    0 211.6G  0 part /
└─nvme0n1p4 259:4    0    20G  0 part [SWAP]

sdc 디스크에 대해서 파워를 끄도록 한 명령어다. 커널 파라메터 설정으로 파워를 끄게 된다. 그렇게되면 lsblk 명령어로 디스크가 안보이게 된다. 그리고 커널 메시지에 다음과 같이 표시 된다.

sdc 디스크 파워 끄기 커널 메시
ZSH
1
2
3
[ 1048.952001] sd 8:0:0:0: [sdc] Synchronizing SCSI cache
[ 1048.952727] sd 8:0:0:0: [sdc] Stopping disk
[ 1049.752955] ata9.00: disabled

이제 하드디스크를 꺼내고 새로운 하드 디스크를 장착하면 된다. 새로운 하드 디스크를 장착하게 되면 최근의 리눅스 커널에서 자동으로 새로운 하드 디스크를 알아 차린다. 이 내용은 커널 메시지로 다음과 같이 나온다.

새로운 디스크 인식
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
[ 1147.078762] ata9: SATA link down (SStatus 0 SControl 300)
[ 1173.377021] ata9: softreset failed (device not ready)
[ 1175.292989] ata9: SATA link up 6.0 Gbps (SStatus 133 SControl 300)
[ 1175.307448] ata9.00: ATA-10: WDC WD80EAZZ-00BKLB0, 80.00A80, max UDMA/133
[ 1175.307943] ata9.00: 15628053168 sectors, multi 16: LBA48 NCQ (depth 32), AA
[ 1175.308721] ata9.00: configured for UDMA/133
[ 1175.308862] scsi 8:0:0:0: Direct-Access     ATA      WDC WD80EAZZ-00B 0A80 PQ: 0 ANSI: 5
[ 1175.309078] sd 8:0:0:0: Attached scsi generic sg2 type 0
[ 1175.309176] sd 8:0:0:0: [sdc] 15628053168 512-byte logical blocks: (8.00 TB/7.28 TiB)
[ 1175.309214] sd 8:0:0:0: [sdc] 4096-byte physical blocks
[ 1175.309248] sd 8:0:0:0: [sdc] Write Protect is off
[ 1175.309277] sd 8:0:0:0: [sdc] Mode Sense: 00 3a 00 00
[ 1175.309298] sd 8:0:0:0: [sdc] Write cache: enabled, read cache: enabled, doesn't support DPO or FUA
[ 1175.330483] sd 8:0:0:0: [sdc] Attached SCSI disk

lsblk 로 보면 새로운 디스크가 인식된게 보이게 된다.

만약 이렇게 자동으로 디스크가 인식되지 않는다면 SCSI 디스크 ReScan 기능을 이용해야 한다. Hot Swap 은 SCSI 의 host 번호를 이용해 작동됨으로 SCSI host 번호를 알아야 한다. 하지만 리눅스에서는 /dev/sdc 형식인데 SCSI host 번호와는 다른데, 다음과 같이 알아내야 한다.

SCSI host 번호 알아내기
ZSH
1
2
3
4
5
]# ls -l /sys/block/ | grep sd
lrwxrwxrwx 1 root root 0 Sep 29 00:12 sda -> ../devices/pci0000:00/0000:00:01.3/0000:02:00.1/ata5/host4/target4:0:0/4:0:0:0/block/sda
lrwxrwxrwx 1 root root 0 Sep 29  2023 sdb -> ../devices/pci0000:00/0000:00:01.3/0000:02:00.1/ata6/host5/target5:0:0/5:0:0:0/block/sdb
lrwxrwxrwx 1 root root 0 Sep 29 00:16 sdc -> ../devices/pci0000:00/0000:00:01.3/0000:02:00.2/0000:03:06.0/0000:08:00.0/ata9/host8/target8:0:0/8:0:0:0/block/sdc
lrwxrwxrwx 1 root root 0 Sep 29 00:12 sdd -> ../devices/pci0000:00/0000:00:01.3/0000:02:00.2/0000:03:06.0/0000:08:00.0/ata10/host9/target9:0:0/9:0:0:0/block/sdd

위 결과에서 중간에 host4, host5 가 바로 SCSI host 번호 이다. 이렇게 확인된 SCSI host 번호를 이용해서 ReScan 하도록 다음과 같이 할 수 있다.

Rescan SATA Bus
ZSH
1
echo "- - -" > /sys/class/scsi_host/host8/scan

이렇게 수동으로 ReScan 를 하게 되며 하드 디스크를 인식하게 된다.

  • Camera: SM-F711N
  • Taken: 28 9월, 2023
  • Focal length: 4.25mm
  • ISO: 640
  • Shutter speed: 1/30s

리눅스 부팅 복구하기

VMPlayer 에서 RHEL 8.8 을 설치하고 사용하다가 KVM 으로 이미지를 바꿔서 옮겼다. 그리고 부팅을 했는데, 부팅이 되지 않았다. Graphic 모드를 끄고 부팅 메시지를 봤는데 다음과 같이 멈췄서 부팅이 되지 않는 것이였다.

KVM에서 RHEL8.8 부팅 멈춤

부팅이 되도록 해야하는데, 어떻게 진행했는지 기록해 본다.

다른 KVM VM 에 디스크로 붙이기

부팅이 멈춘 RHEL8.8 VM 이미지를 다른 VM 의 디스크로 붙인다. virsh 명령어를 이용해서 디스크를 추가 할 수 있다. 먼저, KVM VM 을 시작 시켜놔야 한다. 구동되고 있는 VM 에 디스크를 라이브로 붙일 수 있다.

OL85 VM 에 vdb 디스크로 이미지를 붙인다
ZSH
1
2
]# virsh attach-disk OL85 /mnt7/RHEL8.2.img vdb --cache none
Disk attached successfully

OL85 VM 에서 디스크가 추가 되었는지를 다음과 같이 확인한다.

디스크 확인
ZSH
1
2
3
4
5
6
7
8
9
]$ lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
sr0     11:0    1 1024M  0 rom  
vda    252:0    0   50G  0 disk
├─vda1 252:1    0 38.7G  0 part /
└─vda2 252:2    0 11.4G  0 part
vdb    252:16   0   20G  0 disk
├─vdb1 252:17   0   18G  0 part
└─vdb2 252:18   0    2G  0 part

vdb 로 디스크가 붙인 것을 확인할 수 있다. 이제 뭔가를 할 수 있게 됐다.

부팅 복구 하기

이제부터는 일반적인 부팅 문제와 비슷하다. 보통 Grub2가 복구가 안되었거나 뭔가 문제가 있을때에 이런 방법을 자주 사용한다. 그러다보니 여러가지 방법들이 존재하는데, 가장 손 쉬운 방법은 설치ISO 이미지로 Rescure 모드로 부팅을 하는 것이다.

RHEL 8 이기 때문에 Rocky Linux 8 설치 이미지를 다운로드 받는다.

Rocky Linux 8 다운로드
ZSH
1
2
3
4
]# curl -LJO https://download.rockylinux.org/pub/rocky/8/isos/x86_64/Rocky-8.8-x86_64-minimal.iso
  % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current
                                 Dload  Upload   Total   Spent    Left  Speed
100 2334M  100 2334M    0     0  4732k      0  0:08:24  0:08:24 --:--:-- 7066k

이걸 이제 복구를 위한 RHEL8 VM 에 DVD 이미지로 붙여준다. 그러면 다음과 같이 부팅이 된다.

Troubleshooting 메뉴 선택

위 화면처럼 나오는데 여기서 Troubleshooting 메뉴를 선택한다.

Rescue a Rocky Linux System 선택

위 화면처럼 Rescue a Rocky Linux system 메뉴를 선택한다.

1 번을 선택

이렇게 1번을 선택하면 쉘(Shell)이 떨어진다. 화면에 안내처럼 chroot 명령어를 이용해서 시스템 작업을 할 수 있다.

부팅 복구 작업

쉘만 있으면 이제 부팅 복구 작업을 할 수 있다.

복구 쉘 작업
ZSH
1
2
3
4
5
sh-4.4# chroot /mnt/sysroot
bash-4.4# cd /boot
bash-4.4# dracut -f initramfs-5.14.0-162.6.1.el9_1.x86_64.img 5.14.0-162.6.1.el9_1.x86_64
bash-4.4# exit
bash-4.4# exit

위와같이 부팅램이미지를 재 생성해줬다. Grub2 의 문제는 아니였기 때문에 부팅이미지를 재 생성으로 문제가 해결 되었다.

RHEL 9 “dracut-initqueue [xxx]: Warning: /dev/disk/by-uuid/UUID does not exist” 부팅 실패

RHEL 9 부팅 실패는 다양하지만 “/dev/disk/by-uuid/UUID” 를 찾지못해서 실패하는 경우가 있다.

부팅 실패 메시지
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
[  126.950886] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
[  127.469831] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
[  127.982848] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
[  128.499820] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
...
[  187.220024] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
[  187.738820] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
[  188.257817] dracut-initqueue[448]: Warning: dracut-initqueue timeout - starting timeout scripts
[  188.259827] dracut-initqueue[448]: Warning: Could not boot.
[  188.260799] dracut-initqueue[448]: Warning: /dev/disk/by-uuid/7415appltest-8eff-478e-8c0c-24321f669e0d does not exist
       Starting Setup Virtual Console...
[32m  OK  [0m] Started Setup Virtual Console.
Warning: /dev/disk/by-uuid/7415appltest-8eff-478e-8c0c-24321f669e0d does not exist
Generating "/run/initramfs/rdsosreport.txt"
Entering emergency mode. Exit the shell to continue.
Type "journalctl" to view system logs.
You might want to save "/run/initramfs/rdsosreport.txt" to

문제해결 – 부팅 커널 옵션으로 장치를 직접 입력 -> 해결 안됨

인터넷 자료를 보니, 커널 옵션으로 장치 이름을 직접 입력하면 된다는 내용이 있어 해봤지만 되지 않았다. 부팅 커널은 부팅할때에 Grub 에서 편집하는 것을 말하는 것인데, 다음과 같이 편집을 한다.

부팅시 커널 옵션으로 root 파티션을 직접 입력
ZSH
1
2
- /boot/vmlinuz-5.14.0-284.18.1.el9_2.x86_64 root=UUID=4b6efd0a-e0ce-4d88-8efe-560f492316fa ro crashkernel=1G-4G:192M,4G-64G:256M,64G-:512M resume=UUID=9e00f20a-eb7f-4160-904a-7e5b003c72ed rhgb quiet
+ /boot/vmlinuz-5.14.0-284.18.1.el9_2.x86_64 root=/dev/vda1 ro crashkernel=1G-4G:192M,4G-64G:256M,64G-:512M resume=UUID=9e00f20a-eb7f-4160-904a-7e5b003c72ed rhgb quiet"

grub 메뉴에서 위와같이 UUID 를 빼고 디바이스 장치를 직접 입력했지만 되지 않았다.

Grub2 재설정 -> 해결안됨

Grub2 에 UUID 값이 갱신되지 않아서 벌어지는 일이여서 이것을 갱신해줄 필요가 있다. 그래서 다음과 같이 Grub2 메뉴를 갱신해 줬다.

grub2 메뉴 갱신
ZSH
1
]$ sudo grub2-mkconfig -o /boot/grub2/grub.cfg

이렇게 한 후에 부팅을 진행했지만, 역시 해결되지 않았다.

dracut 명령어로 부팅 이미지 재 생성 -> 성공

/boot 디렉토리에 있는 커널 부팅 이미지를 재생성 해줬다. /boot 는 커널이미지와 커널부팅이미지가 존재한다. 이것을 재생성 해줬다.

커널부팅이미지 재생성
ZSH
1
]$ sudo dracut -f /boot/initramfs-5.14.0-162.6.1.el9_1.x86_64.img 5.14.0-162.6.1.el9_1.x86_64

이렇게 한 후에 부팅이 정상적으로 되었다.

VMWare,VirtualBox VM 이미지를 KVM 이미지로 변경하기

프로젝트를 하다보니 윈도우즈 시스템을 사용하고 있는 가운데, 리눅스 머신이 필요하게 되어서 vmplayer 를 이용해 가상머신으로서 리눅스를 테스트 용도로 설치해 사용하고 있었다. 이제 프로젝트도 전부 끝나게 되어서 노트북에 설치한 이 VMPlayer 의 OS 를 KVM 시스템으로 옮기 싶었다.

어떻게 VMWare, VirtualBox VM 이미지를 KVM 이미지로 바꿀 수 있을까 싶어 자료 조사를 하고 KVM 시스템으로 옮길 수 있었다. 이에 대한 내용을 정리한다.

qemu-img

VMPlayer 는 무료 소프트웨어이기 때문에 이미지 변경에 대한 툴을 제공하지 않는다. 이 경우에 KVM 리눅스 머신이 존재한다면 VMPlayer 의 이미지를 KVM 리눅스 머신으로 옮긴다.

KVM 리눅스 머신에는 qemu-img 를 사용할 수 있다. 이 명령어는 이미지를 변경할 수 있게 해준다. 만일 이 명령어가 존재하지 않는다면 다음과 같이 설치 해준다.

qemu-img 명령어 설치
ZSH
1
2
3
4
# Ubuntu
]$ sudo apt install qemu-utils
# RedHat
]$ sudo dnf install qemu-img

VMPlayer 이미지 옮기기 및 정보

여기서 한가지 조건이 존재한다. VMPlayer 를 이용해 VM 을 생성할때에 스토리지를 하나의 통 파일로 만들건지 아니면 여러조각의 파일로 조각해서 만들건지를 물어본다. 이 경우에는 스토리지 파일을 하나의 통 파일로 작성한 경우에 한 한다.

하나의 통파일로 작성할 경우에 VMPlayer 는 확장자 .vmdk 파일이 존재하게 된다. 이것을 KVM 리눅스 머신으로 옮겨준다. 옮겨준 파일은 qemu-img 명령어를 이용해 파일의 정보를 조회해 볼 수 있다.

VMPlayer 이미지의 정보
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
$ qemu-img info RHEL9.0.vmdk
image: RHEL9.0.vmdk
file format: vmdk
virtual size: 30 GiB (32212254720 bytes)
disk size: 5.06 GiB
cluster_size: 65536
Format specific information:
    cid: 2869090990
    parent cid: 4294967295
    create type: monolithicSparse
    extents:
        [0]:
            virtual size: 32212254720
            filename: RHEL9.0.vmdk
            cluster size: 65536
            format:

VMPlayer 에서 스토리지를 생성할때에 30GiB 크기로 생성을 했으며, 사용하는 만큼만 실체적인 용량을 쓰도록 했기 때문에 5.06GiB 의 파일 크기를 가진다.

qcow2, raw 변경

qemu-img 를 사용해 KVM 이미지로 변경할 이미지 포맷을 지정할 수 있다. KVM 의 경우에 qcow2 나 raw 의 이미지를 지원한다. qcow2 의 경우에는 앞서 VMPlayer 파일 형식과 같이 총 용량은 정해져 있지만 사용하는 만큼만 실제 파일시스템에 반영이 된다. raw 는 그냥 전체 생성할때 지정한 용량이 파일 시스템에 반영이 된다.

qcow2 형식으로 변경은 다음과 같이 한다.

qcow2 형식으로 변경
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
]$ sudo qemu-img convert -O qcow2 RHEL9.0.vmdk RHEL9.0.qcow2
]$ qemu-img info RHEL9.0.qcow2
image: RHEL9.0.qcow2
file format: qcow2
virtual size: 30 GiB (32212254720 bytes)
disk size: 5.05 GiB
cluster_size: 65536
Format specific information:
    compat: 1.1
    compression type: zlib
    lazy refcounts: false
    refcount bits: 16
    corrupt: false
    extended l2: false

raw 형식으로 변경은 다음과 같다.

raw 형식으로 변경
ZSH
1
2
3
4
5
6
$ sudo qemu-img convert RHEL9.0.vmdk RHEL9.0.img
$ sudo qemu-img info RHEL9.0.img
image: RHEL9.0.img
file format: raw
virtual size: 30 GiB (32212254720 bytes)
disk size: 5.06 GiB

결론

qemu-img 명령어를 이용해 VMPlayer 의 이미지를 KVM 이미지로 변경이 가능하다. 변경 후에 VM 이미지를 Import 해 구동하면 정상적으로 OS 가 올라 온다.

Rocky Linux 9 에 Open vSwitch 세팅하기

Rocky Linux 9 는 RHEL 9 (RedHat Enterprise Linux 9) 의 크론 버전이다. RHEL9는 상용인 반면에 Rokcy Linux 는 무료다.

RHEL9나 Rokcy Linux 9 로 넘어오면서 변화한 것중에 하나가 ifcfg-eth0 파일이다. 이 파일은 /etc/sysconfig/network-scripts 디렉토리에 존재했었고 eth0 네트워크 장치에 대한 네트워크 설정 정보가 저장되었었다. 부팅을하면서 Network-Manager 데몬이 이 파일을 읽어 실행했었다. 하지만 RHEL9과 Rokcy Linux 에서는 이 파일을 더 이상 사용하지 않고 nmcli 명령어를 통해서 세팅을 하도록 변경 되었다.

이러한 변화는 Open vSwitch 세팅에서도 영향을 준다. 우분투와 다르게 RHEL9, Rocky Linux 9 에서는 nmcli 명령어를 통해서 Open vSwitch 를 설정하게 된다.

주의

절대로 원격에서 작업을 해서는 안된다. 외부와 연결하는 네트워크 작업이기 때문에 원격에서 작업을 했을 경우 다시 접속이 안될 수 있다.

Open vSwitch 설치

Rocky Linux 9 에서 Open vSwitch 설치는 패키지로 제공한다. 다음과 같이 설치가 가능하다.

Open vSwitch 설치.
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
]# dnf install centos-release-nfv-openvswitch
]# dnf search openvswitch
Last metadata expiration check: 0:34:49 ago on Sun Jul 16 15:48:15 2023.
====================== Name Matched: openvswitch =================
centos-release-nfv-openvswitch.noarch : Common release file to establish shared metadata for CentOS NFV SIG
network-scripts-openvswitch2.16.x86_64 : Open vSwitch legacy network service support
openvswitch-selinux-extra-policy.noarch : Open vSwitch Extra SELinux Policy
openvswitch2.16.x86_64 : Open vSwitch
openvswitch2.16-devel.x86_64 : Open vSwitch OpenFlow development package (library, headers)
openvswitch2.16-ipsec.x86_64 : Open vSwitch IPsec tunneling support
openvswitch2.16-test.noarch : Open vSwitch testing utilities
openvswitch2.17.x86_64 : Open vSwitch
openvswitch2.17-devel.x86_64 : Open vSwitch OpenFlow development package (library, headers)
openvswitch2.17-ipsec.x86_64 : Open vSwitch IPsec tunneling support
openvswitch2.17-test.noarch : Open vSwitch testing utilities
openvswitch3.1.x86_64 : Open vSwitch
openvswitch3.1-devel.x86_64 : Open vSwitch OpenFlow development package (library, headers)
openvswitch3.1-ipsec.x86_64 : Open vSwitch IPsec tunneling support
openvswitch3.1-test.noarch : Open vSwitch testing utilities
pcp-pmda-openvswitch.x86_64 : Performance Co-Pilot (PCP) metrics for Open vSwitch
python3-openvswitch2.16.x86_64 : Open vSwitch python3 bindings
python3-openvswitch2.17.x86_64 : Open vSwitch python3 bindings
python3-openvswitch3.1.x86_64 : Open vSwitch python3 bindings
 
]# dnf install openvswitch3.1.x86_64

Open vSwitch 를 NetworkManager 가 다룰수 있도록 다음과 같이 패키지를 설치해 준다.

Open vSwitch 를 위한 NetworkManager 플러그인 설치.
ZSH
1
2
]# dnf install NetworkManager-ovs.x86_64
]# systemctl restart NetworkManager

NetworkManger 를 위한 Open vSwitch 플러그인 이다.

nmcli

이제 네트워크 작업은 직접 파일을 조작하는 대신에 nmcli 명령어를 이용하는 방법을 사용해야 한다.

nmcli 사용예
ZSH
1
2
3
4
]#  nmcli con show
NAME    UUID                                  TYPE      DEVICE
enp4s0  7cb453c9-ab80-3afa-a034-01af77db564e  ethernet  enp4s0
lo      ecfd900f-2a3c-4343-8966-8d998e0220fa  loopback  lo

현재 연결 정보를 보여준다.

이제 nmcli 를 이용해서 Open vSwitch 설정을 다음과 같이 해준다.

nmcli 를이용한 Open vSwitch 설정
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
nmcli con add type ovs-bridge conn.interface ovsbr0 con-name ovsbr0
nmcli con add type ovs-port conn.interface ovsbr0 master ovsbr0 con-name ovs-port-ovsbr0
nmcli con add type ovs-interface slave-type ovs-port conn.interface ovsbr0 master ovs-port-ovsbr0 con-name ovs-if-ovsbr0
 
nmcli con add type ovs-port conn.interface ovs-port-enp4s0 master ovsbr0 con-name ovs-port-enp4s0
nmcli con add type ethernet conn.interface enp4s0 master ovs-port-enp4s0 con-name ovs-if-enp4s0
 
nmcli con modify ovs-if-ovsbr0 ipv4.addresses '192.168.96.6/20' ipv4.gateway '192.168.96.1' ipv4.method manual
nmcli con modify ovs-if-ovsbr0 ipv4.dns '8.8.8.8' +ipv4.dns '8.8.4.4'
 
nmcli con down enp4s0
nmcli con up ovs-if-enp4s0
nmcli con up ovs-if-ovsbr0
 
nmcli con delete enp4s0

설정을 다하고 난 후에 재부팅을 한번 해준다.

그리고 nmcli 명령어를 사용해 상태을 확인 한다.

nmcli 를 이용한 확인
ZSH
1
2
3
4
5
6
7
8
]# nmcli c show
NAME             UUID                                  TYPE           DEVICE          
ovs-if-ovsbr0    2646aef8-be31-4b27-9f1e-1f0ac4bd2285  ovs-interface  ovsbr0          
lo               a351f90d-42be-48f2-98de-2e933d810390  loopback       lo              
ovs-if-enp4s0    e2a7d6e0-fd41-418a-85ff-1b586d02920e  ethernet       enp4s0          
ovs-port-enp4s0  1fb4e20a-07e1-4cdc-a966-84d797587bd5  ovs-port       ovs-port-enp4s0
ovs-port-ovsbr0  4e5ba6cb-384b-46c6-8ce8-8d9c89b353eb  ovs-port       ovsbr0          
ovsbr0           5beb100e-4e2f-4ff0-987c-6e9663958244  ovs-bridge     ovsbr0

Open vSwitch 설정 확인

ovs-vsctl 명령어를 통해서 설정이 반영이 되었는지 확인해야 한다.

Open vSwitch 설정 확인
ZSH
1
2
3
4
5
6
7
8
9
10
]# ovs-vsctl show
79930dbc-442d-43f6-9d17-7aed0e663aec
    Bridge ovsbr0
        Port ovsbr0
            Interface ovsbr0
                type: internal
        Port ovs-port-enp4s0
            Interface enp4s0
                type: system
    ovs_version: "3.1.2"

ip a 확인

ip a 명령어를 통해서 확인해 본다.

ip a 를 확인
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
]# ip a
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: enp4s0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc fq_codel master ovs-system state UP group default qlen 1000
    link/ether 9c:6b:00:02:6e:42 brd ff:ff:ff:ff:ff:ff
4: ovs-system: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
    link/ether b6:7a:10:0a:0c:62 brd ff:ff:ff:ff:ff:ff
5: ovsbr0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UNKNOWN group default qlen 1000
    link/ether 9c:6b:00:02:6e:42 brd ff:ff:ff:ff:ff:ff
    inet 192.168.96.6/20 brd 192.168.111.255 scope global noprefixroute ovsbr0
       valid_lft forever preferred_lft forever
    inet6 fe80::47b0:302c:15bb:ad30/64 scope link noprefixroute
       valid_lft forever preferred_lft forever

RHEL9, Rocky Linux 9 에서 어떻게 Open vSwitch 를 설정하는지 알아 봤다.

WOL 설정

Wake On Lan 은 Ethernet 선과 연결된 상태에서 컴퓨터에 전원을 켜지는 기능을 말한다. 이 기능을 사용하기 위해서는 먼저 메인보드에서 지원을 해줘야 한다. 한가지 더 주의해야 하는 것은 메인보드마다 설정 방법이 다 다르다.

이 작업을 했던 컴퓨터는 ASRock B550M Pro4 였는데, BIOS 설정에 Boot 메뉴에 Power On Lan 설정이 있어서 Enable 을 해줬지만 되지 않았다. Advanced 설정에서 ACPI 메뉴가 존재하는데 여기서 PCIE 를 이용한 Power On Lan 설정이 존재하는데 이것을 Enable 을 해줘야 한다.(정확한 메뉴는 기억이 나지 않는다. 메뉴얼을 찾아보면 쉽게 찾을 수 있다.)

이렇게 했는데도 WOL 기능이 되지 않는다면 이것은 리눅스의 설정을 해줘야 함을 의미 한다. 앞서 Open vSwitch 설정을 해준 관계로 외부 접속을 위한 디바이스의 연결 이름이 일반적으로 다르다.

nmcli conn show
ZSH
1
2
3
4
5
6
7
NAME             UUID                                  TYPE           DEVICE          
ovs-if-ovsbr0    2646aef8-be31-4b27-9f1e-1f0ac4bd2285  ovs-interface  ovsbr0          
lo               cec8e9fb-b69c-4ba3-a0ab-bf6382170b4d  loopback       lo              
ovs-if-enp4s0    e2a7d6e0-fd41-418a-85ff-1b586d02920e  ethernet       enp4s0          
ovs-port-enp4s0  1fb4e20a-07e1-4cdc-a966-84d797587bd5  ovs-port       ovs-port-enp4s0
ovs-port-ovsbr0  4e5ba6cb-384b-46c6-8ce8-8d9c89b353eb  ovs-port       ovsbr0          
ovsbr0           5beb100e-4e2f-4ff0-987c-6e9663958244  ovs-bridge     ovsbr0

보통은 enp4s0 의 인터페이스 이름이 존재해야 하지만 그건 없다. Open vSwitch 설정 마지막에서 enp4s0 인터페이스 설정을 지웠기 때문인데, 이렇게 되면 어디다 해줘야 하는지가 헷깔리게 된다.

이럴때는 외부와 연결되는 물리적 장치 이름을 찾고, 그것과 연결된 인터페이스 이름을 찾으면 된다. 위 예제에서 외부와 연결된 장치는 enp4s0 이며 이 장치의 인터페이스 이름은 ovs-if-enp4s0 이다. 이 인터페이스에서 WOL 설정을 해주면 된다.

먼저 nmcli 명령어를 이용해서 상태를 살펴본다.

ovs-if-enp4s0 장치의 WOL 상태 확
ZSH
1
2
3
]# nmcli conn show "ovs-if-enp4s0" | grep wake-on-lan
802-3-ethernet.wake-on-lan:             default
802-3-ethernet.wake-on-lan-password:    --

802-3-ethernet.wake-on-lan 의 값이 default 이다. 이것을 magic 으로 세팅해주면 된다. 다음과 같이 한다.

enp4s0 장치에 대한 WOL 설정
ZSH
1
2
3
4
]# nmcli conn modify "ovs-if-enp4s0" 802-3-ethernet.wake-on-lan magic
]# nmcli conn show "ovs-if-enp4s0" | grep wake-on-lan
802-3-ethernet.wake-on-lan:             magic
802-3-ethernet.wake-on-lan-password:    --

이렇게 한 다음에 가능하면 두번 재부팅하라고 하지만.. 글쎄… 한번만 해줘도 잘됐었다. 여러번 테스트를 해봤는데 문제없이 잘되었다.

한가지 덧붙이자면 WOL 기능을 사용하기 위해서는 절대로 전원 플러그를 뽑아서는 안된다. 멀티탭에 각 구에 전원이 On/Off 스위치가 있을 경우에 전원을 차단해서도 안된다. 전원 플러그를 뽑았다가 다시 꼽아도 안된다. 반드시 전원 플러그를 꼽고 한번은 리눅스로 부팅을 해주고 난 후에 리눅스를 Shutdown 해주고 그리고 전원 플러그는 그대로 연결이 되어 있어야 한다.

WOL 기능은 공유기에 내장되어 있는 경우가 많다. 공유기를 이용하면 원격에서도 컴퓨터를 켤수 있고 공유기의 포워드 기능을 이용하면 켜진 컴퓨터로 외부에서 접속이 가능하다. 프로젝트 할때마다 자주 써먹는 유용한 방법이다.

KVM Image 용량 증설하기

KVM 가상화를 운영하고 있는데, 운영중인 VM 하나가 용량이 부족해지는 상황이 발생했다. KVM 가상화 VM 의 용량은 결국 이미지 파일 한개임으로 이 이미지 파일의 용량을 늘려주면 VM 의 용량이 사실상 늘어나는 것으로 생각했다.

하지만 현시점(2023) 에서 검색을 해보니 다양한 방법들이 존재했다. 그 중에는 VM 이미지를 로컬에 마운트해서 늘려주는 방법도 존재했지만 너무나 복잡해 보였다. 좀 더 쉬운 방법이 없을까 해서 검색한 결과 가장 쉬워보이는 것을 발견했고 이 방법으로 손쉽게 VM 용량을 늘리는데 성공했다.

VM 상태

용량을 늘리려는 VM 의 상태는 다음과 같다.

VM 용량 상태
ZSH
1
2
3
4
5
6
7
8
# df -h
Filesystem      Size  Used Avail Use% Mounted on
tmpfs           393M  8.0M  385M   3% /run
/dev/vda1        48G   44G  794M  99% /
tmpfs           2.0G   52K  2.0G   1% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           2.0G     0  2.0G   0% /run/qemu
tmpfs           393M     0  393M   0% /run/user/1000

/dev/vda1 으로 파티션 하나로 보이지만 사실 SWAP 파티션도 존재한다. 이 SWAP 파티션의 /dev/vda2 디바이스이며 약 2G 용량을 차지한다.

VM 이미지 경로

VM 을 운영하는 Host 서버에서 VM 의 이미지가 어디에 있는지를 다음과 같이 살펴볼 수 있다.

VM 디스크 이미지 정
ZSH
1
2
3
4
5
]# virsh domblklist --domain Ubuntu20.04
대상   소스
----------------------------------
vda    /opt/kvm/ubuntu20.04.img
sda    -

VM 이미지 정보

VM 이미지의 정보를 아는 것은 매우 중요하다. VM 이미지의 타입이 존재하는데 raw, qemu 타입이다. 어떤 타입인지에 따라서 VM 이미지 용량을 늘리는 방법이 달라진다.

VM 이미지 정보
ZSH
1
2
3
4
5
]# qemu-img info /opt/kvm/ubuntu20.04.img
image: /opt/kvm/ubuntu20.04.img
file format: raw
virtual size: 50 GiB (53687091200 bytes)
disk size: 50 GiB

또, 가상 크기와 디스크 크기 정보 표시되는데 간혹 이 크기가 서로 다를 수가 있다.

기존 이미지 백업

혹시 모를 불상사를 방지하기 위해서 기존 이미지를 백업해 두자.

기존 이미지 백업
ZSH
1
2
cp -av /opt/kvm/ubuntu20.04.img /mnt7/
'/opt/kvm/ubuntu20.04.img' -> '/mnt7/ubuntu20.04.img'

패키지 설치

VM 이미지를 늘리기 위한 작업을 위해서 필요한 패키지를 설치 해준다. 설치는 환경이 RedHat 기반이기 때문에 dnf 명령어로 설치를 하였다. 설치하는 패키지 이름은 배포판마다 다를 수 있다.

VM 용량 늘리기 위한 패키지 설치
ZSH
1
]# dnf install guestfs-tools

이 패키지를 설치하게 되면 virt-resize 명령어를 사용할 수 있다.

VM 이미지 디스크 정보

앞에서 VM 이미지 정보를 표시했다면 이제는 이미지 안에 디스크 정보를 봐야 한다. 각각 설치한 방법이 다르고 파티션 정보도 다르기 표시 되기 때문에 이를 잘 파악해야 한다.

VM 이미지 내의 디스크 정보는 다음과 같이 알 수 있다.

virt-df 명령어를 이용한 VM 이미지 내 디스크 정보
ZSH
1
2
3
]# virt-df Gitlab
Filesystem                           1K-blocks       Used  Available  Use%
Gitlab:/dev/sda1                      49379416   46001304     837364   94%

단일 파티션 /dev/sda1 만 보이지만 virt-df 명령어의 한계로 보인다. 왜냐하면 SWP 파티션도 존재하기 때문인데, 이 SWAP 파티션은 표시되지 않았다.

virt-filesystems 명령어를 통해서 이를 정확하게 알 수 있다.

virt-filesystems 명령어를 이용한 VM 이미지 내 디스크 정
ZSH
1
2
3
4
5
6
7
]# virt-filesystems --long -h --all -a /opt/kvm/ubuntu20.04.img
Name       Type        VFS   Label  MBR  Size  Parent
/dev/sda1  filesystem  ext4  -      -    47G   -
/dev/sda2  filesystem  swap  -      -    1.8G  -
/dev/sda1  partition   -     -      83   48G   /dev/sda
/dev/sda2  partition   -     -      82   1.8G  /dev/sda
/dev/sda   device      -     -      -    50G   -

위 정보를 보면 전체 50G 에 /dev/sda1 과 /dev/sda2 로 나뉘어 있다. /dev/sda2 는 swap 파티션으로 virt-df 일때는 나오지 않았다.

용량 증설을 위한 이미지 생성

다음과 같이 백업한 이미지를 가지고 작업을 진행한다.

truncate 를 이용한 이미지 생성
ZSH
1
2
]# truncate -r /mnt7/ubuntu20.04.img /mnt7/ubuntu20.04-new.img
]# truncate -s +10G /mn7/ubuntu20.04-new.img

이 작업은 매우 중요하다. truncate 명령어를 이용하는 것인데, -r 옵션으로 용량 증설을 위한 이미지를 만들었다. 그리고 그 이미지에 용량 증설을 설정한다. 여기서는 10G 용량을 늘린다

루트(/) 피티션 /dev/sda1 크기 변경

VM 이미지 내의 파티션 정보는 /dev/sda1 으로 보인다. 여기서 주의해야 할 것은 VM 이 가동된 후에 이미지 정보의 디바이스 이름은 /dev/vda1 으로 다르다. virt-df 혹은 virt-filesystems 나온 내용을 기반으로 디바스 이름을 정해야 한다.

용량 증설은 루트 파티션만 하면 됨으로 /dev/sda1 의 크기를 변경할 것이다.

루트(/) 파티션 /dev/sda1 크기 변경
ZSH
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
]# virt-resize --expand /dev/sda1 /mnt7/ubuntu20.04.img /mnt7/ubuntu20.04-new.img
[   0.0] Examining /mnt7/ubuntu20.04.img
**********
 
Summary of changes:
 
virt-resize: /dev/sda1: This partition will be resized from 48.1G to 58.1G.
The filesystem ext4 on /dev/sda1 will be expanded using the
‘resize2fs’ method.
 
virt-resize: /dev/sda2: This partition will be left alone.
 
**********
[   1.5] Setting up initial partition table on /mnt7/ubuntu20.04-new.img
[   2.4] Copying /dev/sda1
100% ⟦▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒⟧ 00:00
[ 907.7] Copying /dev/sda2
100% ⟦▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒▒⟧ 00:00
[ 941.1] Expanding /dev/sda1 using the ‘resize2fs’ method
 
virt-resize: Resize operation completed with no errors.  Before deleting
the old disk, carefully check that the resized disk boots and works
correctly.

변경 요약을 보면 /dev/sda1 의 용량이 증설될 것인데, 이 파티션의 파일시스템이 ext4 임으로 resize2fs 방법을 이용해서 크기가 확장될 것임을 알려주고 있다.

진행 상태를 보면 Copying /dev/sda1 으로 나오고 실행 명령어에서 변경전 이미지와 truncate 명령어로 새롭게 생성한 이미지를 인자로 줬는데, 아마도 변경전 이미지를 truncate 명령어로 새롭게 생성한 이미지에 순차적인 복사를 하는 것으로 보인다.

이미지 용량에 따라서 작업 시간는 차이를 보일 것이다.

새로운 이미지로 VM 시작한 후 파티션 확인

/mnt7/ubuntu20.04-new.img 이미지로 VM 을 부팅한다. 그리고 난 후 다음과 같이 파티션 용량이 늘었는지 체크한다.

디스크 확인
ZSH
1
2
3
4
5
6
# lsblk
NAME   MAJ:MIN RM  SIZE RO TYPE MOUNTPOINTS
sr0     11:0    1 1024M  0 rom  
vda    252:0    0   60G  0 disk
├─vda1 252:1    0 58.1G  0 part /
└─vda2 252:2    0  1.8G  0 part [SWAP]

용량이 10G 늘었다.

파일시스템 용량을 봐 본다.

파일 시스템 용량 확인
ZSH
1
2
3
4
5
6
7
8
# df -h
Filesystem      Size  Used Avail Use% Mounted on
tmpfs           393M  6.8M  386M   2% /run
/dev/vda1        57G   44G   11G  82% /
tmpfs           2.0G   52K  2.0G   1% /dev/shm
tmpfs           5.0M     0  5.0M   0% /run/lock
tmpfs           2.0G     0  2.0G   0% /run/qemu
tmpfs           393M     0  393M   0% /run/user/1000

앞에서 변경 요약을 보면 파일시스템이 뭔지를 파악하고 거기에 맞게 파티션 Resize 작업도 해주는 것으로 보인다. ext4 의 경우 resize2fs, XFS 의 경우에는 xfs_growfs 을 사용하는데 이런 작업은 파티션의 크기를 변경하는 것으로 VM 이미지 용량 증설과 함께 해준다.

따라서 별도의 파티션 용량 증설작업은 필요하지 않다.

Gitlab 백업/복원

Gitlab 을 업데이트 하면서 보여지는 백업 메시지들은 다음과 같다.

GitLab 백업 파일 작업 내역
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
## Databse Backup
 
gitlab preinstall: Automatically backing up only the GitLab SQL database (excluding everything else!)
2023-02-01 10:36:44 UTC -- Dumping main_database ...
Dumping PostgreSQL database gitlabhq_production ... [DONE]
2023-02-01 10:36:46 UTC -- Dumping main_database ... done
2023-02-01 10:36:46 UTC -- Dumping ci_database ... [DISABLED]
2023-02-01 10:36:46 UTC -- Dumping repositories ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Dumping uploads ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Dumping builds ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Dumping artifacts ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Dumping pages ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Dumping lfs objects ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Dumping terraform states ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Dumping container registry images ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Dumping packages ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Creating backup archive: 1675247804_2023_02_01_15.8.0_gitlab_backup.tar ...
2023-02-01 10:36:46 UTC -- Creating backup archive: 1675247804_2023_02_01_15.8.0_gitlab_backup.tar ... done
2023-02-01 10:36:46 UTC -- Uploading backup archive to remote storage  ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Deleting old backups ... [SKIPPED]
2023-02-01 10:36:46 UTC -- Deleting tar staging files ...
2023-02-01 10:36:46 UTC -- Cleaning up /var/opt/gitlab/backups/backup_information.yml
2023-02-01 10:36:46 UTC -- Cleaning up /var/opt/gitlab/backups/db
2023-02-01 10:36:46 UTC -- Deleting tar staging files ... done
2023-02-01 10:36:46 UTC -- Deleting backups/tmp ...
2023-02-01 10:36:46 UTC -- Deleting backups/tmp ... done
 
### Backup Config
gitlab preinstall: Automatically backing up /etc/gitlab
Running configuration backup
Creating configuration backup archive: gitlab_config_1675247806_2023_02_01.tar
/etc/gitlab/
/etc/gitlab/gitlab-secrets.json
/etc/gitlab/gitlab.rb
/etc/gitlab/trusted-certs/
/etc/gitlab/ssl/
/etc/gitlab/ssl/root-ca.crt
/etc/gitlab/ssl/regi.gitlab.systemv.local.key
/etc/gitlab/ssl/regi.gitlab.systemv.local.crt
/etc/gitlab/ssl/gitlab.systemv.local.key
/etc/gitlab/ssl/gitlab.systemv.local.crt
/etc/gitlab/ssl/root-ca.key
Configuration backup archive complete: /etc/gitlab/config_backup/gitlab_config_1675247806_2023_02_01.tar

업데이트를 하기전에 데이터베이스와 설정 파일들을 백업하고 있다.

만일 전체 백업을 하고 싶다면 다음과 같이 명령어를 이용할 수 있다.

Gitlab 수동 백업
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
]# gitlab-backup create
 
.....
2023-02-01 11:04:33 UTC -- Creating backup archive: 1675249277_2023_02_01_15.8.1_gitlab_backup.tar ...
 
2023-02-01 11:06:29 UTC -- Creating backup archive: 1675249277_2023_02_01_15.8.1_gitlab_backup.tar ... done
2023-02-01 11:06:29 UTC -- Uploading backup archive to remote storage  ... [SKIPPED]
2023-02-01 11:06:29 UTC -- Deleting old backups ... [SKIPPED]
2023-02-01 11:06:29 UTC -- Deleting tar staging files ...
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/backup_information.yml
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/db
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/repositories
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/uploads.tar.gz
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/builds.tar.gz
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/artifacts.tar.gz
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/pages.tar.gz
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/lfs.tar.gz
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/terraform_state.tar.gz
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/registry.tar.gz
2023-02-01 11:06:29 UTC -- Cleaning up /var/opt/gitlab/backups/packages.tar.gz
2023-02-01 11:06:29 UTC -- Deleting tar staging files ... done
2023-02-01 11:06:29 UTC -- Deleting backups/tmp ...
2023-02-01 11:06:29 UTC -- Deleting backups/tmp ... done
2023-02-01 11:06:29 UTC -- Warning: Your gitlab.rb and gitlab-secrets.json files contain sensitive data
and are not included in this backup. You will need these files to restore a backup.
Please back them up manually.
2023-02-01 11:06:29 UTC -- Backup 1675249277_2023_02_01_15.8.1 is done.
2023-02-01 20:06:29 +0900 -- Deleting backup and restore lock file

수행후 생성된 백업 파일은 /var/opt/gitlab/backups 디렉토리에 만들어 진다.

만일 복원을 해야 한다면 백업 디렉토리에 백업한 파일을 올려놓고 다음과 같이 하면 된다.

백업 복원
1
2
3
4
5
## 프로세스 중지
]# gitlab-ctl stop puma
]# gitlab-ctl stop sidekiq
## 복원
]# gitlab-backup restore BACKUP=11493107454_2018_04_25_10.6.4-ce