kube-prometheus-stack 설치
기존에 prometheus 설치를 했었는데, 버전을 올릴겸해서 다시 설치를 했다. 설치는 Helm 을 이용했고, 기존에 설치된 버전을 삭제 처리 했다.
환경
K8S 환경이 매우 중요하다. 필자의 환경은 Handy way 방법으로 설치를 진행한 상황이기 때문에 etcd, apiserver, scheduler 가 OS 데몬으로 운영되고 있다. 따라서 Master, Worker 노드의 IP 를 필요로 한다.
만일 kubeadm 으로 설치했다면 selector 를 이용해서 라벨을 선택해주면 된다.
삭제
Helm 을 이용해서 설치했기 때문에 Helm 으로 삭제를 해야 한다. 여기서 한가지 주의해야 하는 것이 있는데, Helm 으로 삭제를 하여도 CRD(Custom Resource Definition) 은 삭제되지 않기 때문에 수동으로 삭제를 해줘야 한다.
|
1 2 3 4 5 6 7 8 9 10 11 12 |
~$ helm delete prometheus -n monitoring ~$ kubectl get crd | grep monitoring alertmanagerconfigs.monitoring.coreos.com 2025-04-02T09:45:05Z alertmanagers.monitoring.coreos.com 2025-04-02T09:45:05Z podmonitors.monitoring.coreos.com 2025-04-02T09:45:05Z probes.monitoring.coreos.com 2025-04-02T09:45:06Z prometheusagents.monitoring.coreos.com 2025-04-02T09:45:06Z prometheuses.monitoring.coreos.com 2025-04-02T09:45:06Z prometheusrules.monitoring.coreos.com 2025-04-02T09:45:07Z scrapeconfigs.monitoring.coreos.com 2025-04-02T09:45:07Z servicemonitors.monitoring.coreos.com 2025-04-02T09:45:07Z thanosrulers.monitoring.coreos.com 2025-04-02T09:45:08Z |
남아 있는 crd 가 다를 수가 있지만, 반드시 삭제를 해줘야 문제가 발생하지 않는다. crd 는 다른 프로그램에서도 삭제가 되지 않는 경우가 많다.
Helm repo update
Helm 저장소를 업데이트를 해야 한다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 |
~$ helm repo list NAME URL stable https://charts.helm.sh/stable prometheus-community https://prometheus-community.github.io/helm-charts ingress-nginx https://kubernetes.github.io/ingress-nginx coredns https://coredns.github.io/helm istio https://istio-release.storage.googleapis.com/charts ~$ helm repo update Hang tight while we grab the latest from your chart repositories... ...Successfully got an update from the "coredns" chart repository ...Successfully got an update from the "ingress-nginx" chart repository ...Successfully got an update from the "istio" chart repository ...Successfully got an update from the "prometheus-community" chart repository ...Successfully got an update from the "stable" chart repository Update Complete. ⎈Happy Helming!⎈ |
Download a chart and untar
Helm Chart 를 다운로드하고 압축해제 한다. 이렇게 함으로써 values.yaml 파일을 수정할 수 있게된다.
|
1 |
~$ helm pull prometheus-community/kube-prometheus-stack --untar |
다운로드와 함께 압축을 해제해 준다.
Values.yaml 파일 수정
어떤 내용들을 수정할지는 어떤 것을 모니터링 할지, 어떤 부분이 있는지에 따라서 달라진다. 변경된 내용은 대략 다음과 같다.
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 |
--- values.yaml 2025-04-02 16:05:17.534060819 +0000 +++ /home/systemv/kube-prometheus-stack/values.yaml 2025-04-02 16:23:06.908277193 +0000 @@ -1049,7 +1049,8 @@ ## Define which Nodes the Pods are scheduled on. ## ref: https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/#nodeselector ## - nodeSelector: {} + nodeSelector: + system.rule: monitoring ## Define resources requests and limits for single Pods. ## ref: https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/ @@ -1775,10 +1776,10 @@ ## If your kube controller manager is not deployed as a pod, specify IPs it can be found on ## - endpoints: [] - # - 10.141.4.22 - # - 10.141.4.23 - # - 10.141.4.24 + endpoints: + - 192.168.96.46 + - 192.168.96.47 + - 192.168.96.48 ## If using kubeControllerManager.endpoints only the port and targetPort are used ## @@ -1888,8 +1889,8 @@ enabled: false ipFamilies: ["IPv6", "IPv4"] ipFamilyPolicy: "PreferDualStack" - # selector: - # k8s-app: kube-dns + selector: + k8s-app: coredns serviceMonitor: enabled: true ## Scrape interval. If not set, the Prometheus default scrape interval is used. @@ -2062,10 +2063,10 @@ ## If your etcd is not deployed as a pod, specify IPs it can be found on ## - endpoints: [] - # - 10.141.4.22 - # - 10.141.4.23 - # - 10.141.4.24 + endpoints: + - 192.168.96.46 + - 192.168.96.47 + - 192.168.96.48 ## Etcd service. If using kubeEtcd.endpoints only the port and targetPort are used ## @@ -2171,10 +2172,10 @@ ## If your kube scheduler is not deployed as a pod, specify IPs it can be found on ## - endpoints: [] - # - 10.141.4.22 - # - 10.141.4.23 - # - 10.141.4.24 + endpoints: + - 192.168.96.46 + - 192.168.96.47 + - 192.168.96.48 ## If using kubeScheduler.endpoints only the port and targetPort are used ## @@ -2277,10 +2278,10 @@ ## If your kube proxy is not deployed as a pod, specify IPs it can be found on ## - endpoints: [] - # - 10.141.4.22 - # - 10.141.4.23 - # - 10.141.4.24 + endpoints: + - 192.168.96.46 + - 192.168.96.47 + - 192.168.96.48 service: enabled: true @@ -2790,7 +2791,8 @@ ## Define which Nodes the Pods are scheduled on. ## ref: https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/#nodeselector ## - nodeSelector: {} + nodeSelector: + system.rule: monitoring ## Tolerations for use with node taints ## ref: https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/ @@ -3145,7 +3147,8 @@ ## Define which Nodes the Pods are scheduled on. ## ref: https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/#nodeselector ## - nodeSelector: {} + nodeSelector: + system.rule: monitoring ## Tolerations for use with node taints ## ref: https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/ @@ -3997,7 +4000,8 @@ ## Define which Nodes the Pods are scheduled on. ## ref: https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/#nodeselector ## - nodeSelector: {} + nodeSelector: + system.rule: monitoring ## Secrets is a list of Secrets in the same namespace as the Prometheus object, which shall be mounted into the Prometheus Pods. ## The Secrets are mounted into /etc/prometheus/secrets/. Secrets changes after initial creation of a Prometheus object are not @@ -5180,7 +5184,8 @@ ## Define which Nodes the Pods are scheduled on. ## ref: https://kubernetes.io/docs/concepts/scheduling-eviction/assign-pod-node/#nodeselector ## - nodeSelector: {} + nodeSelector: + system.rule: monitoring ## Define resources requests and limits for single Pods. ## ref: https://kubernetes.io/docs/concepts/configuration/manage-resources-containers/ |
nodeSelector 에 system.rule: monitoring 이 보이는데, 이는 Worker 노드에 라벨을 말한다. 선택된 라벨을 가지고 있는 Worker 노드에 Prometheus 가 설치된다. 단, 이것도 상황에 따라서 달라지는데 Node exporter 의 경우에는 각 노드에 설치가 되어야 하기 때문에 라벨을 설정하지 않는다.
Node 라벨 생성
system.rule: monitoring 이라는 라벨을 생성해야 한다.
|
1 2 3 4 5 6 7 |
$ kubectl get node --show-labels NAME STATUS ROLES AGE VERSION LABELS kworker1.systemv.local Ready <none> 97d v1.20.6 beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=kworker1.systemv.local,kubernetes.io/os=linux kworker2.systemv.local Ready <none> 97d v1.20.6 beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=kworker2.systemv.local,kubernetes.io/os=linux kworker3.systemv.local Ready <none> 97d v1.20.6 beta.kubernetes.io/arch=amd64,beta.kubernetes.io/os=linux,kubernetes.io/arch=amd64,kubernetes.io/hostname=kworker3.systemv.local,kubernetes.io/os=linux $ kubectl label nodes kworker3.systemv.local system.rule=monitoring node/kworker3.systemv.local labeled |
이렇게 하면 kworker3 에 prometheus 가 설치된다.
Dependency Update
Helm 을 이용해서 설치해야 한다. 그전에 kube-prometheus-stack 에 의존성이 있는 패키지를 업데이트 해줘야 한다.
|
1 |
~$ helm dependency update |
설치
Helm 을 이용해 수정한 values.yaml 을 가지고 설치를 한다.
|
1 2 3 4 5 |
systemv@kmaster1:~/kube-prometheus-stack$ helm install -f values.yaml prometheus --namespace=monitoring . systemv@kmaster1:~/kube-prometheus-stack$ helm list -A NAME NAMESPACE REVISION UPDATED STATUS CHART APP VERSION coredns kube-system 1 2025-04-01 15:27:24.120344029 +0000 UTC deployed coredns-1.39.2 1.12.0 prometheus monitoring 1 2025-04-02 09:45:15.385967452 +0000 UTC deployed kube-prometheus-stack-70.4.0 v0.81.0 |
설치가 완료 되면 Pod, Service 에 Prometheus 가 올라오게 된다.