Tagged: AWS SDK

CloudWatch Log 총 용량 계산하기

CloudWatch Log 의 총 용량의 사용량을 알아야 얼마 정도 비용이 나가는지를 추정할 수 있다. CloudWatch Log 화면에서 총 용량을 보여주면 고맙겠지만 그런게 없다보니 비용이 얼마정도 나가는지도 모르게된다.

Python 을 이용해서 총 용량을 계산해보자.

nextToken

AWS SDK 를 사용하는데 있어 항상 나오는 것이 nextToken 이다. AWS 는 무제한으로 API Call 을 하도록 허용하지도 않고 결과의 모두를 출력해주지 않는다. 다음을 보자.

limit 제한
Python
1
2
client = session.client('logs')
response = client.describe_log_groups(limit=50)

describe_log_groups 메소드에 인자값으로 limit 가 있다. 이 값은 Default 값이 있다. 문제는 이 인자값을 50 이상을 지정할 수가 없다는 것이다. CloudWatch Log 개수가 50개 이상이라면 딱 50개 만 출력이되는데, 나머지를 출력하고 싶다면 nextToken 인자를 주면 된다.

nextToken 인자값 사용
Python
1
2
client = session.client('logs')
response = client.describe_log_groups(limit=50, nextToken=nxtToken)

일종의 Pagenation 개념으로 다음 페이지를 넘기며 출력을 하도록 하면 전체 CloudWatch Log 를 가지고 올 수 있다.

storedBytes

CloudWatch Log 에 SDK 에 리턴값은 Dictionary 로 나온다. 여기에는 logGroups 키로 하는 리스트형태의 Dictionary 인데, 여기에는 logGroupName, storedBytes 이며 storedBytes 값을 다 더하면 된다.

CloudWatch Log SDK
Python
1
2
3
4
for group in response['logGroups']:
    print(f'logGrupName: {group['logGroupName']}, size: {group['storedBytes']}')
    totalStoredBytes += group['storedBytes']
nxtToken=response['nextToken']

이런식으로 totalStoredBytes 에 전체용량을 저장하고 출력하면 된다.

전체소스

전체 소스는 다음과 같다.

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
import boto3
 
region = 'ap-northeast-2'
session = boto3.session.Session(profile_name='systemv', region_name=region)
 
client = session.client('logs')
 
nxtToken="first"
totalStoredBytes=0
while nxtToken:
    if nxtToken=="first":
        response = client.describe_log_groups(limit=50)
    else:
        response = client.describe_log_groups(limit=50, nextToken=nxtToken)
    try:
        for group in response['logGroups']:
            print(f'logGrupName: {group['logGroupName']}, size: {group['storedBytes']}')
            totalStoredBytes += group['storedBytes']
        nxtToken=response['nextToken']
    except KeyError:
        break
 
print(f'Total Bytes: {totalStoredBytes}')

좀 더 개선된 코드를 생각해 볼 수 있다. 그건 여러분이들 해보라.