Skip to content
← 논문으로
KIPS ACK 2024

An Analysis of CPU Utilization and Service Latency Based on Cool Down Time Configuration in Kubernetes

Seoeun Kwon, Donggyun Kim, Heonchang Yu

Annual Conference of KIPS (ACK 2024)

Summary

파드를 오래 유지하면 요청에 빠르게 대응할 수 있지만 자원 사용이 늘어납니다. Cool Down Time과 파드당 CPU 할당량을 함께 바꾸며 지연 개선이 둔화되는 구간을 확인했습니다.

Role
제2저자학부 연구생 멘토링
Outcome
긴 CDT에서 상위 5% 요청의 지연이 줄었지만 개선 폭은 둔화하고 자원 할당은 증가. ACK 2024 학부생 논문경진대회 은상.
Line chart of average CPU usage versus Cool Down Time
Cool Down Time에 따른 평균 CPU 사용량

파드를 줄일 시점에 따라 달라지는 지연과 자원 사용

부하가 잠깐 줄었다고 파드를 줄이면 요청이 다시 늘 때 파드를 새로 준비해야 합니다. 오래 유지하면 빠르게 대응할 수 있지만 사용하지 않는 자원이 남습니다. Cool Down Time(CDT)에 따라 응답 지연과 자원 사용이 어떻게 달라지는지 살폈습니다.

같은 파드 수라도 파드당 CPU 할당량에 따라 처리할 수 있는 요청량이 다릅니다. CDT와 CPU 할당량을 함께 바꾸며 응답 지연과 자원 사용을 비교했습니다.

Cool Down Time과 파드당 CPU 할당량을 바꾼 실험

Ubuntu Server 22.04 기반의 마스터 1대와 워커 2대(각 2코어, 3.1GHz AMD EPYC, 4GB)로 클러스터를 구성했습니다. PHP 웹 애플리케이션을 대상으로 HPA의 CPU Threshold를 70%, 파드 수 범위를 1~10개로 설정했습니다.

15초당 25~300회의 GET 요청을 보내고, 파드당 CPU 할당량을 0.1, 0.2, 0.4, 0.5코어로 바꿨습니다. 각 조건에서 CDT를 60초부터 1000초까지 조정하며 응답 지연과 자원 사용을 측정했습니다.

먼저 파드당 CPU 할당량을 고정한 상태에서 CDT를 바꿔 파드를 유지하는 시간의 영향을 비교했습니다. 같은 CDT에서는 CPU 할당량을 달리해 파드 하나의 처리 용량에 따른 차이를 살폈습니다. 두 변수를 함께 바꾸되 각 조건을 나눠 비교한 실험입니다.

느린 요청의 지연과 평균 CPU 할당량을 함께 측정

응답 성능은 전체 요청 중 지연이 긴 상위 5%의 분포로 비교했습니다. 평균 응답시간만으로는 파드가 다시 준비되는 구간에서 일부 요청이 오래 기다리는 현상을 놓칠 수 있기 때문입니다.

자원 지표는 실행 중인 파드에 할당된 평균 CPU 자원량입니다. 같은 파드당 할당량에서도 CDT가 길어져 파드가 오래 남으면 전체 평균 할당량이 커집니다. 지연이 줄어든 정도와 이 추가 할당을 함께 비교했습니다.

지연 개선은 둔화해도 계속 늘어나는 자원 사용

CDT가 길수록 응답이 느린 상위 5% 요청의 지연이 낮아지고 SLO 만족률이 개선됐습니다. 다만 일정 수준을 넘어서면 지연 개선 폭이 작아졌습니다. 반면 파드가 오래 유지돼 평균 CPU 할당량은 계속 늘었습니다. 파드당 0.5코어를 할당한 조건의 평균 할당량은 0.1코어 조건보다 최대 4.89배 많았습니다.

CPU를 더 오래 할당한 뒤에도 지연이 비슷하다면 추가 자원의 성능 이득이 작아진 상태입니다. 반대로 CDT를 지나치게 짧게 두면 다시 늘어난 요청을 처리하기 위해 파드를 준비하는 시간이 필요합니다. 이 두 구간 사이에서 서비스의 응답 요구와 할당량을 함께 고려해야 한다는 결과입니다.

고정된 CDT 하나를 고르는 데서 끝내기보다, 서비스의 부하와 파드당 자원 크기에 맞춰 지연과 할당량을 함께 확인해야 한다는 결론입니다. 저는 학부 연구생을 지도하며 공동저자로 참여했고, 논문은 ACK 2024 학부생 논문경진대회에서 은상을 받았습니다.