Skip to content
← 논문으로
KIPS ACK 2024

An Analysis of Service Latency Based on Replica Resource Granularity in Kubernetes Environment

Geonwoo Kim, Donggyun Kim, Heonchang Yu

Annual Conference of KIPS (ACK 2024)

Summary

총 CPU가 같아도 파드당 할당량과 Replica 수에 따라 응답 성능이 달라집니다. CPU 1코어를 1~16개 Replica로 나눠 자원 세분성의 영향을 비교했습니다.

Role
제2저자학부 연구생 멘토링
Outcome
CPU 집약적 실험에서 1개 → 2개 Replica로 분할했을 때 P95 220.58%, P99 660.56% 증가.
Line chart of service latency (mean/90th/95th/99th percentile) versus replica count
자원 세분성(replica 수)에 따른 서비스 latency

총 CPU는 같아도 파드 수에 따라 달라지는 응답 성능

HPA가 파드 수를 조정할 때 파드당 기본 자원 할당량에 따라 필요한 Replica 수가 달라집니다. 총 CPU가 같아도 이를 몇 개의 Replica에 나누는지, 즉 자원 세분성에 따라 응답 성능이 달라질 수 있습니다.

작은 파드를 여러 개 두면 저부하에서 자원 낭비를 줄일 수 있지만, 파드별 애플리케이션 실행 오버헤드와 같은 물리 자원을 공유하는 프로세스의 간섭, 호스트 OS 커널 부하가 늘 수 있습니다. 총 CPU 할당량을 고정하고 파드당 자원 크기와 Replica 수를 바꿔 세분화의 영향을 측정했습니다.

자원 총량과 파드당 할당량을 구분한 비교

자원 세분성은 HPA가 자원을 추가하거나 반환하는 단위에도 영향을 줍니다. 예를 들어 같은 CPU 2코어를 확보하려면 파드당 1코어인 구성에서는 Replica 2개, 0.5코어인 구성에서는 4개가 필요합니다. 총량은 같지만 한 번의 Replica 증감으로 바뀌는 자원량과 실행 프로세스 수가 달라집니다.

작은 파드는 적은 부하에 맞춰 더 세밀하게 자원을 할당할 수 있습니다. 하지만 각 파드마다 애플리케이션 프로세스가 필요하므로, 분할한 자원이 요청 처리에 그대로 추가되는 것은 아닙니다. 실제 부하에서 지연과 CPU 사용률을 측정한 이유입니다.

CPU 1코어를 Replica 1~16개로 나눈 실험

2코어 3.1GHz AMD EPYC와 4GB 메모리를 갖춘 인스턴스로 마스터 1대와 워커 1대를 구성했습니다. CPU 1코어를 Replica 1, 2, 4, 8, 10, 16개에 균등하게 나눴습니다. 파드당 할당량은 각각 1, 0.5, 0.25, 0.125, 0.1코어이며, 16개 구성은 원문 표에서 반올림해 약 0.063코어로 표시했습니다.

예를 들어 파드 하나에 1코어를 주는 구성과 파드 네 개에 각각 0.25코어를 주는 구성은 총 CPU 할당량이 같습니다. 달라지는 것은 각 파드가 한 요청을 처리할 때 사용할 자원과 동시에 실행되는 애플리케이션 인스턴스의 수입니다. 자원 총량의 증가 없이 분할 방식의 영향을 비교하도록 했습니다.

Apache 웹 서버에서 CPU 집약적인 삼각함수 연산을 실행했습니다. 300초 동안 분당 300건의 HTTP 요청을 보내 응답 지연과 CPU 사용률을 측정했습니다.

모든 구성에 같은 요청 속도와 실행 시간을 적용했습니다. Replica를 늘린 조건이 더 많은 요청을 받지 않도록 통제하고, 평균 응답시간과 상위 백분위 지연, CPU 사용률을 함께 비교했습니다.

파드를 1개에서 2개로 나눴을 때 660.56% 늘어난 P99 지연

총 CPU를 고정해도 Replica 수를 늘리면 응답이 느려질 수 있었습니다. 1개에서 2개로 나눴을 때 P95와 P99는 각각 220.58%, 660.56% 증가했습니다. 전체적으로 평균 지연도 증가했지만, 8개와 10개 사이에서는 일부 지표가 비슷하거나 감소했습니다.

특히 P99의 증가 폭이 평균보다 클 수 있어, 총 CPU가 같다는 사실만으로 요청 처리 품질을 판단하기 어렵습니다. 자원 세분화로 얻는 작은 단위의 할당 이점과, 제한된 CPU를 여러 프로세스가 나눠 사용할 때의 지연을 함께 봐야 합니다.

컨테이너별 오버헤드와 프로세스 간 자원 경합을 지연 증가의 원인으로 추정했습니다. 각각의 영향을 분리해 측정하지는 않았으므로, 후속 분석에서는 두 요인을 구분할 필요가 있습니다.

CPU 사용률도 세분화할수록 증가했습니다. 총 CPU 할당량을 유지한 상태에서도 분할 방식에 따라 지연과 사용률이 달라진 것입니다. 파드당 자원을 정할 때 자원 총량만 맞추는 데서 끝내지 않고, 실제 요청을 처리하는 동안의 응답시간과 사용률을 함께 확인해야 한다는 결과입니다. 저는 학부 연구생을 지도하며 공동저자로 참여했습니다.