An Analysis of Response Time Depending on CPU Resource Contention between Pods in Kubernetes Environment
Annual Conference of KIPS (ACK 2024)
Summary
요청량이 같아도 같은 노드에서 실행되는 다른 작업 때문에 응답이 느려질 수 있습니다. 경쟁 파드의 CPU 점유율과 작업 수를 각각 바꾸며 응답시간에 미치는 영향을 측정했습니다.
- Role
- 제2저자학부 연구생 멘토링
- Outcome
- 30초당 450건 조건에서 다른 파드의 CPU 점유율 0% → 70%에 따라 평균 응답시간 51ms → 236ms.
요청량은 같아도 다른 파드 때문에 느려지는 응답
클라우드에서는 자원 활용도를 높이기 위해 여러 애플리케이션을 같은 노드에 배치합니다. 하지만 노드에 자원이 남아 보이는 것과 각 서비스가 필요한 시점에 CPU를 쓸 수 있다는 것은 다릅니다.
같은 노드의 다른 작업이 CPU를 사용할 때 대상 서비스의 응답이 얼마나 느려지는지 확인하고자 했습니다. 경쟁 작업의 CPU 점유율과 작업 수를 나눠 실험했습니다.
경쟁 파드의 CPU 점유율과 작업 수를 따로 바꾼 실험
Intel Core i5-12600K와 DDR5 32GiB 시스템에 가상머신으로 마스터 1대와 워커 3대(각 2 vCPU, 4GiB)를 구성했습니다. progrium/stress 이미지로 경쟁 작업의 CPU 점유율을 조정했습니다.
대상 서비스는 삼각함수를 계산하는 php-apache입니다. 클러스터 외부에서 HTTP 요청을 보내고, 경쟁 파드의 CPU 점유율을 바꾼 실험과 CPU 부하 작업 수를 바꾼 실험을 나눠 응답시간을 측정했습니다.
CPU 부족과 작업 수 증가를 나눠 확인한 통제 조건
첫 번째 실험은 경쟁 작업을 2개로 고정하고 CPU 점유율을 0~70%로 바꿨습니다. 각 조건에서 30초당 150, 300, 450건의 요청을 보내, 가용 CPU가 줄어드는 상황과 대상 서비스의 부하가 증가하는 상황을 함께 비교했습니다.
두 번째 실험은 경쟁 CPU 점유율을 65%로 고정하고 작업 수만 2, 4, 6, 8, 10개로 바꿨습니다. 대상 서비스에는 30초당 400건을 보내 평균과 90번째, 95번째 백분위 응답시간을 비교했습니다. 같은 점유율에서도 실행 작업 수에 따라 꼬리 지연이 달라지는지 확인하는 조건입니다.
경쟁 CPU 점유율 증가로 51ms에서 236ms가 된 평균 응답시간
30초당 요청 450건과 경쟁 작업 2개를 유지한 상태에서, 경쟁 파드의 CPU 점유율을 0%에서 70%로 올렸습니다. 평균 응답시간은 51ms에서 236ms로 늘었으며, 원문이 보고한 증가율은 약 361%입니다.
별도 실험에서는 경쟁 CPU 점유율을 65%로 고정하고 작업 수를 2~10개로 늘렸습니다. 평균 지연 변화는 작았지만 상위 지연이 늘었고, 응답시간 증가는 최대 19.4%였습니다. 컨텍스트 전환, 캐시와 TLB의 상태 변화를 원인으로 추정했으며, 각 요인의 영향은 추가로 분리해 측정할 필요가 있습니다.
CPU 점유율 실험에서는 대상 서비스가 사용할 수 있는 자원이 줄어드는 영향을, 작업 수 실험에서는 같은 CPU 점유율에서도 여러 작업을 전환하며 실행하는 영향을 살폈습니다. 평균 지연이 크게 변하지 않은 두 번째 실험에서도 상위 지연은 늘어, CPU 사용률 하나만으로 응답 품질을 설명하기 어렵다는 차이가 나타났습니다.
대상 서비스의 요청량이 같아도 함께 배치된 작업에 따라 응답 지연이 달라졌습니다. 노드에 남은 자원뿐 아니라 함께 실행할 작업의 특성도 배치 판단에 필요하다는 결과입니다. 저는 학부 연구생을 지도하며 공동저자로 참여했습니다.
| 경쟁 CPU 점유율 | 평균 응답시간 (ms) |
|---|---|
| 0% | 51 |
| 40% | 81 |
| 60% | 153 |
| 70% | 236 |