Skip to content
← 논문으로
ICSOC 2024 2024

LARE-HPA: Co-optimizing Latency and Resource Efficiency for Horizontal Pod Autoscaling in Kubernetes

Donggyun Kim, Hyungjun Kim, Eunyoung Lee, Heonchang Yu

22nd International Conference on Service-Oriented Computing

Summary

낮은 Threshold는 응답 지연을 줄이지만 자원 사용을 늘립니다. 요청량의 변동성으로 Threshold를, 추세로 Cool Down Time을 조정해 응답 성능과 자원 효율의 균형을 맞췄습니다.

Role
제1저자LARE-HPA 연구 수행
Outcome
NASA-HTTP 실험에서 기본 HPA 대비 평균 지연 50.34% 감소, SLO 만족률 93.86% → 97.24%. 자원 사용은 약 9.5% 증가.
LARE-HPA framework architecture across Kubernetes master and worker layers
LARE-HPA 프레임워크 아키텍처

부하가 달라져도 고정된 Threshold와 Cool Down Time

CPU 기반 HPA는 평균 CPU 사용률과 설정한 Threshold의 비율로 필요한 Replica 수를 계산합니다. scale-in 시에는 안정화 구간의 권고값을 고려해 일시적인 부하 감소만으로 파드를 줄이지 않도록 합니다. 이 연구는 Threshold와 Cool Down Time을 고정했을 때 나타나는 응답 지연과 자원 사용의 차이에서 출발했습니다.

Threshold를 낮추면 scale-out이 빨라져 응답 지연이 줄지만 CPU 할당량은 늘어납니다. 원문의 고정 Threshold 비교에서 60% 설정의 평균 할당량은 1,280.0 millicore, 90% 설정은 1,046.15 millicore로 약 22% 차이가 났습니다. Cool Down Time도 길게 두면 파드가 불필요하게 남고, 짧게 두면 줄인 파드를 곧바로 다시 늘리는 flapping이 발생할 수 있습니다.

요청이 꾸준히 늘 때와 짧게 급증할 때 필요한 설정은 다릅니다. 신규 애플리케이션은 분석할 이력도 부족해 적절한 값을 미리 정하기 어려웠습니다. 실행 중 쌓이는 요청 데이터를 바탕으로 Threshold와 Cool Down Time을 함께 조정하도록 설계했습니다.

관측값을 두 조정 경로로 나눈 컨트롤러

kube-state-metrics의 시스템 지표와 Istio의 요청 지표를 Prometheus에 모아 사용했습니다. 평균 CPU 사용률은 현재 필요한 Replica 수를 계산하는 데, 요청 이력은 앞으로 적용할 Threshold와 Cool Down Time을 조정하는 데 사용합니다.

Forecaster와 Threshold Coordinator는 예측과 최근 요청 변화량으로 CPU Threshold를 정합니다. CDT Decider는 관측된 요청의 회귀 추세와 잔차를 확인해 대기 횟수를 정합니다. 두 경로의 결과를 AutoScaler에서 합쳐 확장과 축소를 판단했습니다.

컨트롤러는 애플리케이션과 분리된 하나의 파드로 실행하고 구성 요소를 병렬 처리했습니다. 대상 서비스의 코드를 수정하지 않고 Deployment의 Replica 수를 Kubernetes API로 갱신하도록 구성했습니다.

사전 학습 없이 관측값으로 갱신하는 Online ARIMA

신규 애플리케이션은 충분한 학습 데이터가 쌓이기 전에도 부하 변화에 대응해야 합니다. 사전에 수집한 데이터로 학습하는 Bi-LSTM 대신, 요청이 들어올 때마다 모델을 갱신하는 예측 방식을 검토했습니다.

ARIMA는 과거 관측값의 자기회귀 항과 과거 오차의 이동평균 항을 결합하고, 차분으로 시계열의 수준 변화를 다룹니다. 온라인 학습에서는 직접 관찰하기 어려운 오차 항을 더 긴 자기회귀 모델로 근사해, 실행 중 들어오는 관측값으로 계수를 갱신할 수 있도록 했습니다.

계수 갱신에는 Online Newton-Step을 사용했습니다. 새 요청량을 예측하고 실제 관측값이 들어오면 예측 손실을 바탕으로 계수를 조정한 뒤 다음 구간을 예측합니다. 이렇게 갱신한 요청량을 Threshold Coordinator로 전달하므로, 실행 전에 학습을 마쳐야 하는 모델과 달리 서비스 운영 중 쌓이는 이력을 바로 활용합니다.

변동성이 클수록 낮아지는 CPU Threshold

요청량이 다른 서비스에 같은 증가분을 적용하면 부하의 의미도 달라집니다. Threshold Coordinator는 최근 요청의 절대 변화량과 다음 구간 예측값이 현재 관측값에서 얼마나 달라지는지를 합쳐 변동성 신호를 구합니다. 실험에서는 최근 10개 구간을 사용해, 예측이 빗나가더라도 실제로 관측한 변화가 판단에 남도록 했습니다.

z-score는 최근 변동값에서 과거 평균을 뺀 뒤 과거 표준편차로 나눈 값입니다. 0보다 크면 평소보다 변동이 큰 상태이고, 0보다 작으면 더 안정적인 상태입니다. 서로 다른 요청량을 가진 서비스도 절대 증가분 대신 각자의 이력에 대한 상대적인 변동으로 비교할 수 있습니다.

변동성이 크면 Threshold를 낮춰 scale-out을 앞당기고, 안정적이면 높여 기존 파드를 더 활용합니다. z-score를 역방향 sigmoid에 넣고 최소와 최대 Threshold 사이로 변환해, 입력값이 극단적이어도 설정 범위를 벗어나지 않도록 했습니다.

실험 범위인 50~95%에서 z-score가 0일 때의 계산값은 중간인 72.5%입니다. 양의 값이 커질수록 50% 쪽으로, 음의 값이 작아질수록 95% 쪽으로 이동합니다. 서비스마다 요청 규모는 달라도 각자의 이력에 대한 상대적 변동에 같은 조정 규칙을 적용할 수 있습니다.

요청 추세에 따라 조정하는 Cool Down Time

최근 요청량에 선형회귀를 적용해 요청이 늘어나는지 줄어드는지 파악했습니다. 상승 추세에서는 잠깐의 부하 감소에 파드를 줄이지 않도록 Cool Down Time을 늘립니다. 하강 추세에서는 시간을 줄여 남는 자원을 더 일찍 반환합니다.

추세 분석에는 최근 60개 관측값을 사용했습니다. 시간에 대한 회귀선의 기울기를 증가, 감소, 변화 없음으로 구분하고 각각 +1, −1, 0으로 나타냅니다. 기울기의 크기만큼 대기 시간을 한꺼번에 바꾸는 대신, 이 방향값으로 CDT Counter를 한 단계씩 조정합니다.

회귀선만 보고 Cool Down Time을 바꾸지 않도록 잔차도 확인했습니다. 잔차는 관측값과 회귀선의 차이입니다. Durbin–Watson 통계량은 0~4 범위이며, 2에 가까울수록 잔차의 1차 자기상관이 약한 것으로 해석합니다.

설정한 허용 구간 1.616~2.384는 관측값 60개와 설명변수인 시간 1개(절편 제외)에 대한 5% 임계값 표에 대응합니다. 표의 dU는 1.616이며, 음의 자기상관도 함께 판단하기 위한 반대 경계는 4−dU=2.384입니다.

이 구간에 들어올 때만 요청 추세에 따라 CDT Counter를 한 단계 조정했습니다. 상승 추세에서는 늘리고 하강 추세에서는 줄이며, 구간을 벗어나면 조정을 보류했습니다.

scale-out은 즉시 요청하고, scale-in은 조건 확인

필요한 Replica 수는 현재 Replica 수에 평균 CPU 사용률과 조정한 Threshold의 비율을 곱한 뒤 올림해 계산합니다. 그 결과를 설정한 최소와 최대 Replica 범위 안으로 제한합니다. 요청 예측값으로 파드 수를 직접 정하는 대신, 예측으로 조정한 Threshold를 현재 CPU 지표에 적용하는 구조입니다.

CDT Counter는 초 단위의 시간값이 아니라 지표 수집 주기를 몇 번 기다릴지 나타냅니다. CDTdesired는 목표 대기 횟수이고 CDTcurrent는 남은 횟수입니다. 매 주기 남은 횟수를 하나 줄이고, scale-in이 실제로 수행되면 목표값으로 다시 설정해 다음 축소까지 기다립니다.

목표 Replica 수가 현재보다 크면 Cool Down Time을 기다리지 않고 scale-out을 요청합니다. 반대로 줄일 때는 남은 CDT Counter가 0이고 CDT Decider가 반환한 추세 방향이 상승(+1)이 아닌지 확인합니다. 상승 추세로 판정한 구간에서는 CPU 사용률이 잠깐 낮아져도 파드를 유지해, 곧 다시 필요한 자원을 먼저 해제하지 않도록 했습니다.

  1. 요청 변동성을 Threshold로 변환

    부하 예측과 최근 요청 변화량으로 변동성을 구합니다. 과거 대비 상대적인 크기를 계산해 설정한 CPU Threshold 범위에 매핑합니다.

  2. 추세에 따라 Cool Down Time 조정

    최근 요청의 회귀 추세와 잔차의 자기상관을 확인합니다. 판단 조건을 만족하면 상승 추세에서 CDT Counter를 늘리고, 하강 추세에서 줄입니다.

  3. 필요한 Replica 수 계산

    현재 Replica 수 × 현재 평균 CPU 사용률 ÷ 조정한 Threshold를 올림하고, 설정한 최소와 최대 Replica 범위로 제한합니다.

  4. scale-out과 scale-in 조건 확인

    scale-out은 즉시 요청합니다. scale-in은 CDT Counter가 끝나고 요청 추세가 상승하지 않을 때만 실행한 뒤 카운터를 갱신합니다.

LARE-HPA 스케일링 판단 순서 · 원문 알고리즘 1~3 요약

NASA-HTTP 부하와 세 비교군으로 구성한 실험

Intel Core i9-10900K, 10 CPU, 32GiB 메모리 환경에 PHP 삼각함수 연산 서비스를 배치했습니다. 클러스터 외부에서 NASA-HTTP의 실제 요청 패턴을 재현해, 변동이 큰 구간에서 각 방식이 어떻게 대응하는지 비교했습니다. 응답시간 1초를 SLO 기준으로 두었습니다.

비교군은 기본 HPA, 사전 학습 기반 Bi-LSTM, 온라인 베이지안 최적화를 사용하는 Microscaler(Online-BO)입니다. Bi-LSTM은 워크로드의 50%로 학습하고 파드당 요청 처리 한도를 50으로 설정했습니다. LARE-HPA는 Threshold 관측 구간 10개, CDT 관측 구간 60개, Threshold 범위 50~95%를 사용했습니다.

응답 지연의 평균과 백분위, SLO 만족률, 평균 CPU 할당량을 함께 측정했습니다. 파드를 더 빨리 준비하면 지연이 낮아질 수 있으므로, 성능 개선과 추가 자원 할당을 같은 비교에서 확인했습니다.

50.34% 낮아진 평균 지연과 97.24%까지 높아진 SLO 만족률

평균 지연은 HPA의 562.8ms에서 279.5ms로 50.34% 줄었고, Bi-LSTM과 Online-BO 대비로도 각각 39.52%, 46.18% 낮았습니다. SLO 만족률은 93.86%에서 97.24%로 3.38%p 높아졌습니다. 동일한 요청 이력에서 지연과 SLO를 함께 비교한 결과입니다.

평균값뿐 아니라 응답 분포도 개선됐습니다. 50번째 백분위 지연은 528.6ms에서 255.5ms로, 95번째 백분위는 1,189.0ms에서 600.1ms로 낮아졌습니다. 빠르게 응답한 요청만의 평균이 아니라 중앙 구간과 느린 요청 구간에서도 차이를 확인했습니다.

NASA-HTTP · PHP 연산 서비스 · SLO 1초. 원문 표 2의 측정값.
기법평균 지연 (ms)SLO 만족률자원 (millicore)
HPA562.893.86%582.76
LARE-HPA279.597.24%638.13
Bi-LSTM462.193.06%875.85
Online-BO519.395.15%1,274.75

응답 품질 개선에 필요한 자원과 연구 성과

평균 CPU 할당량은 기본 HPA의 582.76 millicore에서 LARE-HPA의 638.13 millicore로 약 9.5% 늘었습니다. 같은 실험에서 Bi-LSTM은 875.85 millicore, Online-BO는 1,274.75 millicore를 할당했습니다. LARE-HPA는 기본 HPA보다 자원을 더 사용하면서 지연을 줄였지만, 두 예측 및 최적화 비교군보다는 적게 할당했습니다.

원문은 Bi-LSTM의 급변 구간 대응 저하를 학습 패턴의 한계로, Online-BO의 과다 할당과 늦은 대응을 scaling trigger의 특성으로 해석했습니다. LARE-HPA는 사전 학습 없이 예측을 갱신하고, 현재 CPU와 요청 변동을 함께 보면서 확장 시점과 자원 반환 시점을 조정한 결과입니다.

제가 제1저자로 수행한 연구로, SCIE급 인정 최상위 학회 ICSOC 2024에서 Distinguished Paper(Top 6)로 선정됐습니다. 특허 출원과 소프트웨어 저작권 등록을 완료했으며, 코드는 오픈소스로 공개했습니다.

특허 출원(10-2024-0128875) 및 소프트웨어 저작권 등록(C-2024-043831).