Dynamic Replica Replacement Technique Based on Deep Reinforcement Learning for Cost-Effective Cluster Utilization in Heterogeneous Kubernetes Environment
Korea Computer Congress (KCC 2025)
Summary
전체 Replica 수를 유지하면서 성능과 비용이 다른 노드 사이의 배치를 조정했습니다. DQN이 응답 지연과 CPU 사용량, 노드 비용을 함께 반영해 재배치하도록 구성했습니다.
- Role
- 제3저자학부 연구생 멘토링
- Outcome
- 워커 3대의 정적 배치 대비 평균과 P95 지연을 비슷하게 유지하며, 활성 시간 기반 비용 모델에서 약 20% 절감.
같은 파드 수라도 배치에 따라 달라지는 성능과 비용
성능과 시간당 비용이 다른 노드에서는 같은 수의 Replica를 실행해도 배치에 따라 응답 지연과 비용이 달라집니다. CPU 사용률뿐 아니라 지연과 노드 비용을 함께 고려해 배치를 조정하고자 했습니다.
전체 Replica 수는 유지하고 노드별 분포만 실시간으로 바꾸는 동적 Replica 재배치를 연구했습니다. 처리 성능을 유지하면서 비용을 줄이는 것이 목표였습니다.
Replica 수를 유지하며 배치를 조정하는 DQN
Deep Q-Network(DQN) 에이전트가 현재 클러스터 상태를 보고 다음 배치를 선택하도록 했습니다. 에이전트가 관찰하는 state는 워커별 CPU 사용률, 평균 응답 지연, Replica 수입니다. 워커 3대에서는 이 세 값을 각각 사용해 9차원 상태를 구성합니다.
action은 노드별 Replica 수를 −1, 0, +1로 조정하는 벡터입니다. 벡터의 합을 0으로 제한해 한 워커에서 줄인 만큼 다른 워커에 추가하도록 했습니다. 부하에 따라 전체 파드 수를 늘리는 대신, 같은 수의 파드를 어느 노드에 둘지 학습하는 문제로 정의했습니다.
배치를 바꾼 뒤에는 새 응답시간과 CPU 사용률, Replica 수를 수집해 다음 state와 reward를 구성합니다. reward는 평균 HTTP 응답시간, CPU 사용량과 Replica 수에 노드별 단가를 곱한 비용 항목을 함께 반영합니다. 이 항목의 가중합에 음의 부호를 적용해, 지연이나 자원 부담이 커지는 배치에 낮은 보상을 주도록 했습니다.
이산적인 재배치 행동을 선택하는 데 DQN을 적용하고, stable-baselines3의 MLP 정책망을 사용했습니다. ε-greedy 탐험, 타깃 네트워크, 경험 재플레이를 통해 학습하도록 구성했습니다.
ε-greedy는 현재 가장 좋은 행동을 선택하면서도 일부 행동을 탐색하게 합니다. 경험 재플레이는 이전 상태와 행동, 보상, 다음 상태를 다시 학습에 사용하고, 타깃 네트워크는 학습 목표가 매번 함께 바뀌는 영향을 줄입니다. 연속된 관측값을 그대로 따라가는 대신 과거 경험을 재사용하도록 구성했습니다.
고정된 Replica 수에서 동적 배치와 정적 배치를 비교
텐센트 클라우드에 마스터 1대와 클럭이 서로 다른 워커 3대(시간당 $0.15, $0.31, $0.12)로 이기종 클러스터를 만들었습니다. CPU 집약적인 PHP 행렬곱 서비스에 vegeta로 15초 간격 부하를 주며 Prometheus와 Istio로 지표를 수집했습니다. 비교군은 워커마다 Replica를 1개씩 고정한 정적 배치입니다. 제안 기법도 총 Replica 3개를 유지해, 자원 총량을 늘리지 않고 분포를 바꾸는 효과를 비교했습니다.
비용은 각 워커의 활성 시간에 시간당 단가를 곱한 뒤 합산하는 모델로 계산했습니다. 응답시간은 평균과 P95를 함께 비교해, 비용을 낮춘 배치가 느린 요청의 지연까지 유지하는지 살폈습니다.
정적 배치와 비슷한 응답 지연, 비용 모델상 약 20% 절감
DQN 기반 재배치는 정적 배치와 비슷한 평균과 P95 지연을 유지하면서 비용 모델상 약 20%를 절감했습니다. 총 Replica 수를 그대로 두고도 노드별 분포에 따라 성능과 비용의 조합이 달라졌습니다.
원문의 비용표에서는 워커 3의 모델상 활성 시간이 크게 줄고 워커 1, 2에 배치가 집중됐습니다. 워커 3은 시간당 단가가 가장 낮았지만 적게 사용됐으므로, 가장 저렴한 노드에 몰아주는 방식과는 다른 결과입니다. 노드별 처리 성능과 비용을 함께 반영한 재배치로 해석했습니다.
이 비교에서는 Replica를 추가하지 않고도 노드별 배치 비율을 바꿔 성능을 유지하며 비용을 줄일 수 있었습니다. 저는 학부 연구생을 지도하며 공동저자로 참여했습니다.