Skip to content
← 논문으로
ICSOC 2024 2024

Optimizing Traffic Allocation for Multi-replica Microservice Deployments in Edge Cloud

Hokun Park, Hyungjun Kim, Donggyun Kim, Gyujeong Lim, Heonchang Yu

22nd International Conference on Service-Oriented Computing

Summary

파드를 가까이 배치하는 것만으로는 느린 요청을 줄이기 어려웠습니다. LARP로 통신 지연을 고려해 배치하고, LATA로 부하 균형을 유지하며 경로별 요청 비율을 조정했습니다.

Role
제3저자알고리즘 및 실험 설계 기여
Outcome
DAG의 고지연 Scenario B에서 기본 Kubernetes 대비 P99 67~81% 감소. 기본 배치에 LATA만 적용한 비교도 수행.
Overall system architecture: replica placement, traffic allocator, and monitoring modules
전체 시스템 아키텍처

파드 수가 늘어날수록 복잡해지는 통신 경로

호출하는 컴포넌트와 호출받는 컴포넌트에 파드가 각각 A개와 B개 있으면 통신 경로는 A×B개로 늘어납니다. 파드가 놓인 노드에 따라 각 경로의 지연도 다릅니다. 컴포넌트당 파드 하나를 가정한 배치만으로는 이 경로들의 비용 차이까지 반영하기 어려웠습니다.

멀리 떨어진 노드 사이로 요청을 보내면 통신 지연이 늘지만, 가까운 파드에만 몰아주면 과부하가 생깁니다. 실험에서 노드 간 지연을 2배로 늘리자 기본 방식의 평균 응답시간은 33~44%, P99는 57~97% 증가했습니다. 반대로 가장 가까운 파드에만 요청을 보내자 100→300 RPS 구간에서 평균 응답시간이 11ms→4,890ms, P99가 22ms→12,250ms로 증가했습니다.

OptTraffic은 같은 노드의 파드에 먼저 요청을 보내고, 남은 요청을 다른 노드에 나눠 부하를 맞춥니다. 하지만 이 과정에서도 가장 느린 통신 경로는 남았습니다. 비교 실험에서 평균 응답시간은 35% 줄었지만 P99 개선은 6%에 그쳐, 분배 비율을 정할 때 경로별 지연을 반영하고자 했습니다.

파드를 배치할 위치부터 요청을 나눠 보낼 경로까지

먼저 LARP로 서로 통신하는 파드를 가까운 노드에 배치했습니다. 실행 중에는 LATA가 링크별 요청 비율을 계산해, 통신 지연을 줄이면서 특정 파드에 부하가 몰리지 않도록 했습니다. 배치와 요청 분배를 각각 조정하는 두 단계로 구성했습니다.

blackbox-exporter의 ping 측정으로 노드 간 지연을 15초마다 수집하고 Prometheus에 저장했습니다. 요청 분배기는 Istio에서 컴포넌트의 호출 관계를 DAG로 구성한 뒤, 호출하는 쪽과 호출받는 쪽의 쌍마다 비율을 계산합니다.

LARP: 자원 여유와 통신 지연을 함께 고려한 파드 배치

컴포넌트별 평균 Replica 수를 기준으로 그룹을 만들고 파드를 차례로 나눠 담았습니다. A가 3개, B가 2개라면 그룹 2개를 만듭니다. 서로 호출하는 파드를 같은 그룹으로 묶어 노드 간 통신을 줄이되, 그룹은 여러 노드에 분산해 한 노드에 모든 파드가 몰리지 않도록 했습니다.

그룹은 서로 통신할 파드를 묶는 배치 단위이며 전체 애플리케이션을 한 노드에 고정하는 단위는 아닙니다. 컴포넌트의 Replica 수가 다르더라도 그룹별 자원 요구량을 합산해 노드의 남은 자원과 비교하므로, 통신 지연과 배치 가능성을 함께 확인합니다.

그룹이 배치될 노드 사이의 총지연을 줄이는 정수계획 문제로 정의했습니다. 모든 배치를 탐색하는 대신 자원 요구량이 큰 그룹부터 배치하고, 나머지를 자원이 충분하면서 앞서 선택한 노드와 지연이 작은 곳에 배치하는 탐욕적 근사를 적용했습니다. 최적해를 보장하기보다 실행 가능한 시간 안에 배치를 구하는 쪽을 택했습니다.

LATA: 통신 지연을 비용으로 반영한 요청 분배

LATA가 정하는 것은 어느 파드에서 어느 파드로 요청을 얼마나 보낼지입니다. 호출하는 파드를 공급 정점, 호출받는 파드를 수요 정점으로 두고, 둘을 잇는 링크에 용량과 비용을 부여한 Minimum-Cost Flow(MCF) 문제로 구성했습니다.

링크 비용은 측정한 노드 간 지연입니다. network simplex로 각 링크의 요청 비율과 지연을 곱한 값의 합을 최소화했습니다. 느린 링크는 같은 요청량에도 비용이 더 크므로, 부하 균형을 지키는 범위에서 가까운 경로를 더 활용하도록 한 목적함수입니다.

통신 비용의 합을 줄이는 것과 가장 오래 걸리는 요청의 지연을 줄이는 것은 다릅니다. 느린 링크를 일부 사용해도 전체 비용은 최소가 될 수 있습니다. 실험에서 평균 응답시간과 P99를 함께 비교하고, 후속 HEART에서 느린 링크를 먼저 걸러낸 이유도 이 차이에 있습니다.

통신 지연을 줄이면서도 지켜야 할 파드 간 부하 균형

부하를 나중에 보정하면 느린 경로를 다시 사용해야 할 수 있습니다. LATA는 각 송신 파드가 요청의 100%를 전달하고, 수신 파드는 정해진 균등 비율을 받도록 제약조건을 뒀습니다. 이 조건을 지키는 분배 중 통신 비용이 가장 작은 해를 선택했습니다.

상위 컴포넌트에 A개, 하위 컴포넌트에 B개 Replica가 있다면 각 송신 파드는 자기 요청의 100%를 보내고, 각 수신 파드는 전체 송신량의 1/B을 받습니다. 모든 파드를 같은 비율로 연결해야 한다는 뜻은 아닙니다. 수신량의 균형은 유지하면서 개별 링크의 비율을 바꿀 수 있도록 한 제약입니다.

LARP가 통신에 유리한 최초 배치를 정하더라도 실행 중 Replica 수와 호출 관계를 바탕으로 요청 분배를 다시 계산해야 합니다. 그래서 배치 결정과 링크별 분배를 별도 단계로 두고, 기본 Kubernetes 배치에 LATA만 적용한 경우도 비교했습니다.

통신 지연과 요청 부하를 나눠 설정한 비교 실험

마스터 1대와 워커 4대(각 4코어, 8GB)로 클러스터를 구성했습니다. Linux tc로 노드 간 지연을 설정해 지리적으로 분산된 edge cloud를 모사했고, Scenario B의 지연은 Scenario A의 2배로 두었습니다. Istio Bookinfo와 A→E를 순차 호출하는 FastAPI 기반 DAG에 컴포넌트당 3~5개 Replica를 배치했습니다. wrk2로 부하를 주고 10회 측정한 평균을 기본 Kubernetes, Localization, OptTraffic과 비교했습니다.

두 Scenario에서 노드 자원과 애플리케이션 구성은 유지하고 통신 지연만 바꿨습니다. 각 조건의 요청 부하를 높여, 처리량 증가에 따른 병목과 노드 간 지연의 영향을 구분해 비교했습니다.

전체 배치와 분배를 함께 적용한 경우, 기본 배치에 LATA만 적용한 경우를 나눴습니다. 같은 서비스와 부하에서 이 두 조건을 비교해 배치 알고리즘과 요청 분배가 각각 어떤 역할을 하는지 확인했습니다.

통신 지연이 큰 DAG 환경에서 67~81% 줄어든 P99 지연

OptTraffic이 통신을 줄이기 유리한 Replica 비율을 실험 조건으로 선택했습니다. 모든 응답 구간에서 제안 기법이 앞선 것은 아닙니다. DAG Scenario B의 하위 65% 구간에서는 OptTraffic이 더 빨랐지만, 제안 기법은 느린 요청이 모인 꼬리 구간과 평균 응답시간을 개선했습니다.

세 비교군 대비 P99는 평균 32%, 최대 81% 줄었습니다. 통신 지연이 큰 Bookinfo Scenario B에서는 OptTraffic 대비 평균 25% 감소했습니다. DAG Scenario B에서는 Localization 대비 48~72%, OptTraffic 대비 43~46%, 기본 Kubernetes 대비 67~81% 낮았습니다. 기본 Kubernetes 배치에 LATA만 적용한 경우에도 두 번째로 좋은 성능을 보여, 요청 분배가 배치 알고리즘과 독립적으로 기여함을 확인했습니다.

논문은 SCIE급 인정 최상위 학회 ICSOC 2024(LNCS 15404)에 게재됐습니다. 저는 제3저자로 알고리즘과 실험 설계에 기여했습니다. 파드 배치와 요청 분배를 함께 다룬 이 접근은 이후 이기종 클러스터를 대상으로 한 HEART(IEEE CLOUD 2025)로 이어졌습니다.

Bookinfo와 DAG의 고지연 Scenario B에서 비교한 P99 감소율
실험 조건비교군P99 감소
Bookinfo · Scenario BOptTraffic평균 25%
DAG · Scenario BLocalization48~72%
DAG · Scenario BOptTraffic43~46%
DAG · Scenario B기본 Kubernetes67~81%