Cost-Efficient Resource Allocation Technique using Bayesian Optimization in Serverless Environment
Korea Computer Congress (KCC 2024)
Summary
메모리와 vCPU를 독립적으로 지정할 수 있는 서버리스 환경에서는 메모리만 조정하면 더 저렴한 조합을 놓칠 수 있습니다. 플랫폼에서 지원하는 조합 안에서 두 자원을 함께 탐색했습니다.
- Role
- 제2저자서버리스 자원 할당 연구
- Outcome
- GCF의 유효 조합 36개 중 CPU 집약 함수와 메모리 집약 함수의 최적 설정을 각각 17회차, 13회차에 탐색. CPU 집약 함수에서 최저 자원 설정보다 비용 약 9.43% 감소.
메모리만 조정해서는 찾기 어려운 서버리스 자원 조합
서버리스 함수는 인프라를 직접 관리하는 부담을 줄여주지만, 함수에 할당할 메모리와 vCPU는 여전히 성능과 비용을 좌우합니다. 자원을 과도하게 할당하면 비용이 늘고, 부족하게 할당하면 실행이 느려질 수 있습니다. 기존 연구 COSE는 베이지안 최적화로 실행시간과 비용을 예측해 메모리 설정을 찾았습니다.
이 연구는 메모리와 vCPU를 독립적으로 지정할 수 있는 환경을 대상으로 했습니다. 논문에서 다룬 AWS Lambda는 메모리에 비례해 vCPU가 늘지만, Google Cloud Functions와 Knative는 두 값을 따로 지정할 수 있었습니다. 이런 환경에서는 메모리만 조정하는 COSE가 더 저렴한 자원 조합을 놓칠 수 있어 탐색 변수를 확장했습니다.
CPU와 메모리를 함께 탐색하는 베이지안 최적화
COSE의 탐색 대상을 메모리 하나에서 메모리와 vCPU 조합으로 넓혔습니다. 두 축을 아주 작은 단위로 움직이면 시험할 후보가 많아지지만 성능 차이는 작을 수 있습니다. 플랫폼이 허용하는 조합을 이산 공간으로 정의해, 의미 있는 자원 설정 사이에서 탐색하도록 했습니다.
메모리와 vCPU를 각각 선택할 수 있어도 모든 조합을 실행할 수 있는 것은 아닙니다. 실험 당시 GCF의 자원 제약을 만족하는 조합만 탐색 공간에 넣었습니다. Config Mapper는 서로 다른 단위의 입력을 정규화한 뒤 가장 가까운 유효 조합을 선택해, 플랫폼이 허용하지 않는 설정을 제안하지 않도록 했습니다.
대체 모델(surrogate model)은 측정한 자원 설정과 비용으로 아직 시험하지 않은 조합의 결과를 확률적으로 추정합니다. 단순히 지금까지 가장 저렴했던 설정을 반복하지 않고, 다른 조합을 측정했을 때 얻을 개선 가능성을 판단하는 바탕입니다.
획득 함수 EI(Expected Improvement)는 이 추정으로부터 현재 최선의 비용보다 얼마나 개선될지를 계산해 다음 후보를 고릅니다. 비용이 낮을 것으로 예상되는 정도와 아직 충분히 확인하지 않은 조합의 가능성을 함께 반영하므로, 모든 후보를 정해진 순서로 시험하는 방식과 다릅니다.
함수 실행 결과로 다음 자원 설정을 고르는 과정
탐색은 후보 선택, 결과 확인, 모델 갱신을 반복합니다. 이 논문의 평가에서는 먼저 자원 조합별 함수 실행시간과 비용을 측정한 뒤, 그 벤치마크 결과를 목적함수로 사용해 베이지안 최적화를 실행했습니다. 탐색 회차는 새 후보를 선택해 측정값을 모델에 반영한 순서이며, 각 회차의 함수 호출 횟수와는 구분합니다.
자원을 늘리면 단가는 높아지지만 함수 실행시간이 짧아질 수 있습니다. 따라서 최소 메모리와 최소 vCPU를 고르는 것만으로는 최소 비용을 보장할 수 없습니다. 설정별 실행시간을 함께 측정해 실제 목적함수의 값을 비교했습니다.
EI가 최대 EI의 5% 미만으로 줄어들면 추가 개선 여지가 작다고 판단해 탐색을 멈추고, 확인한 후보 중 비용이 가장 낮은 설정을 선택합니다. 본 실험은 비용만 최소화했습니다. 실행시간까지 함께 고려하려면 목적함수를 비용과 실행시간의 곱으로 바꾸는 방안을 제시했습니다.
최저 자원 설정보다 약 9.43% 낮아진 CPU 집약 함수 비용
실험 당시 Google Cloud Functions에서 허용한 자원 조합 36가지를 대상으로 CPU 집약 함수와 메모리 집약 함수를 각각 10회 측정했습니다. 이 평균 측정값을 사용한 탐색에서 CPU 집약 함수는 17회차, 메모리 집약 함수는 13회차에 최적 설정을 찾았습니다. 원문은 CPU 집약 함수에서 최저 자원 설정 대비 약 9.43% 낮은 비용을 보고했습니다.
CPU 집약 함수의 최저 비용 조합은 메모리 512MiB와 0.167 vCPU이며, 평균 실행시간은 5.459초였습니다. 메모리 집약 함수는 128MiB와 0.167 vCPU에서 평균 1.173초를 기록했습니다. 원문은 이 벤치마크의 부하가 작아 최저 메모리에서도 실행할 수 있었고, 메모리 확장의 효과가 두드러지지 않았다고 설명했습니다.
이 실험은 비용 최소화를 목표로 했고 지연시간 제한은 두지 않았습니다. CPU를 늘려 실행시간이 짧아지면 단가가 높아도 총비용이 줄 수 있다는 점을 확인했으며, 응답시간 SLO를 지키는 최적화와 다른 플랫폼에서의 검증은 후속 과제로 구분했습니다.