Skip to content
← 작업으로
Platform Engineering · CI/CD

E2E QA Automation

  • Test Automation
  • Cross-app Pipeline

Summary

Google Sheets와 Jira 연동 이후에도 남아 있던 반복 검수를 줄이기 위해 E2E 인프라를 처음부터 설계하고 구축했습니다. 기본 업무 흐름을 자동 검증하고, 테스트 서버 배포 전에도 실행할 수 있도록 PR별 k3s 격리 환경을 구축했습니다.

Role
InitiatorDeveloper (POQA)
Outcome
1인 QA1일당 검증 티켓 +31%배포 후 버그 비율 7.0% → 3.9%
E2E 검증 설계 및 자동 실행 흐름
E2E 검증 설계 및 자동 실행 흐름

반복적인 기본 기능 QA에 묶여있던 업무 비효율

입사 초반에는 저를 포함한 PO 3명이 기능 검수를 나누어 맡았습니다. 하나의 릴리즈 버전마다 QA에만 보통 1주, 길게는 2주가 걸렸습니다. 검수 항목은 담당자의 기억과 경험에 의존해 정했고, 로그인, 조회, 등록, 수정 같은 기본 동작도 매번 직접 확인하다 보니 많은 시간이 들었습니다.

하나의 기능이 바뀌더라도 다른 기능과 업무에 미치는 영향 범위는 제각각이었습니다. 검수에 많은 시간을 들여도 그 영향을 모두 확인하기 어려웠고, 배포 후 긴급 패치도 잦았습니다. 기본 기능 QA를 반복하느라 신규 기능과 변경 기능의 예외를 살펴볼 시간이 부족했습니다. 반복 검증에 드는 시간을 줄이고, 새로 추가되거나 바뀐 기능을 충분히 검수할 수 있도록 업무 방식을 바꿀 필요가 있었습니다.

Google Sheets에서 작성하고 Jira로 이어지는 QA 업무 관리

처음에는 QA 업무를 한곳에서 관리하기 위해 Google Sheets와 Jira를 연동했습니다. Google Sheets에서 버그 내용을 작성하면 Apps Script가 자동으로 Jira API를 호출해, 작성한 내용과 TC 대상 화면 위치, 액션, 기댓값, 권한 등을 함께 기재해 이슈를 생성하도록 했습니다.

이전에는 QA 중 버그가 발생할 때마다 검수한 기능과 화면, 실제 결과(AS-IS), 기대 결과(TO-BE)를 Jira에 수기로 작성해야 했습니다. Google Sheets에 작성한 내용을 Jira 티켓으로 전달하도록 바꾸면서, 두 도구를 반복해서 오가고 같은 내용을 다시 적는 비효율을 줄였습니다. Jira API로 티켓 상태를 실시간 폴링해 시트에 동기화하고, 내용 요약도 함께 표시했습니다. 이를 통해 개발자가 대응 중인 티켓의 진행 상태까지 Google Sheets 한곳에서 확인하고 관리할 수 있게 되었습니다.

Google Sheets에서 버그 설명과 테스트 케이스를 입력해 Jira 티켓을 생성하는 화면. 작성자와 담당자의 이름과 프로필만 블러 처리했습니다.
Google Sheets와 Jira 연동 기반 QA 관리

검수 대상과 버그 수정 상태를 한곳에서 관리할 수 있게 됐지만, 다음 배포에서도 같은 기본 기능을 다시 수기로 검수해야 했습니다. 도구 연동으로 중복 입력은 줄였어도, 기본 기능을 검증하는 데 드는 시간은 줄이지 못했습니다. 새 기능의 정책과 예외를 살펴볼 시간을 확보하려면, 반복적인 기본 기능 QA도 자동화할 필요가 있었습니다.

반복적인 QA 자동화를 위한 E2E 테스트 인프라 0→1 구축하기

반복되는 기본 기능은 E2E로 검증하고, 신규 기능의 정책과 예외를 직접 살펴볼 시간을 확보했습니다.

기본 기능 QA를 테스트 코드로 반복 실행할 수 있도록 E2E 인프라를 직접 구축했습니다. 로그인, 조회, 저장, 수정 같은 기본 동작과 계약, 스케줄, 수거처럼 업무에 필요한 흐름을 자동화 범위로 정했습니다. 테스트 케이스는 기존 TC와 Jira의 과거 버그, 변경된 코드와 연결된 업무를 함께 살펴 선정했습니다. 새로운 정책과 예외처럼 사람의 판단이 필요한 부분은 직접 검수하도록 역할을 나눴습니다.

자동화 기반이 없었기 때문에 테스트 코드와 실행 구조를 처음부터 설계했습니다. Playwright와 TypeScript로 로그인, 화면 이동, 입력, 테스트 데이터 생성과 정리에 필요한 공통 코드를 만들었습니다. 시나리오 실행 순서와 실패 처리, CI 실행과 결과 공유를 연결해 다음 릴리즈에서도 같은 테스트를 다시 실행할 수 있도록 했습니다.

각기 다른 플랫폼의 사용자 업무를 하나의 E2E 검증 흐름으로 통합

플랫폼은 계약과 스케줄, 청구 등을 관리하는 Admin, 배정된 스케줄을 수행하는 Driver 앱, 고객사가 사용하는 Customer 앱으로 나뉩니다. E2E 테스트는 핵심 업무가 이어지는 Admin과 Driver부터 구현했습니다. 각 화면이 따로 정상 동작하는지만 확인해서는 전체 업무 흐름을 검증하기 어려웠습니다. 한 플랫폼에서 만든 데이터가 다른 플랫폼의 다음 업무까지 올바르게 이어지는지도 확인해야 했습니다.

Admin, Customer, Driver의 로그인 상태를 역할별로 분리하고 테스트에서 재사용하도록 했습니다. Admin과 Driver를 오가는 업무는 Playwright의 프로젝트 의존성과 teardown을 활용하여 준비, 수행, 검증, 정리 순서로 실행되도록 구성했습니다. Admin에서 만든 데이터가 Driver의 현장 업무까지 올바르게 이어지는지도 함께 검증했습니다.

수거를 마친 뒤의 청구도 같은 흐름에서 검증했습니다. Admin에서 수행 이력과 작업 목록을 확인한 뒤, 완료된 작업으로 청구서를 생성했습니다. 계약 조건과 작업량을 바탕으로 테스트 코드에서 예상 금액을 별도로 계산하고, 청구서의 공급가액, 부가세, 총 청구 금액과 일치하는지 확인했습니다. 저장 결과는 화면의 성공 알림만으로 판단하지 않고, API로 다시 조회하여 상태와 금액을 확인했습니다.

동일한 조건에서 재사용할 수 있는 E2E 자동화 환경

처음에는 테스트 서버에 있는 데이터를 이용해 E2E 테스트를 실행했습니다. 그런데 기존 데이터가 바뀌면 기능에 문제가 없어도 테스트가 실패할 수 있었습니다. 이를 해결하기 위해 실행할 때마다 필요한 계약과 스케줄을 새로 만들고, 생성한 고유 식별자를 파일에 기록하여 관리했습니다. 여러 파이프라인이 동시에 실행될 때도 식별자 파일이 손상되지 않도록 뮤텍스를 적용했습니다. 실행이 끝나면 생성한 데이터를 삭제하고, 테스트가 중간에 실패한 경우에는 정리 단계 전체를 다시 실행하여 남는 데이터를 줄였습니다.

PR별 k3s 격리 환경 기반 사전 E2E 검증으로 자동화 범위 확대

작은 기능 단위의 PR에서 기본 동작을 먼저 검증하고, 개발자가 테스트 서버 배포 전에 결과를 확인해 수정할 수 있게 했습니다.

PR별 k3s 격리 검증 흐름
PR별 k3s 격리 검증 흐름

테스트 서버에서 E2E를 실행하면서 반복 검수는 줄었지만, 개발자의 코드를 검증하려면 먼저 병합하고 배포해야 했습니다. 여러 개발자의 변경이 함께 반영된 뒤에는 각 작업에서 생긴 버그나 기존 기능에 미친 영향을 구분하기 어려웠습니다. 개발자가 구현 중에 문제를 확인할 수 있도록 검증 시점을 PR 단계로 앞당겼습니다.

PR마다 별도의 검증 환경을 만들고 결과를 해당 PR에 남겼습니다. 개발자는 실패 지점과 자신의 변경 내용을 대조해, 의도한 기능 변경으로 기대 결과가 달라진 것인지 연관 기능에 영향을 준 구현 오류인지 검토할 수 있습니다. 버그는 테스트 서버에 배포하기 전에 수정하고, 의도한 변경은 달라진 동작과 기대 결과에 맞춰 E2E 테스트 코드를 갱신하도록 했습니다.

사내 서버에 k3s 클러스터를 구축하고, Helm으로 Frontend와 Backend, DB를 컨테이너로 배포하여 PR별 검증 환경을 구성했습니다. 각 파이프라인마다 namespace와 DB를 분리하여 다른 PR의 데이터가 섞이지 않도록 했습니다. 그런 다음 Playwright가 테스트 서버 대신 해당 PR의 앱을 대상으로 테스트하도록 연결했습니다.

초기에는 브랜치 이름으로 빌드하다가 도중에 새 커밋이 올라오면, 처음 검증하려던 코드와 다른 버전으로 테스트되는 문제가 생겼습니다. Frontend는 PR의 커밋으로, Backend는 선택한 버전의 커밋으로 고정하고 이미지와 DB 스냅샷에 실행별 태그를 붙였습니다. 테스트 결과가 어떤 코드와 환경, 데이터에서 나온 것인지 확인할 수 있도록 한 것입니다.

PR 확인 후 Front와 Backend를 병렬 빌드하고 k3s 테스트를 거쳐 실패 결과도 PR에 전달한 실제 GitHub Actions 워크플로 그래프
PR 검증 GitHub Actions 워크플로

테스트가 끝난 뒤에도 실패 원인을 확인할 수 있도록

테스트가 끝난 뒤에도 결과를 확인할 수 있도록 리포트와 로그를 남겨야 했습니다. 결과 파일을 복사하기 전에 컨테이너가 종료되지 않도록, 테스트 종료 코드를 파일로 저장하고 리포트 복사가 끝날 때까지 기다리도록 했습니다. 복사가 완료되면 Pod를 정리하되, 복사에 실패한 Pod나 테스트가 실패한 환경은 원인 분석을 위해 남겨두었습니다.

테스트 결과를 분석해 버그와 오류를 찾고 수정하려면, 다양한 로그를 수집하여 실패 원인을 파악할 수 있어야 했습니다. 프로덕트의 문제뿐 아니라 E2E 테스트 환경의 문제도 배제할 수 없었습니다. 원인을 확인하기 위해 Playwright 리포트와 Backend 로그, Pod 및 Kubernetes 이벤트 로그, Helm 상태를 함께 수집했습니다. 수집한 자료는 GitHub Actions의 artifact로 보관하고, PR에는 실행 결과와 링크를 남겨 개발자가 테스트 결과를 확인할 수 있게 했습니다.

왼쪽 Job 목록, 워크플로 그래프, 오류 내역, 빌드와 E2E의 Artifacts 3개가 함께 보이는 GitHub Actions 실행 #61의 실제 전체 화면. 실패 상태는 유지하고 계정, 저장소, PR 식별정보만 흐림 처리
GitHub Actions 실행 결과와 Artifacts

리포트 파일을 내려받으면 플랫폼별 웹 리포트를 열 수 있습니다. 실패한 테스트를 선택하면 오류 메시지와 기대 결과, 실패한 코드 라인, 테스트 단계와 재시도별 응답 결과를 확인할 수 있습니다. 아래 그림은 실제 E2E 테스트 실행에서 스케줄 생성 중 특정 메뉴가 표시되지 않아 시간 초과가 난 사례입니다. 개발자는 이 리포트를 통해 어느 부분에서 실패했는지 확인하고, 테스트가 기대한 화면과 실제 동작을 대조할 수 있습니다. 문제가 발생한 환경의 Backend 로그와 Pod 이벤트도 함께 확인하며 원인을 빠르게 파악하고 수정할 수 있게 되었습니다.

내려받은 Playwright HTML 리포트의 실패 상세. 두 번의 재시도와 요소 표시 대기 시간 초과, 실패한 테스트 코드 줄을 확인하는 화면
Playwright 리포트에서 실패 지점과 재시도 확인

테스트 중에도 어느 단계까지 진행되었는지 확인할 수 있어야 했습니다. 기존에는 테스트 Pod가 종료될 때까지 CI 로그에 진행 상황이 표시되지 않아, 시간이 오래 걸리는 것인지 테스트가 멈춘 것인지 구분하기 어려웠습니다. 그래서 30초마다 테스트 중인 플랫폼과 실행 단계, 경과 시간, 완료한 테스트 수와 재시도 상태를 출력하도록 했습니다. 재시도할 때는 같은 테스트 ID의 결과를 갱신하여, 완료 건수가 중복으로 집계되지 않도록 했습니다.

이미지 빌드부터 격리 환경 배포, 테스트 실행, 리포트 업로드, PR 결과 게시까지 순서대로 진행되는지 실제 실행으로 확인했습니다. 날짜와 시간이 결과에 영향을 주는 스케줄 테스트에서는 브라우저와 Backend의 시간대를 맞춰 같은 날짜 기준으로 검증하도록 했습니다. 리포트를 준비 중인 상태가 테스트 시간 초과로 처리되지 않도록 수정했습니다.

실행 결과와 실패 내용을 Slack과 PR로 공유

개발자가 테스트 결과를 확인하고 대응할 수 있도록 CI 실행 후 결과를 공유하게 했습니다. 테스트 서버에서 실행하는 E2E는 Admin, Customer, Driver의 결과를 모아 Slack으로 전달합니다. PR별 k3s 검증은 해당 PR의 상태와 댓글로 결과를 남깁니다.

Slack 알림에는 통과, 실패, 재시도 후 통과, 건너뛴 테스트 수와 플랫폼별 소요 시간, 브랜치와 커밋, GitHub Actions 실행 링크를 담았습니다. 테스트가 실패한 경우에는 해당 테스트의 파일과 이름, 재시도 횟수와 오류 메시지를 같은 알림의 스레드로 전달합니다. 이를 통해 개발자는 전체 로그를 열기 전에 빠르게 실패한 테스트와 오류 내용을 확인할 수 있게 했습니다.

Slack E2E 알림에서 플랫폼별 테스트 결과와 소요시간을 요약하고 스레드에 실패 테스트 및 오류 내용을 공유하는 실제 화면
E2E 실행 결과와 실패 상세 Slack 알림

1인 QA에서도 +31% 늘어난 검증량과 7.0% → 3.9%로 줄어든 배포 후 버그

현재는 혼자 QA를 맡아, 배포 전 검수를 평균 약 3일에 마치고 있습니다.

입사 초반에는 저를 포함한 PO 3명이 검수를 나누어 맡았고, 릴리즈마다 QA에만 보통 1주, 길게는 2주가 걸렸습니다. E2E로 계약과 스케줄, Driver 수행 같은 기본 기능을 1시간 내외로 검증하면서 같은 화면을 수기로 확인하던 시간을 줄였습니다. 확보한 시간은 신규 기능과 변경된 기능의 정책, 예외 상황, 연관 업무에 미치는 영향을 검수하는 데 쓸 수 있게 됐습니다.

E2E Automation Test 예시

E2E 테스트 도입 전(2.13.0~2.14.2)과 도입 후(2.15.0~2.16.1)의 정규 배포를 비교했습니다. 기본 기능을 자동화하면서 더 많은 기능을 검수할 수 있게 되었고, 그 결과로 동일 기간 내 QA에서 처리한 티켓은 712건에서 992건으로 39% 증가했습니다. 핫픽스를 제외한 티켓 수를 실제 QA 일수로 나눈 하루 평균 검증량도 22.3건에서 29.2건으로 약 31% 증가했습니다.

더 많은 티켓을 검수하면서도 배포 후 버그 비율은 7.0%에서 3.9%로 낮아졌습니다. 기본 기능 QA는 E2E 테스트로 반복하고, 신규 기능과 예외 상황은 직접 검수했습니다. QA 중 발견한 버그의 경우 Google Sheets와 Jira에서 개발자의 수정 상태를 확인하고, 수정된 뒤 다시 검증했습니다. 이를 통해 다른 PO가 기본 기능을 반복 검수하는 부담을 줄이고, 배포 전 기본 기능 검증으로 프로덕트의 안정성을 높일 수 있게 되었습니다.

지표E2E 테스트 적용 전E2E 테스트 적용 후
검증 티켓712건992건
하루 평균 검증량 (티켓/일)22.3건/일29.2건/일 (약 31% 증가)
배포 후 버그 비율7.0% (50건 / 712건)3.9% (39건 / 992건)

기본 검증은 코드에, 사람은 새 기능과 예외에 집중하는 QA

엑셀에 검수 항목을 수기로 작성하던 방식에서 시작해 Google Sheets와 Jira를 연동하고, 반복되는 기본 기능을 E2E 테스트로 검증하는 인프라를 구축했습니다. 이후 PR별 k3s 격리 환경을 구성하여 검증 시점을 PR 단계로 앞당겼습니다. 개발자가 테스트 서버에 배포하기 전에 PR에서 결과와 실패 원인을 확인하고 수정할 수 있게 했습니다.

현재는 신규 기능과 변경된 기능의 QA를 준비할 때 직접 구현한 RAG도 함께 활용하고 있습니다. RAG로 요구사항과 과거 버그, 변경된 코드를 찾아 직접 검토한 뒤, 역할과 상태별 검증 항목, 예외와 회귀 범위를 정합니다. 기본 기능 QA는 E2E 테스트로 반복하고, 자동화만으로 판단하기 어려운 정책과 복잡한 조합은 브라우저 QA로 직접 확인하고 있습니다.