RAG Knowledge Base
Summary
Jira, Confluence, Git 등 여러 곳에 흩어진 지식을 매번 찾고 대조하던 비효율을 줄이기 위해 RAG 플랫폼을 구축했습니다. E2E 테스트 적용 이후에도 남아 있던 신규 기능과 변경 기능의 TC 구성과 검증에 활용하고 더 나아가 개발자의 구현 지원과 기획 단계의 정책 검증까지 확장한 프로젝트입니다.
- Role
- InitiatorDeveloper (POQA)
- Outcome
- 개발 구현 정확도 최대 +6.7%배포 후 버그 비율 3.9% → 2.9%
각 팀별로 분산 관리 되었던 정책, 코드, 문서들
"그 스펙이 어디 있더라", "이 버그, 어느 커밋이었지?" 개발자와 PO는 하루에도 몇 번씩 같은 정보를 다시 찾았습니다.
기능의 요구사항과 논의는 Jira에, 배경과 정책은 Confluence에, 실제 구현과 변경 이력은 Git에 있었습니다. 각 도구를 검색한 뒤, 문서의 정책과 티켓에서 바뀐 결정이 코드에도 반영됐는지 직접 대조해야 했습니다. AI 개발 도구를 사용할 때도 필요한 자료를 사람이 찾아 복사하고 붙이는 일이 반복됐습니다.
QA에서도 같은 문제가 있었습니다. E2E로 기본 기능의 반복 검증과 Google Sheets의 수기 작업은 많이 줄였지만, 신규 기능과 변경 기능의 요구사항을 읽고 영향 범위를 찾아 TC를 작성하는 일은 남아 있었습니다. 과거 버그나 다른 기능의 예외까지 고려하려면 다시 세 곳을 오가야 했고, 검증 범위는 담당자가 기억하는 내용에 영향을 받았습니다.
이렇게 자료를 찾고 대조하는 일을 줄이려고 사내 지식을 수집하고 검색하는 RAG 플랫폼을 구축했습니다. 먼저 QA에 적용했고, 이후 개발자가 구현 전에 관련 정책과 코드를 확인하고 기획자가 누락된 조건을 검토하는 데도 활용하도록 확장했습니다.
흩어진 정책, 코드, 문서를 한 번에 찾는 RAG 검색 플랫폼
기존 Jira, Confluence, Git 커넥터를 바탕으로 티켓, 정책 문서, 코드와 커밋 이력, 축적된 검증 자료를 수집하고 색인했습니다. 질문 하나로 관련 자료를 함께 찾고, 정책이 바뀐 배경과 구현 내용을 대조할 수 있도록 구성했습니다.
서버는 Go로, 수집과 색인, 모델 서비스는 Python으로 구현했습니다. 검색 결과에는 원문 링크와 코드 위치를 붙였고, 클라이언트가 이를 읽어 TC와 답변을 구성하도록 역할을 나눴습니다. 자료를 찾고 복사하던 비효율을 줄이면서도 원문을 직접 확인할 수 있게 했습니다.
Dense 검색에서 하이브리드 검색으로
처음에는 질문과 문서를 벡터로 바꾸고 의미가 가까운 내용을 찾는 dense 검색으로 시작했습니다. 질문하는 사람이 문서의 정확한 용어를 몰라도 자료를 찾을 수 있게 하려는 선택이었습니다. 예를 들어 "수거를 잠시 멈추고 싶다"는 질문으로 "임시중단 예약" 정책을 찾는 식입니다.
하지만 주제가 비슷한 문서가 곧 질문에 답하는 문서는 아니었습니다. 예를 들어 "재계약 시 작업량 이관 조건"을 찾을 때, 계약을 복사하는 일반 절차만으로는 답할 수 없습니다. 작업량을 옮길 수 있는 조건과 제한이 필요합니다. 의미 유사도만으로 순위를 정하면 같은 재계약 주제의 문서가 앞서고, 필요한 조건을 담은 문서는 상위 후보(Top-k) 밖으로 밀릴 수 있습니다. QA에 쓸 자료라면 이 차이를 놓쳐서는 안 됐습니다.
그래서 dense 검색을 유지하면서, 질문과 문서에 실제로 등장하는 용어를 비교하는 sparse 검색을 추가했습니다. "작업량", "이관"처럼 질문을 구체화하는 단어를 검색에 반영하기 위해서입니다. BGE-M3에서 두 벡터를 함께 생성하고 각각 검색한 뒤, Qdrant의 RRF로 순위를 합쳤습니다. 점수의 크기와 분포가 다른 두 검색을 단순 합산하지 않고, 각 검색에서 얼마나 상위에 나왔는지로 결합했습니다. 표현이 다른 질문은 dense가, 공통 용어가 중요한 질문은 sparse가 보완하도록 구성했습니다.
같은 단어가 들어 있다고 필요한 조건까지 설명하는 문서는 아닙니다. 합쳐진 후보는 cross-encoder가 질문과 함께 읽고 관련성을 다시 평가하도록 했습니다. 후보에 들어오지 않은 문서는 리랭킹으로도 찾을 수 없으므로, 먼저 두 검색으로 누락을 줄이고 그 안에서 순위를 다듬는 순서입니다. 모든 문서를 정밀 비교하면 연산 부담이 커지기 때문에, 리랭킹은 먼저 추린 후보에만 적용했습니다.
검색 대상의 맥락도 중요했습니다. 비슷한 코드라도 다른 저장소나 개발 중인 브랜치의 내용이면 현재 기능을 판단하는 근거로 잘못 사용할 수 있어, 후보 검색에 저장소, 경로, 브랜치 조건을 적용했습니다. 반대로 티켓 번호나 함수명처럼 찾을 대상을 이미 아는 경우에는 의미 유사도를 계산할 필요가 없었습니다. 이런 조회는 임베딩과 리랭킹을 거치지 않는 별도 키워드 검색으로 분리했습니다.
관련성이 높은 결과를 늘리는 것만으로도 충분하지 않았습니다. 같은 문서의 비슷한 문단이 상위를 차지하면 함께 봐야 할 정책이나 코드가 밀릴 수 있기 때문입니다. 문서별 결과 수를 제한하고 소스별 후보를 확보해, 여러 자료를 대조해야 하는 질문에서 한 종류의 자료만 남지 않도록 보완했습니다.
아래 3D 분포에서는 dense와 sparse가 같은 자료를 어떻게 다르게 표현하는지 비교할 수 있습니다. 3D의 hybrid는 dense와 차원을 줄인 sparse를 각각 정규화해 연결한 시각화용 근사입니다. 실제 검색은 두 결과의 순위를 RRF로 합치며, 그림 속 거리나 배치가 검색 정확도를 뜻하지는 않습니다.
기본 기능은 E2E, 신규 기능과 변경 기능은 RAG로 나눈 검증
이렇게 찾은 자료를 실제 QA의 준비 과정에 연결했습니다. RAG로 요구사항, 이전 버그, 코드, 검증 기록을 함께 확인하고 역할, 상태, 경계값, 예외, 인접 기능의 회귀 범위를 정했습니다. 이후 브라우저에서 사용 흐름을 실행하고 API로 저장된 결과와 상태를 교차 확인했습니다. 재검증 때도 이전 재현 조건과 수정 의도를 다시 활용했습니다.
E2E는 기본 기능을 반복 확인하고, RAG는 새로 추가되거나 바뀐 기능의 TC 구성과 검증을 돕도록 사용했습니다. 새 정책이나 예외의 최종 판단은 제가 맡아, 실제 화면과 저장 결과까지 확인해 검증을 마쳤습니다.
E2E, TC, RAG 기반 검증과 Jira 후속 추적을 함께 운영하며, 초기 PO 3명이 릴리즈마다 1~2주 쓰던 QA를 현재는 혼자 평균 약 3일에 진행하고 있습니다. RAG는 이 과정에서 신규 기능과 변경 기능의 배경 조사와 검증을 보완했습니다.
자동 실행 환경과 실제 검증 흐름은 E2E QA Automation에서 이어집니다.
QA에서 쓰던 지식을 개발 단계까지
개발자가 구현 전에 관련 정책과 과거 버그를 확인할 수 있도록 RAG를 MCP로 제공했습니다. Claude, Codex 등 개발 환경에서 디펜던시, 변경 시점, 정책, 기존 사용처를 함께 조회해 구현 방향과 예상되는 버그를 검토하도록 했습니다.
개발 단계에서는 먼저 현재 코드를 보고 수정 계획을 세운 뒤, RAG가 과거 회귀 버그, 관련 요구사항, 다른 저장소의 사용처를 대조하도록 바꿨습니다. 계획을 바꿀 수 있는 근거는 최대 3개, 우선 확인 항목은 최대 5개로 제한했습니다. 새로운 근거가 없으면 검색을 계속 늘리지 않고 코드 수정, 컴파일, 테스트로 돌아가게 했습니다.
RAG 적용 후 최대 +6.7% 높아진 개발 구현 정확도
RAG가 실제로 도입될 때 개발 결과물의 완성도가 어느 정도 향상되는지 직접 측정했습니다. 측정 방법은 먼저 배포된 백엔드 티켓을 수정 전 코드와 당시 확인할 수 있었던 지식으로 재구성하고, RAG를 적용하지 않았을 때와 RAG를 적용한 환경에서 Claude Opus와 Sonnet이 각각 격리된 환경에서 같은 티켓에 대해 개발을 수행하도록 했습니다. 결과물은 3개의 독립 에이전트가 티켓의 핵심 요구사항을 충족했는지, 관련 기능과 예외 처리 경로를 빠뜨리지 않았는지, 과거에 발생했던 후속 버그를 예방했는지, 불필요한 변경이 있었는지, 과도한 설계로 회귀 위험을 만들지 않았는지 등 5개의 기준을 갖고 평가해 점수를 산출했습니다.
Opus
Sonnet
RAG를 함께 적용하자 Opus는 79.5점에서 84.8점, Sonnet은 78.2점에서 82.6점으로 올랐습니다. 각각 6.67%, 5.63% 개선입니다.
대신 개발 결과물 생성에 사용한 출력 토큰은 Opus 약 1.22배, Sonnet 약 1.16배로 늘었습니다. 그래서 모든 질문에 긴 검색을 적용하기보다, 수정 계획에 영향을 줄 근거를 우선 전달하고 이미 코드에서 확인한 내용은 반복 조사하지 않도록 했습니다.
코드가 나오기 전에 먼저 잡는 정책 누락과 모순
개발자가 요구사항대로 구현해도, 요구사항 자체에 빠진 조건이나 모순이 있으면 버그로 이어질 수 있습니다. 다음으로는 코드보다 앞에 있는 기획 티켓을 검토하도록 확장했습니다.
기획자가 Jira 댓글에 #qa-check를 남기면 관련 정책과 기존 구현을 함께 검토하고, 같은 티켓에 결과를 받도록 워커를 구현했습니다. 본문만 읽어서는 논의 중 바뀐 결정을 놓칠 수 있어 댓글과 필드 변경 이력, 직접 연결된 티켓도 수집했습니다. PR 링크가 있으면 동기화된 PR head 코드까지 비교하고, 확인하지 못한 코드나 기준 브랜치는 미확인으로 남겼습니다.
코드는 검토 근거로 사용하되, 결과는 기획자가 결정할 수 있는 내용으로 정리했습니다. "어느 함수를 고쳐야 한다"보다 "어떤 조건의 정책이 빠졌고, 무엇을 정해야 하는지"를 우선순위와 출처 링크로 전달하도록 했습니다.
검토 모델에는 읽기 전용 도구만 제공하고 Jira 댓글 게시 권한은 워커에만 두었습니다. 요청 댓글의 공개 범위를 결과에도 유지하며, 요청 ID와 진행 상태를 SQLite에 저장해 재시작이나 재시도 때 같은 결과가 중복 게시되지 않도록 했습니다.
찾은 코드만으로는 알 수 없는 실제 배포 상태
QA와 개발, 기획에서 같은 지식을 활용하면서 "이 코드가 지금 테스트 환경에도 배포돼 있나?"까지 확인할 필요가 있었습니다. 코드나 커밋을 찾았다는 사실만으로는 답할 수 없습니다. 배포 버전과 DB 변경 이력을 별도의 읽기 전용 도구로 확인하도록 연결했습니다.
검색 자료 자체의 갱신 시점도 구분했습니다. 검색 서버와 주기적인 색인 작업을 분리하고, 문서 ID를 유지해 변경분을 동기화했습니다. 소스별 갱신 상태를 확인하고 기본 브랜치와 미병합 개발 브랜치를 나눠, 이전 자료나 진행 중인 구현을 현재 상태로 오해하지 않도록 했습니다.
검색 지연부터 검토 작업의 정체까지 확인할 수 있도록
QA와 개발에서 계속 사용하는 도구가 되면서, 응답이 느리거나 검토 결과가 돌아오지 않을 때 원인을 확인할 수 있어야 했습니다. Go 검색 서버와 Jira 워커의 지표를 Prometheus로 수집하고, Grafana에 검색 서비스와 정책 QA 대시보드를 구성했습니다.
검색 대시보드에서는 도구별 요청량과 p50, p95 응답 시간을 함께 보고, 지연이 늘어난 시점의 RSS, Go Heap, Goroutine, 열린 파일 수를 대조할 수 있게 했습니다. Qdrant와 각 컨테이너의 CPU, 메모리, GPU 사용량도 연결해 검색 처리와 자원 상태를 함께 살펴볼 수 있습니다. 저장소별 색인 완료 시점과 브랜치 갱신 상태는 별도로 표시해, 서비스가 정상이어도 검색 자료가 오래된 경우를 확인하도록 했습니다.
임베더와 리랭커가 GPU 한 장을 함께 사용할 때는 공유 락으로 경합을 조정했습니다. 리랭커 장애 시에는 대체 모델이나 검색 결합 순위로 응답하도록 했습니다.
Jira 검토는 워커가 실행 중이라는 것만으로 정상 동작을 판단하기 어려웠습니다. 마지막 티켓 수집 시각, 진행 중인 검토, 작업 heartbeat와 Claude 응답 활동을 나눠 확인하고, 수집 지연, 작업 정체, 재시도 소진 조건을 Prometheus 규칙으로 정의했습니다. 요청을 받지 못하는 상태와 요청을 받은 뒤 검토가 멈춘 상태를 구분해 확인할 수 있도록 했습니다.
Jira 워커는 요청 수집과 검토 실행을 분리하고, 실패한 작업은 최초 실행을 포함해 최대 5회만 시도하도록 했습니다.
지표별 목표와 대응 절차를 정리한 운영 Runbook
검색이 느려지거나 오류가 발생했을 때 확인할 지표와 판단 기준, 대응 절차를 런북으로 정리했습니다.
검색 지연과 오류율, 색인 갱신 상태, Jira 워커의 동작 상태를 주요 지표(SLI)로 정하고, 문제가 발생했을 때 확인할 항목과 순서를 정리했습니다. 임계값은 평소 관측한 값과 실제 타임아웃, 폴링 주기, 재시도 횟수를 바탕으로 정했습니다.
| 지표 (SLI) | 확인 항목과 기준 | 대응 절차 |
|---|---|---|
| 검색 지연 | p95 응답 시간, 리랭커 타임아웃 30초, HTTP 타임아웃 60초 | RSS, Go Heap, Goroutine과 GPU 경합 확인 → 리랭커 오류 시 검색 결합 순위로 응답하는지 점검 |
| 검색 오류율 | 도구별 오류 수(rag_errors_total), 백엔드 상태(rag_backend_up == 0)가 5분간 지속 | 오류가 발생한 도구 확인 → embedder와 Qdrant 상태 점검 → 오류 로그와 대체 응답 경로 확인 |
| 색인 갱신 상태 | 이벤트 처리 lease 300초, 상태 재확인 주기 1분, 브랜치 동기화 주기 30분, 색인 상태(error/pending) | 소스별 색인 체크포인트와 브랜치 갱신 상태 확인 → 5회 시도 후에도 실패한 작업(dead-letter) 점검 |
| Jira 티켓 수집 | 마지막 티켓 수집 성공 이후 3분 초과(critical) | 워커 실행 상태와 마지막 수집 성공 시각 확인 → 워커 재시작 |
| Jira 검토 상태 | 작업 heartbeat 미갱신 1분 초과(critical), Claude 무응답 10분 초과(warning) | 검토 진행 단계와 작업 lease(45분) 확인 → 멈춘 검토 작업 재시도 |
| 재시도 한도 도달 | 총 5회 시도 실패 시 exhausted로 분류, 재시도 대기 시간 1분부터 최대 1시간 | exhausted 상태인 티켓의 실패 원인 확인 → 수동으로 검토 재요청 |
E2E에 RAG를 더한 뒤 7.0% → 2.9%까지 낮아진 배포 후 버그
현재 RAG는 QA, 개발, 기획 정책 검토에 적용되어 쓰이고 있습니다. Jira, Confluence, Git에 흩어진 지식을 매번 다시 찾던 일을 줄이고 신규 기능과 변경 기능의 배경을 함께 확인해 QA 범위와 구현 방향을 판단할 수 있게 되었습니다.
개발 단계에서는 관련 정책과 과거 버그, 기존 사용처를 미리 확인해 놓치기 쉬운 회귀와 예외를 검토했습니다. QA에서는 요구사항과 변경된 코드를 함께 대조해 검증 범위를 정했고 기획 단계에서는 누락되거나 충돌하는 정책을 먼저 확인하도록 확장했습니다.
RAG를 적용한 뒤의 정규 배포(2.16.2~2.22.0)에서는 검증 티켓 794건 가운데 배포 후 버그가 23건이었습니다. E2E 테스트만 적용했던 구간에는 992건 중 39건이었습니다.
E2E, RAG 기반 검증과 Jira 후속 추적을 함께 운영하면서 하루 평균 검증량은 22.3건에서 33.1건으로 늘었고 배포 후 버그 비율은 7.0%에서 2.9%로 낮아졌습니다. 반복적인 기본 기능 QA는 E2E에 맡기고 신규 기능과 변경 기능의 영향 범위와 예외를 살피는 데 시간을 쓸 수 있게 되었습니다.
| 지표 | E2E 테스트 적용 전 | E2E 테스트 적용 후 | RAG 적용 후 |
|---|---|---|---|
| 검증 티켓 | 712건 | 992건 | 794건 |
| 하루 평균 검증량 (티켓/일) | 22.3건/일 | 29.2건/일 (약 31% 증가) | 33.1건/일 (약 49% 증가) |
| 배포 후 버그 비율 | 7.0% (50건 / 712건) | 3.9% (39건 / 992건) | 2.9% (23건 / 794건) |