사내 바이브코더들을 지원하는 개발팀의 인프라 구축기 - 자동 리뷰 시스템 삽질기 포함

소심한 코끼리 · AX: AI로 일하는 법 · · 좋아요 0 · 답글 0

연재 팀이 함께 쓰는 Claude 작업 환경 6/7편

이미 Coderabbit은 쓰고 있었다

저희 팀은 이미 Coderabbit을 PR 리뷰에 활용하고 있었습니다. 개발자들이 PR 올리면 자동으로 리뷰해주고, 꽤 만족스러웠죠.

"그럼 바이브 코더 레포에도 Coderabbit 붙이면 되겠네!"

문제는 바이브 코더들이 PR을 안 올린다는 것.

main에 바로 푸시하거나, 혼자 작업하니까요. Coderabbit은 PR이 있어야 작동합니다.

첫 번째 시도: Dummy PR 전략

"이전 리뷰 시점 ~ 현재 커밋" 사이를 비교하는 Dummy PR을 만들면 되지 않을까?

[이전 리뷰 커밋] ──────────> [현재 main HEAD]
                    ↑
               Dummy PR 생성  ← ❌ 불가능

GitHub는 같은 브랜치의 두 커밋 사이에 PR을 만들 수 없습니다. PR은 두 개의 다른 브랜치 사이에서만 가능하거든요.

두 번째 시도: Coderabbit CLI

CLI 기반으로 리뷰를 시도해봤습니다. Coderabbit CLI는 로컬 환경에서 AI 기반으로 코드 변경을 분석해주는 도구로, 개발자 개인의 커밋이나 특정 폴더를 리뷰하는 데는 유용합니다. 하지만 다음과 같은 한계가 있었습니다:

  • 전체 레포를 주기적으로 자동 리뷰하는 데는 최적화돼 있지 않음

  • 출력은 구조화되지 않은 텍스트 기반 → 파싱 자동화가 어렵고 불안정함

  • 플랜/환경에 따라 리소스 제한 존재 → 속도나 호출 횟수의 제약 가능성

결과적으로 Coderabbit CLI는 PR 기반 리뷰를 보완하는 용도로는 좋지만, CI에서 여러 개의 레포를 주기적으로 리뷰하려는 목적에는 한계가 있었습니다.

세 번째 시도: Claude Code CLI

방향을 바꿨습니다. Claude Code CLI 기반으로.

왜 Claude Code CLI인가?

  • PR 없이 전체 코드베이스 리뷰 가능

  • Skill 시스템으로 리뷰 관점을 세분화 가능

  • Thinking 과정이 투명하게 기록됨

하지만 여기도 제약이 있었습니다.

Claude CLI의 현실적 제약들

제약 1: GitHub CI 환경에서 돌려야 한다

자동화하려면 GitHub Actions에서 돌아가야 합니다. 사람이 버튼 누르고 기다릴 수 없으니까요. CI 환경에서 Claude CLI를 설치하고 인증하고 실행하는 파이프라인을 구축해야 했습니다.

제약 2: API Key 필수 = Max Plan 사용 불가

CI 환경에서는 API Key로 인증해야 합니다. 문제는 Claude Code의 Max Plan(월 $100~200 정액제)은 API Key가 아니라 계정 로그인 방식이라는 거죠.

결국 API 종량제를 써야 합니다. 토큰당 과금.

제약 3: 비용이 부담될 수 있다

10개 전문 에이전트가 각각 코드를 읽고 분석합니다. 레포 크기에 따라 토큰 사용량이 천차만별이고, 여러 개의 레포를 주기적으로 리뷰하면 비용이 꽤 나올 수 있습니다.

아직 대규모로 돌려보지 않아서 정확한 수치는 모르지만, 핵심 레포 5-10개만 우선 적용하고 비용을 모니터링하면서 확대하기로 했습니다.

최종 구조: 10개 전문 리뷰 에이전트

Claude Code의 Task tool로 서브 에이전트를 호출하는 구조를 만들었습니다.

에이전트

역할

🔒 security-reviewer

보안 취약점 심층 분석

⚡ perf-reviewer

성능 최적화 분석

🔍 quality-reviewer

코드 품질 및 버그 탐지

📚 bestpractice-reviewer

모범 사례 및 패턴 검토

🏗️ architecture-reviewer

아키텍처 및 설계 분석

♿ a11y-reviewer

접근성 검토

🧪 test-reviewer

테스트 커버리지 분석

📝 docs-reviewer

문서화 검토

🔄 refactor-reviewer

리팩토링 제안

대시보드에서 "리뷰 실행" 클릭
    ↓
GitHub Actions가 레포 클론
    ↓
claude -p "/review ./target-repo" (API Key 인증)
    ↓
오케스트레이터가 9개 서브 에이전트 호출
    ↓
Thinking + Findings를 DB에 저장 (토큰/비용 추적)
    ↓
Slack 알림

결과적으로 두 시스템을 병행합니다:

  • PR 있는 경우 → 기존 Coderabbit이 리뷰

  • PR 없이 전체 리뷰 → Claude Code CLI 기반 시스템

기술적 교훈

  1. 기존 도구가 만능은 아니다

    • Coderabbit이 PR 리뷰에는 훌륭해도, PR 없는 상황에는 맞지 않았습니다. 상황에 따라 다른 도구가 필요할 수 있습니다.

  2. CI 환경의 제약을 미리 파악하라

    • Max Plan의 정액제 혜택을 CI에서 못 쓴다는 걸 늦게 알았습니다. API Key 인증이 필수인 환경이라면 종량제 비용을 감안해야 합니다.

  3. 작게 시작하고 비용 모니터링

    • 모든 레포가 아니라 5-10개 핵심 레포부터. 토큰 사용량과 비용을 추적하면서 확대.

  4. Claude Code CLI의 Skill 시스템이 강력하다

    • 리뷰 관점을 세분화하고, 각각 다른 에이전트로 분리할 수 있었습니다.