AI 도구 점검 가이드: 효과적인 검증과 개선 방법 (개발자F 1주차 OT를 듣고)

강의에서 배운 점

개발자F님은 AI에게 일을 맡길 때 두 가지 통제가 함께 필요하다고 했다.

• 추론적 센서: AI가 읽고 따르는 규칙과 설명이다(CLAUDE.md, rules, 리뷰어 지시).

• 연산적 센서: 프로그램이 정해진 조건을 기계적으로 검사하는 장치다(hook, 줄 수 검사, 빌드 검사).

강아지 하네스처럼 자유롭게 움직이게 하되, 정해진 범위를 벗어나지 않게 하자는 비유였다.

특히 마음에 남은 장면은 세 가지였다.

• 13장: .claude/rules/에 넣은 규칙은 paths: 조건이 없으면 세션을 시작할 때마다 항상 불러온다.

• 14장: 코드를 쓴 맥락은 자기 결과에 치우친다. 그래서 리뷰어에게는 승인이 아니라 반박을 맡긴다.

• 15장: 다른 회사 모델에게 반박을 맡기면 교차 검증이 된다(예: Codex).

개발자F의 실제 상황

7월에 CLAUDE.md가 너무 길어져서, 블로그·브레인노트·플라우드 저장·폴더 지도 규칙을 ~/.claude/rules/ 폴더에 주제별로 나눠 두었다. "필요할 때만 읽게 하자"는 의도였다.

그 사이 옵시디언 볼트는 번호 폴더(21~29번)로 크게 재편됐다. 그런데 스킬과 규칙 곳곳에 옛 폴더 경로가 남아 있는지는 따로 확인하지 못했다. 맥에 Claude Code가 두 군데 설치돼 있다는 사실도 이번 점검에서야 드러났다.

강의를 듣고 나니 질문이 생겼다. "나는 규칙을 나눠 놓았다고 생각하지만, AI는 실제로 무엇을 읽고 있을까?"

1단계: 다른 도구에게 감사를 맡겼다

Open optionsauto

/doctor prompt-audit 
~/.claude 아래 파일 약 200개와 지침 파일(CLAUDE.md 등) 약 40개를 목록으로 정리해요.
서브에이전트, 스킬, 플러그인 파일을 4개의 백그라운드 에이전트가 나눠서 읽기 전용으로 검토해요. 파일을 수정하지는 않아요.

OpenClaw가 최신 Claude Code(2.1.286)에서 /doctor prompt-audit을 실행했다. 파일은 하나도 고치지 않는 점검이었고, 결과는 세 가지였다.

1. 예전 옵시디언 폴더 경로가 여러 지침에 남아 있어, 잘못된 폴더에 저장될 수 있다.

2. 이미 폐기한 blog-write 스킬을 아직 가리키는 규칙이 있다.

3. 필요할 때만 읽으려던 규칙 5개가 매번 자동으로 로드되고 있다.

덧붙여 Claude Code가 두 군데(2.1.268, 2.1.286) 설치돼 있다는 것도 알려줬다. 다만 권한 문제로 스킬 약 20개와 에이전트 12개는 읽지 못한 부분 점검이었다.

2단계: Claude Code에게 수리를 맡겼다

나는 Claude Code에 이렇게 부탁했다. "이 내용을 읽어보고 작업 완료 안 된 부분은 작업시켜 주세요. 두 군데 설치된 것은 한 버전으로 정리해 주세요."

Claude Code가 확인하고 고친 것은 다음과 같다.

• 이중 설치: 터미널에서는 옛 버전(2.1.268)이 먼저 잡혔다. 반면 매일 도는 자동화들은 모두 최신 버전(2.1.286)을 쓰고 있었다. 최신 버전을 남기고 옛 버전은 휴지통으로 옮겼다.

• 옛 경로: 스킬 6개, 규칙 3개, CLAUDE.md 등에서 옛 경로를 고쳤다. 그 과정에서 하루 결과물을 모으는 스크립트가 없는 꿈기록 폴더를 보고 있어서, 꿈기록이 계속 빠지고 있었다는 사실도 찾았다.

• 규칙 자동 로드: 실제로 세션을 열어 보니 규칙 5개(약 29KB)의 본문이 매번 들어와 있었다. 강의 13장 설명 그대로였다. 내 규칙은 "블로그 쓸 때"처럼 작업 종류로 나뉘어 있어서, 파일 경로 조건인 paths:로는 표현할 수 없었다. 그래서 자동으로 읽히지 않는 rule-docs/ 폴더로 옮기고, CLAUDE.md에는 "어떤 작업이면 어느 파일을 읽어라"라는 목록만 남겼다.

같은 세션의 검증 에이전트는 6개 항목을 모두 PASS로 판정했다. Claude Code는 "참조를 모두 갱신했다"고 보고했다.

3단계: Codex에게 반박을 맡겼다

여기서 끝낼 수도 있었다. 하지만 강의 14장이 떠올랐다. 그래서 Claude Code에 이렇게 말했다.

Open optionsauto

"네가 확인과 점검을 모두 마쳤는데, 코덱스에 read-only로 보여주고 공격적인 비판을 받아봐요."

Claude Code는 Codex에게 다음을 주고, 읽기 전용 샌드박스에서 실행했다.

• 변경했다고 주장한 5가지

• 공격할 각도: 옛 설치에 의존하는 곳, 남은 참조, 근거 없는 주장, 건너뛴 범위, 휘발성 백업

• 출력 형식: 심각도별 지적 + 근거 + 수정안

중간에 작은 사고도 있었다. 내 Codex 명령어 버전이 낡아서 기본 모델 호출이 거부됐다. 그래서 첫 리뷰는 다른 모델을 지정해 돌렸다.

Codex의 총평은 이랬다.

"설치 단일화 핵심은 대체로 성공했지만, '완료'가 아니라 '부분 수리 후 미흡'."

지적은 9건이었다. 그중 '높음' 2건이 가장 아팠다.

• 매주 도는 주간 대화요약 자동화가 아직 없는 옛 꿈기록 경로를 읽도록 등록돼 있었다.

• 다른 AI 도구(OpenClaw)의 기억 파일이 여전히 "새 규칙은 rules/에 추가하라"고 가르치고 있었다. 그대로 두면 언젠가 규칙이 다시 자동 로드 폴더에 생긴다.

그 밖에 이런 지적도 나왔다.

• 권한 설정 파일에 옛 경로가 십수 곳 남아 있다.

• 244{기수-20} 같은 수식형 경로 표기는 AI가 잘못 읽기 쉽다.

• 백업을 임시폴더에만 두었다.

• 내가 정해 둔 기록 규칙(반복작업 원장, 레시피노트)을 지키지 않았다.

나중에 확인해 보니 Claude Code는 스킬·규칙·스크립트·기억 파일만 검색했다. 자동화 등록 파일(launchd), 권한 설정 파일, 다른 AI 도구(OpenClaw)의 기억 파일은 검색 대상에 넣지 않았다. 같은 세션의 검증 에이전트도 그 범위 안에서만 PASS를 줬다. 검증이 틀렸던 게 아니라, 검증 범위를 고친 사람이 정했던 것이다.

4단계: 다시 고치고, 다시 반박받았다

나는 "실행해 주세요"라고 했다. Claude Code가 2차로 고친 것은 다음과 같다.

• 주간 자동화의 꿈기록 경로를 고치고, 자동화를 다시 등록해 반영됐는지 확인했다.

• OpenClaw 기억 파일을 최신 내용으로 다시 맞췄다.

• 권한 설정에서 없는 경로와 폐기된 스킬을 가리키던 오래된 허용 항목을 지웠다.

• 수식형 경로를 "예: 23기 → 2443 Clauders-23기, 실제 이름은 ls로 확인"으로 바꿨다.

• 원본을 오래 남는 백업 폴더로 옮기고, 기록 규칙도 지켰다.

• Codex 명령어를 최신 버전으로 올렸다.

그리고 Codex에게 다시 읽기 전용 재검증을 맡겼다. 결과는 FAIL 3건이었다.

그중 하나는 Claude Code가 고치다 새로 만든 실수였다. 경로를 한꺼번에 바꾸다가 "rules/에 다시 만들지 말 것"이라는 경고문까지 "rule-docs/에 만들지 말 것"으로 뒤집어 버렸다. 나머지 두 건은 다음과 같았다.

• 권한 설정에 아직 남은 항목들: 평문 키가 든 오래된 항목도 이때 지적돼서 지웠다. 최종적으로 허용 항목은 86개에서 64개가 됐다.

• 폴더 지도 표기가 깨진 것

이것까지 고친 뒤 받은 세 번째 검증에서야 전 항목 PASS가 나왔다.

강의 14장은 "빈틈을 찾으라면 멀쩡해도 찾아내니 Critical·High만 고치라"고 했다. 이번에는 처음 해 보는 교차 검증이라 '낮음'까지 모두 고쳤다. 평소라면 '높음' 이상만 먼저 처리해도 충분했을 것이다.

5단계: 클로드코드에게 3개월에 한 번씩 정기검사를 하라고 했다. 검사를 할 때는 반드시 Codex에게 공격적인 비판을 두 번 받으라고 했다. 이 내용을 스킬로 만들어 저장해달라고 했다.

3개월마다 /doctor prompt-audit 실행해줘요. 검사 후 Codex에게 공격적인 비판을 받고, 수정한 후 재차 Codex에게 공격적인 비판을 받아줘요. 이 내용을 스킬로 만들어 저장해줘요

점검 후 결과

확인된 변화

항목

전

후

Claude Code 설치

2곳(2.1.268 / 2.1.286)

1곳(2.1.286)

매 세션 자동 로드된 규칙

5개, 약 29KB

0개(필요할 때 목록 보고 읽음). 새 세션에서 확인

꿈기록을 놓치던 곳

스캔 스크립트, 주간 자동화

둘 다 실제 경로로 수정

권한 허용 항목

86개(죽은 경로·평문 키 포함)

64개

교차 검증

없음

Codex 읽기 전용 3회(미흡 → FAIL 3 → PASS)

아직 확인하지 못한 것

• 주간 대화요약 자동화는 다시 등록한 것까지만 확인했다. 실제로 꿈기록을 잘 읽는지는 다음 정기 실행에서 봐야 한다.

• Chrome 연결 프로그램은 옛 버전으로 떠 있던 것을 아직 재시작하지 않았다.

• 실행 중인 프로세스나 cron 상태는 읽기 전용 Codex 환경에서는 판정할 수 없었다.

• 감사 때 읽지 못한 스킬·에이전트는 이번에 옛 경로와 폐기 스킬 참조만 찾아봤다. 감사 전체를 다시 한 것은 아니다.

AI 활용 팁

① "검증 PASS"보다 "무엇을, 어디까지 확인했나"를 먼저 묻자
같은 세션의 검증은 틀리지 않았다. 다만 범위가 좁았다(launchd·권한 설정·다른 도구의 기억을 빼고 찾았다). 앞으로 "전부 고쳤다"는 보고를 받으면 "어느 폴더까지 찾아봤어?"를 먼저 묻기로 했다.

② 같은 정보는 여러 도구가 각자 들고 있다
폴더 경로 하나가 Claude 스킬, 자동화 등록 파일, 권한 설정, 다른 AI의 기억 사본에 따로 적혀 있었다. 경로를 바꿀 때는 이 모든 곳을 함께 찾아야 한다.

③ 반박은 다른 회사 모델에게, 손은 묶어서
Codex는 읽기 전용으로만 실행했다. 내 생각에는 비판자에게 수정 권한까지 주면 "누가 무엇을 바꿨는지"가 흐려진다. 이번에 고치는 AI와 비판하는 AI를 나눠 보니 기록이 깔끔했다.

④ 수리 후에도 한 번 더 반박받자
2차 수리에서 AI가 새 실수를 만들었다. 일괄 치환처럼 한 번에 많이 바꾸는 작업일수록 재검증이 필요하다.

⑤ 규칙 폴더가 "언제 읽히는지" 직접 확인하자
rules/ 폴더는 이름만 보면 "필요할 때 꺼내 보는 규칙집" 같다. 하지만 실제로는 매번 통째로 읽힌다. 내 의도와 도구의 동작이 같은지는 새 세션을 열어 직접 물어보는 것이 가장 빨랐다.

다른 업무에 적용하기

• 블로그·사례글 검수: 글을 쓴 AI가 아닌 다른 AI에게 "근거 없는 주장, 빠진 출처, 과장된 표현"을 반박하게 한다. 수정은 원래 작성 흐름에서 한다.

• 시니어 AI 프로그램 준비: 어르신용 안내문을 만든 뒤, 다른 AI에게 "70대가 처음 읽을 때 막힐 단어와 단계"를 찾아내게 한다.

• 자동화 점검: 폴더 이름을 바꾸거나 스킬을 정리한 날에는 자동화 등록 파일과 설정 파일까지 함께 검색한다.

• 강의 노트 정리: "전사록에 없는 내용을 강사 말처럼 쓴 곳"을 다른 모델에게 찾게 한다.

이 항목들은 이번 실습에서 얻은 적용 아이디어이며, 아직 실행하지 않았다.

향후 계획

• 다음 주간 자동화 실행 확인: 실행 로그에서 꿈기록 파일을 실제로 읽었는지 본다.

• 분기 감사 + 교차 검증 묶기: 2027년 1월 1일 정기 prompt-audit 때는 수리 후 Codex 반박까지 한 흐름으로 돌려 볼 생각이다.

• 작은 연산적 센서 하나(제안): 볼트에서 없어진 옛 경로 목록을 정해 두고, 스킬·설정·자동화 파일에서 그 문자열이 다시 나오면 알려 주는 검사를 만들어 볼 수 있겠다. 아직 착수하지 않았다.

** 10/10 아침에 일어난 일

• 클로드가 아웃 문제로 멈추어서 자동화가 실행이 안 되었다.

• Codex에게 원인 파악을 시키고 향후 대책을 제안하도록 하였다.

  (코덱스 제안) 지금은 1번: 중립 감독기를 만들고 Claude 실패 시 Codex가 안전한 작업만 이어받게 한다.
  이후 기능을 하나씩 Codex로 옮겨 검증하고, 최종적으로 3번의 Codex 단독 구조로 단순화한다.
  2번 멀티 에이전트는 안정화 이후 콘텐츠·강의 처리에만 선택적으로 사용한다. (오르카와 파세오 설치 여부)

재사용 가능한 프롬프트

아래 프롬프트는 내가 이번 실습에서 쓴 요청을 다듬은 것이다. 개발자F님의 원본이나 공식 명령이 아니다.

① 수리 맡기기 (작업하는 AI클로드코드에게)

Open optionstext

아래는 다른 도구가 낸 설정 점검 결과야.
1) 각 지적이 지금도 사실인지 먼저 실제 파일로 확인해.
2) 사실인 것만 고치고, 고치기 전 원본은 ~/.claude/backups/날짜-주제/ 에 백업해.
3) 보고할 때 "어느 폴더·파일까지 검색했는지"를 반드시 적어.
   ~/.claude 밖(자동화 등록 파일, 설정 파일, 다른 AI 도구의 기억)도 찾았는지 따로 밝혀.
4) 확인한 것 / 확인 못 한 것 / 추정한 것을 나눠서 보고해.

[점검 결과 붙여넣기]

② 반박 맡기기 (다른 회사 AI코덱스에게, 읽기 전용)

Open optionstext

너는 적대적 리뷰어다. 읽기 전용이다. 어떤 파일도 고치거나 만들지 마라.
아래는 다른 AI가 "완료했다"고 주장한 변경 목록이다.
승인하지 말고, 빠진 곳·깨진 곳·근거 없이 주장한 곳을 찾아라.

공격할 각도:
- 같은 경로나 설정을 참조하는 다른 위치(자동화, 설정, 다른 도구)
- 이번 변경으로 새로 깨졌을 수 있는 것
- "전부", "모두" 같은 표현의 실제 검색 범위
- 백업·기록 같은 작업 규칙 준수 여부

출력: 심각도(치명/높음/중간/낮음)별로 정렬, 각 지적마다 근거(파일:줄 또는 명령 결과)와 구체적 수정안.
마지막에 한 줄 총평.

[변경 주장 목록 붙여넣기]

③ 코덱스에게 재검증 맡기기

Open optionstext

읽기 전용 재검증이다. 파일을 고치지 마라.
지난번 네가 지적한 항목과, 작업자가 고쳤다고 주장하는 내용은 아래와 같다.
항목별로 PASS/FAIL과 근거를 대라.
그리고 이번 수정 때문에 새로 생긴 문제가 없는지 한 번 더 찾아라.

[지난 지적 + 수정 주장 붙여넣기]

출처와 자료 한계

• 강의: Clauders CTO 스터디, 개발자F "하네스 엔지니어링"(2026-09-30). 근거는 플라우드 전사록 00:00:00~00:30:12, 플라우드 자동요약, 슬라이드 1~19장이다. 강의 내용은 슬라이드 13~15장을 중심으로 인용했다.

• 원샷 강의 노트: 30-모은 자료/1 강의기록/Clauders-24기/OT20260930-하네스엔지니어링-개발자F.md의 "실습 기록" 섹션

• 실습 근거: Codex 리뷰 원문 3건과 프롬프트 원문(로컬 백업 폴더), 옵시디언 현황판 2026-10-01 기록

• 이 글의 수치(29KB, 86→64개, 9건 등)는 내 맥 한 대에서 확인한 값이다. 다른 환경에서도 같다고 일반화하지 않는다.

• Claude Code의 rules 로딩 방식은 강의 슬라이드 13장과 실제 세션 확인으로 판단했다. 제품 버전에 따라 달라질 수 있다.