AI 팀의 보고서 인계, 중요한 조건 30개를 끝까지 따라가 보기

소개

AI가 만든 보고서에서 결론만 확인하면, 조사 때 중요했던 조건이 작성 과정에서 빠졌는지 알기 어렵습니다. 이번 2주차에는 제품 의사결정 지원팀의 인계 규칙을 바꾸고, 같은 보고서 업무를 다시 수행했습니다.

목표는 상세화면에 판단 근거 패널을 추가하기 위한 조사·기획을 진행할지 검토하는 HTML 보고서를 만드는 것이었습니다. 제품 구현이나 사업 승인을 맡기는 작업은 아니었습니다. 입력은 기존에 보존한 PDF 1개와 Markdown 3개로 제한했습니다.

역할보다 인계 기준을 바꿨습니다

Master는 목표·범위와 근거 채택, Researcher는 원자료 조사, Writer는 초안 작성, Reviewer는 독립 검수를 맡았습니다. 실제로 서로 다른 에이전트를 실행해 조사·작성·검수를 인계했습니다. 구체적인 사용 모델명은 확인하지 못했습니다.

지난 사례에서 확인한 조건 누락을 계기로, 이번에는 작성 전에 기준을 고정했습니다.

1. Researcher가 중요 조건과 원문 위치를 추출합니다.

2. 별도 Reviewer가 조건 후보를 원자료와 대조합니다.

3. Master가 조건 목록을 확정한 뒤 Writer를 시작합니다.

4. Writer는 조건마다 초안의 반영 위치나 제외·미확인 이유를 남깁니다.

5. Reviewer가 최초 초안과 추적표를 독립 검수합니다.

최초 초안은 보존하고 수정본을 따로 만듭니다. 작성 후 기준을 바꾸면 이유와 영향을 기록합니다. 누락이 생겼을 때는 Reviewer 발견 → Writer 수정 → Reviewer 재검수 → Master 판정으로 이어가도록 문서와 Seed에 연결했습니다. 별도 자동 실행 프로그램은 만들지 않았습니다.

실제 사용한 프롬프트

업무를 맡긴 문장은 아래와 같습니다. 기업·솔루션명만 일반적인 표현으로 치환했습니다.

제공 자료를 바탕으로, 제품의 상세화면에 판단 근거를 보여주는 패널의 추가 조사·기획을 진행할지 판단하기 위한 C-Level HTML 보고서 초안을 작성한다. 최소 표시 범위, 근거, 제약, 선행 확인 사항을 정리하고 독립 검수를 거쳐 수정한다.

2주차에는 이 업무를 다시 수행하기 위해 순서대로 다음 요청을 했습니다.

우선 ooo interview부터 진행하자

인터뷰에서는 기존 보고서 재수행, 중요 조건 인계 누락 방지, 문서·Seed 방식, 두 성공 기준, 별도 복구 시험을 선택했습니다. Seed 단계는 별도 명령을 직접 입력한 것이 아니라 인터뷰 끝에 다음 선택지로 승인했습니다.

목표에 동의하고 Seed 생성 승인 (추천)

명세를 검토·보완한 뒤 실행을 요청했습니다.

ooo run 진행해줘

인터뷰를 거쳐 합의한 목표는 다음 문장이었습니다. 처음부터 한 번에 입력한 프롬프트가 아니라, 대화에서 정리한 실행 목표입니다.

제품 의사결정 지원팀의 문서·Seed 하네스를 개선해 판단 근거 패널의 조사·기획 진행 여부 보고서를 다시 작성하고, 중요 조건 보존과 AI 자율 복구를 검증해 일반화한 과제글로 남긴다.

실제로 따라간 조건과 결과

대표 조건은 다음과 같습니다. 특정 제품·산업을 드러내지 않도록 표현을 일반화했습니다.

조건

보고서에 남긴 내용

화면에서 못 본 기능

현재 테스트 계정의 화면 관측과 실제 기능 부재를 구분했습니다. API나 비노출 기능까지 없다고 단정하지 않았습니다.

근거의 적용 대상과 기간

상세화면의 어느 대상에 연결되는 근거인지, 전체 기간과 현재 조회 범위가 같은지 선행 확인 사항으로 남겼습니다.

필터와 빈 데이터

필터가 적용된 결과를 전체 데이터로 해석하거나, 데이터가 없다는 이유로 문제가 없다고 판단하지 않도록 했습니다.

비교 제품의 관측 한계

단일 예시와 공급사 설명을 일반 성능이나 우리 제품의 효과로 확대하지 않았습니다.

작성 전 확정한 조건은 30개였습니다. 최초 초안을 독립 검수한 결과는 반영 11개, 미확인 17개, 제외 2개, 중요 누락 0개였습니다. 부당한 제외·미확인과 미해결 검수 문제도 없었습니다.

미확인 17개는 보고서에서 빠진 항목이 아닙니다. 무엇을 확인하지 못했고 왜 추가 확인이 필요한지 본문이나 부록에 남긴 항목입니다. 제외 2개도 결정 질문과 직접 관련 없는 작업과 기업 홍보 내용이라는 이유를 기록했습니다. 작성 후 조건 기준 변경은 없었습니다.

최종 HTML은 상태 문구와 검수 기록 연결을 수정한 뒤 독립 내용 재검수를 통과했습니다. 내용 검수와 화면 확인은 따로 수행했습니다. 실제 Chrome에서 데스크톱 1280×960, 모바일 390×844 표시를 확인했고, 30개 조건 표시·내부 링크 6개 이동·로컬 파일 링크 10개 존재를 검사했습니다. 가로 넘침은 없었고 대표 화면 8장도 직접 확인했습니다. 로컬 원자료를 연결 앱에서 하나씩 열어보거나 모든 문장을 육안 확인한 결과는 아닙니다.

실행 기록에는 하네스 연결 확인용 verify-harness.py, 최초 조건 추적 확인용 verify-ac3.py, 최종 보고서 확인용 verify-ac2.py의 성공이 남아 있습니다. verify-html.cjs도 실제 HTML을 대상으로 실행했습니다. 이 검사들은 파일 보존·연결·표시를 확인하며, 원문과 보고서의 의미 대조는 별도 Reviewer의 검수에 근거합니다.

실행 엔진이 멈춘 뒤 이어간 방법

Ouroboros 실행 엔진은 사용량 한도로 중단됐습니다. 재개를 시도했지만 서버가 cancelled 상태라 재개할 수 없다고 반환했습니다. 2026년 10월 14일에는 기존 파일과 검수 기록을 인수해 Codex의 실제 에이전트로 남은 산출물 작업을 마쳤습니다.

엔진 전체 실행 성공이나 정식 3단계 평가 승인을 받은 상태는 아닙니다. 지금 확인한 보고서·조건 추적·화면 검증 결과와 엔진 완료 여부는 구분해 기록했습니다.

재개할 때 기존 검수 기록 저장 충돌도 발생했습니다. Master가 기존 파일을 다시 확인하지 않고 저장을 지시해 기록이 덮어써졌고, Writer가 읽어둔 전체 도구 출력으로 별도 파일에 복원했습니다. 당시 원본 해시가 없어 바이트 동일성까지는 확인하지 못했습니다. 원자료·최초 초안·실제 보고서를 포함한 보호 파일 49개는 해시 비교에서 변경이 없었습니다.

이 문제를 반영해 하네스 1.1에 이어하기 전 파일 확인, 저장 대상이 이미 있으면 중단, 새 기록에 별도 버전명 사용 규칙을 추가했습니다. 재사용 문서의 독립 검수도 PASS로 인수했습니다.

별도 시험에서는 빠진 조건을 복원했습니다

이번 실제 최초 초안에는 중요 누락이 없었으므로 이전 누락 초안의 사본으로 별도 복구 시험을 했습니다. 이전 수정 정답을 받지 않은 새 에이전트가 탐지·수정·독립 재검수를 수행했습니다. 사람의 내용 정답 지시는 없었습니다. 입력 분리는 지정된 자료와 인계 지침에 따른 방식이며 강제 보안 격리는 아닙니다.

탐지한 대표 문제는 근거의 적용 대상, 전체 기간과 현재 조회 기간의 구분, 필터, 규칙 변경과 재평가 이력, 일반 규칙을 우회하는 예외, 감사 기록과 역할별 노출 조건이 빠지거나 약해진 부분이었습니다. Writer가 별도 수정본에 이 조건과 미확인 이유를 복원했습니다.

별도 시험의 독립 재검수는 PASS였습니다. 30개 조건 중 28개는 필요한 미확인을 포함해 판단 의미를 보존했고, 2개는 타당한 제외로 판정했습니다. 중요 누락·새 근거 없는 단정·기준 완화·미해결 내용 문제는 모두 0개였습니다.

실제 새 최초 초안의 11/17/2 분류와 시험 수정본의 28/2는 서로 다른 판정 표현입니다. 시험의 반영 28개는 현재 제품이나 미확인 사실 28개를 새로 확인했다는 뜻이 아닙니다. 이전 초안의 누락도 이번 새 초안에서 발생한 문제로 세지 않았습니다. 시험 수정본은 정적 연결 검사는 했지만 브라우저 시각 검사는 하지 않았습니다.

직접 해보며 느낀 점

리포트 형식과 각 역할의 업무 진행 상황을 보면서 하네스를 더 강화해야겠다는 생각이 들었습니다. 역할을 나누는 것만으로는 부족했습니다. 제가 하네스의 세부 규칙을 충분히 들여다보지 않은 상태라, 역할끼리 부딪히고 작업이 매끄럽게 이어지지 않는다고 느꼈습니다. 분업형 하네스의 책임 범위와 인계 기준을 더 구체적으로 정할 필요가 있습니다.

한 번의 업무에 시간과 토큰이 예상보다 많이 들어갔습니다. 결과물을 만드는 것과 별개로, 비용 효율과 시간 절약을 함께 고민하게 됐습니다. 다음에는 어떤 단계에 독립 에이전트가 꼭 필요한지, 어디까지 기존 검수 결과를 재사용할 수 있는지부터 따져보려 합니다.

이번에 사용한 MCP 기반 Ouroboros 흐름은 다소 무겁고 오래 걸린다는 인상도 받았습니다. MCP 자체의 성능을 비교·측정한 결과는 아니지만, 문서형 하네스로 정할 수 있는 역할·입력·출력·인계 규칙은 먼저 정리해야겠다고 생각했습니다. 도구가 처리할 일과 문서로 통제할 일을 더 명확하게 나누는 것이 다음 개선 과제입니다.

다음에 개선할 것

보고서와 별도 복구 시험의 산출물은 준비됐습니다. 다음에는 분업형 하네스를 더 구체적으로 점검하고, 한 번의 실행에 드는 시간과 토큰을 기록해 필요한 검수는 유지하면서 중복 작업을 줄여보려 합니다. 아직 비용이나 시간이 절감됐다고 확인한 단계는 아닙니다.

보고서의 권장안은 제한된 추가 조사·기획 검토이며, 실제 제품·데이터·권한·이용권·고객 수요 확인과 진행 여부 결정은 사람에게 남아 있습니다.

참고: 복구 시험에서 에이전트에게 전달한 프롬프트 전문

다음은 Codex로 이어서 작업할 때 실제 전달한 세 역할의 지시문 전문입니다. 개인정보와 내부 경로는 [시험 폴더]로 치환했고, 문서명은 역할을 알아볼 수 있게 일반화했습니다. 경로 표현을 실제 자료 위치로 바꿔 사용해야 합니다. 이후 파일명 충돌 대응과 검수 시작을 위한 짧은 후속 지시도 있었으므로, 아래 세 문장이 전체 실행 대화나 모든 도구 호출을 뜻하지는 않습니다.

독립 탐지 담당

독립 검수 담당이다. 한국어. 업무: 상세화면 판단 근거 패널 보고서 초안에서 중요 조건 누락 및 근거 없는 단정을 찾아라. 정상 입력만 읽기: [시험 폴더]/DRAFT.html, 같은 폴더 CONDITIONS-v1.md, inputs/SOURCES.md, inputs/의 PDF1·Markdown3, source-render/page-*.png(PDF17장 렌더). 다른 폴더·RUN·이전 REVIEW/REPORT 등은 읽지 말라. 기존 정답을 찾지 말라. 파일 수정 금지. 조건30개와 초안을 의미 대조하고 원문 출처 절/페이지 확인. 필요하면 PDF 렌더 이미지를 도구로 확인. 반환: 6항목 Current goal/Work completed/Evidence/Options/Failure conditions/Main decision request. 발견별 조건ID·초안위치·출처·중요도·최소 수정 요구. 제외/미확인 이유 타당성도 확인. 실제 읽은 입력 및 한계와 모델 미확인 명시. 완료 판단을 위해 전체30개를 간단히 추적하되 중요한 수정만 제안. 다음 인수자 Master. 신속히 수행하되 확인 안 한 것을 완료라 하지 말라.

수정 담당 Writer

실제 Writer로 복구 시험 수정본을 작성. 범위 [시험 폴더]/. 허용 읽기 DRAFT.html, CONDITIONS-v1.md, inputs/SOURCES.md, inputs/PDF1·MD3, source-render/page17장, 새 독립검수 REVIEW-v1.md(현재 저장 중, 없다면 준비후 기다려서 확인). 다른폴더·RUN·이전 REPORT/REVIEW·수정정답 읽지말라. 원본DRAFT/입력/조건 수정금지. 독립검수의 발견에 따라 최소 수정 REVISED-v1.html 및 WRITER-HANDOFF.md(6항목)만 저장. 조건30개 추적을 수정본 부록에 추가하되 반영/미확인/제외 이유와 실제문장위치 명시. 기존 결론과 조사권고/사업승인분리 유지, 새 기능·최신확인·법률보장·성능효과단정금지. REVIEW-v1의 누락/부분/부당제외 전부 복원하되 원문미확인/충돌경계 유지. 이는 정상 검수인계이며 과거 정답이 아니다. 실제 모델 미확인, 읽은입력과 수정위치/근거/영향/다음독립검수필요 명시. 신속히 수행하고 완료후 Master에 반환.

이 지시 이후 기존 파일과 충돌을 피하려고 검수본·수정본·인계 파일에 resume가 포함된 별도 이름을 지정했습니다. 앞서 적은 기록 덮어쓰기와 복원 한계도 이 과정에서 발생했습니다.

수정본 독립 Reviewer

새 실제 독립 Reviewer. 한국어. 범위 [시험 폴더]/. 허용 읽기 inputs/SOURCES.md/PDF1·MD3 및 source-render/page17장, CONDITIONS-v1.md, DRAFT.html, REVIEW-resume-v1.md(이번 탐지지적), REVISED-resume-v1.html와 WRITER-resume-HANDOFF.md(작성중, 준비되면 Master가 신호). 다른폴더·이전보고서·이전수정정답·실제보고서결과 읽지말라. Writer와 독립, 파일수정 금지(최종검수파일만 출력허용). 지금 원자료/조건을 먼저읽고 준비. 수정본생성신호후 원문/확정조건30개/수정본 대조. 각조건 반영/타당한미확인/제외/누락을 전수판정, REVIEW-resume의수정요구해소·추가근거단정·기준완화검사. 최종 6항목 REVIEW-resume-v2.md로 저장 및 반환. 필요한수정은 정확위치·이유·최소요구, PASS면누락0/남은문제0과한계명시. 실제모델미확인, 입력목록/브라우저미검사 구분. 신속히 준비하고 완료파일없으면 대기.