연재 콘텐츠 AI팀의 첫 실험: 원고 3편을 만들고, 실행할 수 있는 글인지 검토했습니다

소개

AI에게 글 한 편을 부탁하는 것을 넘어, 독자와 주제를 정하고 여러 회차를 기획·제작·검토·수정하는 연재 콘텐츠 팀을 만들어보려 합니다. 회사 업무 자료를 공개하지 않아도 직접 사용할 결과물이 남는 주제를 찾다가 이 방향을 골랐습니다.

연재 이름은 「AI에게 실제 일을 맡겨보기」입니다. 초보 AI 사용자가 결과물을 무조건 믿거나 막연히 불신하는 대신, 무엇을 확인하면 되는지 알 수 있게 하는 것이 목표입니다.

이번에 실제로 한 일은 실험 예고 원고 3편을 생성하고, 평가 기준 7개로 자체 검토한 뒤 수정한 것입니다. 여행을 다녀오거나 웹 도구와 학습 가이드를 실제 사용해본 후기는 아닙니다. 아래 회차들은 앞으로 수행할 실험을 안내하는 원고입니다.

진행 방법

도구는 Codex를 사용했습니다. 한 대화에서 원고 생성과 자체 검토를 진행하고, 공통 프롬프트·회차 입력·수정 전 원고·검토 기록·수정본을 로컬 파일로 나누어 보존했습니다. 독립된 여러 에이전트가 협업하는 시스템은 아직 만들지 않았습니다.

입력은 회사 정보가 없는 다음 세 가지 조건으로 구성했습니다.

• 1화 여행: 성인 2명, 서울 당일 도보·대중교통 여행, 식비·입장료·교통비 합계 10만원 이내. 출발지와 날짜 미정. 장소 조사·현장 방문 미실행.

• 2화 웹 도구: 총액과 인원을 입력하는 원화 균등 분할 도구. 합계 보존과 0명·음수·빈칸 처리가 필요. 구현·실행 미실행.

• 3화 실습 가이드: HTML 초보 성인이 자기소개 페이지를 만드는 안내. 유료 서비스와 회원가입 없이 로컬 파일·브라우저 사용. 초보 독자 테스트 미실행.

사용한 공통 프롬프트 전문입니다. 아래 요청에 각 회차의 입력을 붙여 원고를 작성했습니다.

초보 AI 사용자에게 보여줄 연재 「AI에게 실제 일을 맡겨보기」의 짧은 실험 예고 원고를 작성하라.
입력된 회차 주제와 제약을 바탕으로 제목, 도입, 맡길 일, 확인 방법, 독자가 가져갈 것을 포함하라.
원고만 읽어도 다음 실험을 시작할 수 있게 작성하라. 아직 수행하지 않은 실험을 완료한 것처럼 쓰거나 경험·수치·출처를 만들지 마라.
회사 내부 정보는 사용하지 않는다. 사실 확인이 필요한 정보는 미확인으로 표시한다.
입력 외의 세부 조건은 제안이라고 구분한다. 회차별로 다른 확인 방법을 사용하라.

수정 전 원고를 저장한 다음, 다음 기준을 만들고 다시 읽었습니다. 이번 기준은 초안 작성 후 정리한 것이므로 고정된 평가 세트로 효과를 증명한 실험은 아닙니다. 첫 실패 유형을 찾는 탐색적 검토입니다.

• ① 상태 정직성: 계획·작성·실행·사용자 테스트를 구분하는가?

• ② 사실 근거: 확인하지 않은 가격·운영시간·성과를 단정하지 않는가?

• ③ 제약 보존: 입력의 대상·비용·환경·필수 예외를 지키는가?

• ④ 실행 구체성: 다음 실험에 바로 쓸 입력이나 절차가 있는가?

• ⑤ 관찰 가능한 판정: 통과·실패를 구분할 조건이 있는가?

• ⑥ 회차 차별성: 각 회차가 다른 실패 유형과 확인 방법을 다루는가?

• ⑦ 독자 전달: 초보 독자가 목적과 다음 행동을 이해할 수 있는가?

결과와 배운 점

자체 검토에서는 세 원고 모두 미실행 상태를 밝혔고, 비용·환경 같은 주요 제약을 유지했습니다. 하지만 “확인하겠다”는 문장만으로는 다음 실험을 시작하기에 부족한 부분이 있었습니다. 평가자가 작성 모델과 같으므로 아래 판단은 독립 검증 결과가 아닙니다.

1화: 정보를 확인하겠다는 말만 있고, 모르면 멈추는 규칙은 없었습니다

초안: “먼저 출발지와 날짜를 정하고, AI에게 장소별 체류 시간과 이동 수단이 포함된 시간표를 요청합니다.”

발견한 빈틈: 출발지와 날짜를 받지 못한 경우의 처리와, 운영 여부가 미확인인 장소를 어떻게 표시할지 구체적이지 않았습니다.

보완: 출발지·날짜를 받기 전에는 실제 장소를 확정하지 않고, 운영시간 출처와 확인일을 함께 기록하도록 했습니다. 예산 10만원 초과 또는 필수 장소의 운영 여부 미확인이면 확정안으로 표시하지 않습니다. 지도 예상시간과 실제 현장 검증도 구분합니다.

2화: 합계를 확인하려면 나머지 배분 규칙부터 필요했습니다

초안: “나누어떨어지지 않는 금액도 넣어 반올림 때문에 돈이 늘거나 줄지 않는지 보겠습니다.”

발견한 빈틈: 입력 예시와 기대값이 없어서 어떤 출력이 맞는지 바로 판정하기 어려웠습니다.

보완: 정수 원 단위로 나눈 기본 몫에 나머지를 앞 순서부터 1원씩 배분하는 규칙을 제안했습니다. 10,000원/3명은 [3,334, 3,333, 3,333], 0원/2명은 [0, 0]을 기대값으로 정했습니다. 잘못된 입력에서는 오류 표시뿐 아니라 이전 계산 결과도 숨겨야 합니다. 이는 테스트 설계이며, 웹 도구의 실행 성공 기록은 아닙니다.

3화: 친절한 설명과 초보자의 완료는 다른 문제였습니다

초안: “파일 이름과 확장자를 명확히 안내했는지, 수정할 위치를 보여주는지, 화면이 나오지 않을 때 해결 방법이 있는지 확인하겠습니다.”

발견한 빈틈: 운영체제 확인과, 독자가 완료했음을 보여줄 행동 과제가 빠져 있었습니다.

보완: 운영체제를 확인한 뒤 저장 방법을 안내하고, index.html 열기 → 가상 이름 바꾸기 → 저장·새로고침 → 변경 확인을 완료 조건으로 정했습니다. 작성자가 코드를 확인한 것과 초보자가 도움 없이 따라 한 것은 별도로 기록하기로 했습니다.

이번에 남은 결과물은 수정 전 원고 3편, 수정본 3편, 입력과 공통 프롬프트, 평가 기준 7개와 검토 기록입니다. 별도 독자 테스트나 독립 평가 없이 “품질이 몇 퍼센트 좋아졌다”고 주장하지는 않겠습니다. 확인한 변화는 각 원고에 구체적인 입력·기대값·보류 조건이 추가됐다는 것입니다.

가장 크게 배운 점은 좋은 문장과 실행 가능한 글을 따로 봐야 한다는 것입니다. “확인한다”를 많이 쓰는 것보다, 무엇을 넣고 어떤 결과가 나오면 다음 단계로 가는지 적어두는 것이 이 연재에는 더 중요했습니다.

다음에는 편집·제작·검토 역할을 분리해 한 회차를 실제로 끝까지 제작하겠습니다. 이번 3편에서 정리한 기준을 먼저 고정하고 새로운 주제로도 시험해볼 계획입니다. 구체적으로는 더치페이 도구를 구현해 기대값과 브라우저 출력이 일치하는지 확인하고, 그때 얻은 실제 기록으로 예고 원고를 결과 기사로 바꾸려 합니다.

도움받고 싶은 점: 사실성과 실행 가능성은 조건으로 확인할 수 있는데, 연재의 재미와 다음 편을 읽고 싶은 정도는 어떻게 평가하고 계신가요? 작성 모델의 자체 검토와 별도로 검토 역할을 나누었을 때 어떤 차이가 있었는지도 궁금합니다.

도움 받은 글

스터디 「내 업무에 본격 적용, AI 팀 하네스 만들기」의 Baseline과 평가 기준 작성 방향을 참고했습니다. 이번 글은 그 출발점이며, 완성된 자동 제작팀의 성과 보고는 아닙니다.

스터디 소개와 커리큘럼