AI 결과물 검수 시스템
AI가 만든 요약과 데이터의 근거를 확인해야 하는 분께 맞아요. 논문과 세법 자료를 정리하고 잘못된 출처와 결론을 찾아내며 검수 기준을 세우는 과정을 살펴봐요.
공간: 에이전트 / 노코드 자동화 · 8편
- 헤르메스와 함께 새로운 마음(?)으로 AI 워크스페이스 만들기 — 꼼꼼한 곰돌이 ·
저는 요즘 메인 에이전트 작업은 맥북에서 하는게 익숙합니다만.. 직장에서는 연구용/업무용 컴퓨터 두 대를 모두 Windows 환경으로 사용하고 있습니다. 평소 PowerShell 등을 통한 복잡한 CLI 설치에 익숙지 않은 편이었고, 직장 내 컴퓨터 환경 문제인지 설치가 너무 느리거나… - [1편] 논문 997편을 "검수 가능한 형태"로 넣기 — 결과물과 근거를 한 쌍으로 — Arin ·
TL;DR 목적: 사내 온톨로지 구축 근거를 마련하기 위해 arXiv 논문 997편 전수 수집 및 분석 핵심 개념: Ingest = 결과물(요약)과 근거(원문 전문)를 1:1 한 쌍으로 적재하여 검수 가능성 확보 성과: 997편 중 770편 분류, 최종 56편 방법론 카드 추출 (결정… - [2편] 검수가 실제로 잡아낸 것들 — 5/5 FAIL과 뒤집힌 결론 3건 — Arin ·
TL;DR 충격의 5/5 FAIL: 직접 읽고 작성한 요약이 전량 FAIL 판정을 받음. 원인은 pdftotext 줄바꿈, 유니코드 인코딩 차이, 그리고 과도한 Verbatim 인용 규칙 때문. 가장 무서운 오류 (표 행 밀림): 숫자는 원문에 존재하지만 '누구의 수치인가'가 틀린 오… - 세법 위키 구축기 - 처음 만든 자동검증 시스템이 초록불을 켰지만, 사실은 틀렸습니다. — 꼼꼼한 곰돌이 ·
한줄 요약 AI에게 세법을 그냥 묻지 않으려고 공식 법령 원문을 직접 옮겨 위키로 만들었습니다. 옮긴 결과가 원문과 같은지는 기계가 검사하도록 했고, 검사를 통과한 것만 정본으로 올렸습니다. 그런데 그 “통과”가 네 번 배신했습니다. 조문 개수도 파일 지문도 맞는데 문장이 통째로 빠져… - [w1오프라인 수업 따라가기] 내 하네스가 워크스페이스를 스스로 개선되게 만들었다 — 해파리 ·
## 📝 한줄 요약 엔지니어H님의 오프라인 수업에서 실습한 내용을 사례글로 정리해보았습니다. (그래서 다 아시는 내용일거에요) 유튜브 세미나를 매일 자동으로 모아 근거가 붙은 노트로 정리하고, 거기서 **"내 워크스페이스의 이 파일 이 줄을 이렇게 고쳐라"** 수준의 변경안을 뽑아내… - AI결과물검수 - 스터디장님 강의 내용 정리 (AI 결과물 검수를 위한 워크스페이스 세팅) — 성실한 라마 ·
1부. 스터디의 목표와 하네스의 기본 개념 00:00–01:50 스터디 운영과 전체 구성 강의는 ‘검수 AI 스터디’의 개괄 설명으로 시작한다. 첫 발표에서는 검수 AI의 전체 그림과 예시 워크스페이스를 소개하고, 뒤 세션에서는 세법 조문을 LLM Wiki에 넣어 검색·활용하는 시연을… - 온톨로지의 모든 것 — AI 에이전트 다음은 온톨로지다 — 성실한 라마 ·
월요일 온톨로지, Opencrab 특강을 듣고. 좀 더 공부해보고 싶어서.. 관련 영상을 찾아보니 오픈크랩의 온톨로지 관련 영상이 있더군요. 보기 쉽게 잘 정리해서 공유드립니다. 원본 영상: https://www.youtube.com/watch?v=Y5pzLHmMobc 채널: Alex… - 기준을 못 박고, 그 기준을 검수받다 — AI 결과물 검수 스터디 1주차 — Arin ·
사용한 도구 좌석 도구 역할 producer Claude Code 요약 생성 · 골드셋 설계 · 검사기 구현 cold-read reviewer Codex (gpt-5.6-sol) 독립 검수 — API 키 필요, free 플랜은 거부됨 결정론 게이트 자체 Python (extractio…