# 사업자에게 맞는 정책자금 찾기: 온톨로지에 판정 재료를 담고 판정 기준을 함께 세우자 RAG보다 정확해졌습니다.

- 작성자: [바닐라](https://community.clauders.ai/member/imported-member-O7hOyhyS0y)
- 공간: [LLM Wiki로 지식관리 시스템](https://community.clauders.ai/llm-ontology)
- 게시: 2026-10-20
- 연재: [LLM Wiki로 지식관리 시스템 시즌 2](https://community.clauders.ai/series/llm-ontology-season-2) 6/6편
- 태그: #AI지식관리
- 주소: https://community.clauders.ai/llm-ontology/post/%EC%82%AC%EC%97%85%EC%9E%90%EC%97%90%EA%B2%8C-%EB%A7%9E%EB%8A%94-%EC%A0%95%EC%B1%85%EC%9E%90%EA%B8%88-%EC%B0%BE%EA%B8%B0-%EC%98%A8%ED%86%A8%EB%A1%9C%EC%A7%80%EC%97%90-%ED%8C%90%EC%A0%95-%EC%9E%AC%EB%A3%8C%EB%A5%BC-%EB%8B%B4%EA%B3%A0-%ED%8C%90%EC%A0%95-%EA%B8%B0%EC%A4%80%EC%9D%84-%ED%95%A8%EA%BB%98-%EC%84%B8%EC%9A%B0%EC%9E%90-rag%EB%B3%B4%EB%8B%A4-%EC%A0%95%ED%99%95%ED%95%B4%EC%A1%8C%EC%8A%B5%EB%8B%88%EB%8B%A4-9b01c995-b589-8c5d-b424-b5fe5e203da8

---

### **0) 배경: 지난주 작업**

지난주에는 정책자금 공고 94종 중 19종을 골라, 이 19종에서 질문 100개를 만들어 온톨로지와 RAG를 비교했습니다. 질문은 두 유형입니다.

유형

묻는 것

개수

세부형

공고에 적힌 세부 값(한도, 금리, 상환, 접수)

76

결론형

사업자 상황을 주고 받을 수 있는지 판정을 묻는 질문

24

- **세부형:** 온톨로지 스키마를 넓히자(v3) 정답률이 69%에서 86%로 올랐습니다. RAG와 함께 쓰면 RAG 단독보다 높았습니다(85% 대 77%).
- **결론형:** 판단을 보류했습니다. 지난주 결론형은 자금을 하나 지정해 주고 그 자금만 판정하게 한 질문이었고, 여기서는 온톨로지와 RAG가 비슷했습니다(87% 대 88%). 온톨로지가 유리할 것으로 본 「여러 자금을 한 번에 판정해 맞는 자금 찾기」는 재지 못했습니다.

### **1) 이번 주의 목적**

이번 주에는 **결론형의 정확도**를 보고자 했습니다. 지난주에 재지 못한 「여러 자금을 한 번에 판정해 맞는 자금 찾기」로 질문을 바꿔, 온톨로지가 RAG보다 정확한지 봅니다.

> **결론형 예시** (H4 질문과 정답표)

> - 질문: 「전남 여수시에서 네일샵을 하는 개인사업자. 2025년 2월 개업, 직원 1명, 작년 매출 7천만원. 체납·연체 없고 보증 이용 이력 없음. 운영자금 3천만원이 필요합니다. 받을 수 있는 정책자금을 모두 알려주세요.」
> - 답: 19종을 하나씩 「가능」, 「확인 필요」, 「불가」로 판정하고 이유를 붙입니다.

>   - 가능: 전남 소상공인 창업자금(여수 소재, 창업 2년 미만), 기보 원클릭(창업 1년 이상, 보증 이용 없음)
>   - 확인 필요: 긴급경영안정자금(매출 감소 요건은 안 맞지만, 남은 예외 요건은 기관 확인이 필요)
>   - 불가: 나머지 16종. 예: 대구 소상공인 지원자금(지역이 다름), 외식업 자금(음식점이 아님)
> - 지난주 결론형은 「대구 소상공인 지원자금을 신청할 수 있나?」처럼 자금을 하나 지정해 주고 그 자금만 판정하게 했습니다.

목적은 두 가지입니다.

- 사업자 상태만 주고 받을 수 있는 자금을 모두 찾게 해서, 결론형에서 온톨로지가 RAG보다 정확한지 판단한다. (4장 1)~3))
- 여러 자금을 엮어야 답이 나오는 질문에서 온톨로지의 관계가 쓸모 있는지 본다. (4장 4))

### **2) 질문 유형**

자금 이름을 주지 않고 사업자의 상태만 줍니다. 정책자금 19종(지난주와 같은 자금)이 대상입니다.

유형

묻는 것

예

자금 찾기

사업자 상태만 주고 받을 수 있는 자금을 모두 묻는 질문

강원 강릉시에서 한식당을 하는 개인사업자입니다. 2021년 3월 개업, 직원 4명, 작년 매출 2억원, 대표는 1985년생, 체납 없음, 보증 이용 이력 없음. 받을 수 있는 정책자금을 모두 알려주세요.

같은 유형의 질문을 두 번 새로 만들었습니다(G 세트, H 세트). 고친 것을 고칠 때 본 질문으로 다시 재면 점수가 부풀기 때문에, 판정 프로그램을 고칠 때마다 새 질문을 만들었습니다.

세트

만든 시점

쓰인 곳

질문

G1~G12

판정 기준을 넣은 뒤

4장 1)~3) 결론 일치율·이유까지 일치 측정

12개

H1~H12

3분류 판정을 새로 만든 뒤

4장 3) 끝의 3분류 결과

12개

질문 하나와 자금 하나에 대한 판정 한 건을 「판정 건」이라 부릅니다. 세트마다 질문 12개 × 자금 19종 = 228건을 한 건씩 채점했습니다. 이 글에서 쓰는 용어는 다음과 같습니다.

용어

뜻

에이전트

이 실험에서 일을 나눠 맡은 AI(LLM). 출제 에이전트는 질문을, 검증 에이전트는 정답을 만들고, 판정 에이전트는 정답 의견이 갈릴 때 원문으로 최종 정답을 정한다

정답

검증 에이전트가 원문만 보고 정한 판정. 이것을 모은 것이 정답표다

방식의 판정

시험한 방식(온톨로지, RAG, 온톨로지 + RAG)이 낸 판정. 정답과 견줘 채점한다

판정 기준

사업자가 말하지 않은 사실(체납 여부, 농업인 여부 등)을 어떻게 판정할지 정한 규칙. 예: 「사업자가 언급하지 않은 제외 조건(체납, 연체, 휴·폐업 등)은 해당하지 않는 것으로 본다」, 「자금이 정한 대상(음식점업, 농업인 등)인지는 업종으로 판정한다」. 온톨로지(자금의 조건)와 따로 정한다

판정 프로그램

온톨로지에 담긴 자금 조건을 사업자 정보와 하나씩 비교해 조건마다 충족·불충족·모름을 계산하는 프로그램. LLM을 쓰지 않는다

3분류 판정

판정 건마다 결과를 「가능」, 「확인 필요」, 「불가」 셋 중 하나로 정하는 것

후보

「가능」 또는 「확인 필요」로 판정된 자금. 사업자에게 보여 줄 자금이다

위음성(false negative)

정답은 「가능」이거나 「확인 필요」인데 방식의 판정이 「불가」인 판정 건

위양성(false positive)

정답은 「불가」인데 방식의 판정이 「가능」이거나 「확인 필요」인 판정 건

재현율

받을 수 있는 자금을 빠짐없이 찾았는가. 정답이 후보인 것 중 방식도 후보로 낸 비율. 예: 정답이 후보인 27건을 방식이 모두 후보로 냈으면 100%

정밀도

후보로 낸 자금이 맞았는가. 방식이 후보로 낸 것 중 정답도 후보인 비율. 예: 방식이 116건을 후보로 냈는데 그중 정답도 후보인 것이 27건이면 23%

결론 일치율

방식이 낸 결론(「가능」, 「확인 필요」, 「불가」)이 정답과 같은 판정 건의 비율. 이유는 보지 않는다. 예: 228건 중 206건의 결론이 정답과 같으면 90%

이유까지 일치

방식의 판정이 정답과 같고, 그 이유(불충족 요건이나 결과를 가르는 사실)도 정답표와 같은 판정 건의 비율

통계적으로 유의

같은 판정 건을 두 방식으로 풀어 한쪽만 맞힌 건수를 McNemar 정확검정으로 비교했을 때 p값이 0.05보다 작음

### **1) 결과**

1. **결론과 이유를 함께 채점하자 온톨로지가 RAG보다 정확했습니다.** 새 질문 12개(228건)에서 판정과 그 이유가 모두 정답과 같은 비율이 온톨로지 89.5%, RAG 82.9%였습니다. 이 차이는 통계적으로 유의했습니다(McNemar 검정, p=0.008).
2. **가장 정확한 것은 온톨로지 + RAG였습니다.** 이유까지 일치 92.1%로 RAG보다 뚜렷하게 높았습니다(p<0.001). 위양성(받을 수 없는 자금을 후보에 넣은 판정)에서도 RAG보다 크게 뛰어났습니다(2건 대 20건).
3. **여러 자금을 엮어야 답이 나오는 질문에서는 온톨로지가 RAG보다 정확하다는 근거가 나오지 않았습니다.** 20문항 정답이 온톨로지 8, 온톨로지 + RAG 11, RAG 13이었고, 차이는 통계적으로 유의하지 않았습니다(p=0.18). 관계가 한도 묶음으로 담긴 문항은 온톨로지가 모두 맞혔지만, 관계로 찾아 들어가지 못했거나 예외가 메모에만 있던 문항은 틀렸습니다.

### **2) 인사이트 요약**

**① 온톨로지를 잘 구축하는 것만으로는 부족했습니다. 질문을 해석하는 방법, 곧 판정 기준과 그 기준에 비교할 값을 함께 정의해야 정답이 나왔습니다.** (4장 1)·4))

같은 일이 데이터 속성과 객체 속성 양쪽에서 나왔습니다.

- **데이터 속성(자금·사업자에 붙는 값)의 경우** (4장 1))

  - 문제: 온톨로지에는 자금의 조건만 담겨 있어, 사업자가 말하지 않은 사실은 모두 「모름」이 됩니다. 그래서 한식당 대표에게도 「농업인인지 모름」이라며 농업 자금을 「확인 필요」 후보로 냈습니다. 정밀도는 23%였습니다.
  - 고친 것: 아래 셋을 함께 넣었습니다.

    넣은 것

    예

    판정 기준

    「자금이 정한 대상인지는 업종으로 판정한다」, 「사업자가 언급하지 않은 제외 조건(체납, 연체, 휴·폐업 등)은 해당하지 않는 것으로 본다」

    비교할 값 (자금)

    농업 자금의 대상은 업종 코드 01로 시작

    비교할 값 (사업자)

    한식당은 업종 코드 56111
  - 결과: 결론 일치율이 54%에서 91%로 올랐습니다.
- **객체 속성(자금과 자금의 관계)의 경우** (4장 4))

  - 문제: 「중진공 평가 탈락 ─대체가능→ 재도약자금」처럼 관계만 적고, 이 관계가 있으면 판정이 어떻게 바뀌는지 정한 판정 기준과 그 기준에 비교할 사업자 값(평가 탈락 이력)은 정하지 않았습니다. 그래서 「대체가능」, 「후속가능」 관계는 데이터에만 있고 판정에 쓰이지 않았습니다.
  - 결과: 한도 묶음은 판정 기준과 비교할 값을 정의해 두어, 이 관계로 푸는 7문항은 정답을 맞혔습니다. 대체가능, 후속가능 두 사례는 정의하지 않은 채 현재 불일치 항목으로 우선 두었습니다.

    대체가능

    한도 묶음

    판정 기준

    없음

    묶인 자금들의 남은 한도를 계산한다

    비교할 값 (사업자)

    없음 (평가 탈락 이력)

    기존 대출 잔액

**② 결론만 채점하면 틀린 이유로 맞은 판정을 걸러 내지 못합니다.** (4장 2))

- RAG는 결론은 맞고 이유가 틀린 판정이 가장 많았습니다. 228건 중 RAG 11건, 온톨로지 2건입니다.
- 이유까지 보자 순위가 갈렸습니다.

**③ 정답표도 틀립니다. 모든 방식이 정답과 같거나 정답 의견들이 일치해도 맞다고 볼 수 없습니다.** (4장 5))

- 모든 방식이 정답과 같았던 판정 건 40건을 원문과 다시 대조하니 3건이 달랐습니다. 모두 「가능」과 「확인 필요」의 경계였습니다.
- 관계 시험에서는 정답 의견 셋(검증 에이전트 2개, 출제 에이전트)이 모두 같았는데도 원문 단서를 함께 놓친 문항이 있었습니다.
- 그래서 정답표도 표본을 뽑아 원문과 대조해야 합니다.

### **1) 판정 기준과 업종 코드를 함께 넣자 결론 일치율이 54%에서 91%로 올랐습니다**

판정 기준(언급하지 않은 제외 조건은 해당 없음, 자금의 대상인지는 업종 코드로 판정)을 넣고 새 질문 G1~G12(228건)로 쟀습니다. 228건 중 정답이 후보(「가능」 또는 「확인 필요」)인 것은 27건이고, 나머지 201건은 「불가」입니다.

방식

후보로 낸 수

맞은 후보

놓친 후보

잘못 넣은 후보

재현율

정밀도

결론 일치율

판정 기준 없는 온톨로지

116

27

0

89

100% (27/27)

23% (27/116)

54% (124/228)

**판정 기준 + 업종 코드**

29

21

6

8

78% (21/27)

72% (21/29)

**91% (208/228)**

- **판정 기준이 없을 때:** 사업자가 말하지 않은 사실을 모두 「모름」으로 보고 116건을 「확인 필요」 후보로 냈습니다. 정답 후보 27건을 모두 잡아 재현율은 100%였지만, 「불가」 자금 89건이 섞여 정밀도가 23%, 결론 일치율이 54%에 그쳤습니다.
- **판정 기준을 넣은 뒤:** 후보가 29건으로 줄었습니다. 잘못 넣은 후보가 89건에서 8건으로 줄어 정밀도 72%, 결론 일치율 91%가 됐습니다. 대신 정답 후보 6건을 「불가」로 놓쳐 재현율은 78%로 내려갔습니다. 놓친 6건은 외식업 자금 용도에 운영자금이 빠진 것처럼 데이터와 해석 규칙의 빈틈이 원인이었습니다.
- 한쪽만 맞힌 판정 건이 85 대 1로, 차이는 통계적으로 유의했습니다(p<0.001, 1차 정답 기준).

### **2) 이유까지 채점하자 온톨로지가 RAG보다 정확했습니다**

우연히 결론(가능, 불가, 확인 필요)만 맞힌 판정을 걸러 내려고, 결론만이 아니라 이유까지 정답표와 같아야 정답으로 채점했습니다(G1~G12, 228건).

방식

결론 일치

**이유까지 일치**

이유 오답

온톨로지

90% (206/228)

**89.5% (204/228)**

2

RAG

88% (200/228)

82.9% (189/228)

11

- 결론만 보면 차이가 유의하지 않았고(p=0.31), 이유까지 보면 유의했습니다(p=0.008).
- RAG가 틀린 이유로 맞힌 예: 중진공 재창업자금에서 정답의 「소상공인 융자 제외」 대신 「폐업 이력」을 들었습니다.

### **3) 온톨로지 + RAG는 후보를 만드는 온톨로지만 바꿔도 이유까지 일치가 크게 달라졌습니다**

RAG 쪽(프롬프트, 원문 구절)은 그대로 두고, 후보를 만드는 온톨로지만 판정 기준을 넣은 것으로 바꿨습니다.

방식

이유까지 일치

위음성

위양성

RAG

82.9%

2

20

판정 기준 없는 온톨로지 + RAG

82.5%

5

19

온톨로지

89.5%

7

8

**온톨로지 + RAG**

**92.1%**

8

**2**

- RAG보다 뚜렷하게 높았습니다(25 대 4, p<0.001). 온톨로지 단독과의 차이는 유의하지 않았습니다(p=0.11).
- **이득은 위양성을 줄인 데서 나왔습니다(8 → 2). 위음성은 줄지 않았습니다(7 → 8).** 판정 프로그램이 「불가」로 고정한 자금은 LLM이 되살리지 못합니다.
- 새 질문 H1~H12(3분류 판정)에서도 순서가 같았습니다. 결론 일치율 온톨로지 + RAG 96%, 온톨로지 93%, RAG 88%입니다.

### **4) 추가 시험: 여러 자금을 엮어야 답이 나오는 질문에서는 온톨로지가 더 정확하다는 근거가 나오지 않았습니다**

「자금 찾기」 질문은 자금마다 따로 판정하면 끝나서 관계가 쓰일 일이 거의 없었습니다. 그래서 여러 자금이 한도를 나눠 쓰거나, 서로 막거나, 이어지는 질문 20문항(94종 대상)을 따로 만들었습니다.

질문 유형은 넷이고, 유형마다 5문항입니다.

유형

예

조합

충남 소상공인자금과 한도우대 자금을 함께 쓸 때 총액

이력 파급

전남 창업자금을 받은 뒤 경영안정자금 한도

순서·경로

중진공 평가에서 탈락한 뒤 6개월 안에 신청할 수 있는 자금

영향 범위

중진공 5년 200억 실적 제한에도 신청할 수 있는 자금

최종 답(금액, 가부, 자금 목록)이 맞고 답을 정하는 원문 조건을 모두 들어야 정답(1점)으로 쳤습니다. 부분은 0점입니다.

방식

점수

정답

부분

오답

온톨로지

8 / 20

8

5

7

온톨로지 + RAG

11 / 20

11

6

3

**RAG**

**13 / 20**

13

5

2

- 온톨로지와 RAG의 차이는 통계적으로 유의하지 않았습니다(p=0.18).
- 온톨로지는 판정 결과와 관계 데이터만, RAG는 원문 구절 20개를, 온톨로지 + RAG는 둘 다 받았습니다.
- 한도 묶음으로 계산한 7문항은 모두 맞혔습니다. 틀린 문항의 원인은 아래와 같습니다(결과를 본 뒤의 분석).

  - 관계에 판정 기준과 비교할 사업자 값이 없음: 「중진공 평가 탈락 ─대체가능→ 재도약자금」이 있었지만 판정에 쓰이지 않았습니다.
  - 예외가 판정 조건이 아니라 메모에만 있음: 「신시장진출지원자금은 소상공인도 지원」
  - 판정 근거가 되는 기준 값을 넘기지 않음: 신용평점 기준(710·620점)

### **5) 시험을 만들며 배운 것**

- **정답을 만들며 정한 규칙은 판정 프로그램에도 필요합니다.** 검증 에이전트들이 질문에 적히지 않은 사실(체납 여부 등)을 서로 다르게 판정해, 「언급하지 않은 제외 조건은 해당하지 않는 것으로 본다」 같은 통일 기준을 줬습니다. 판정 프로그램에 빠져 있던 판정 기준이 바로 이것이었습니다(4장 1)).
- **정답표도 다시 검토해야 합니다.** 모든 방식이 정답과 같으면 보통 정답표를 믿고 넘어갑니다. 그런데 이런 판정 건 40건을 뽑아 원문과 다시 대조하니 3건은 정답표가 틀렸습니다. 방식들이 정답과 같다고 해서 정답표가 맞다는 보장은 없습니다.
- **단계를 나눠 재야 어디서 틀렸는지 압니다.** 정답 프로필을 넣어도 결론 일치율이 같아(92%), 남은 오류가 질문 해석이 아니라 판정 프로그램·데이터 쪽임을 알았습니다.

## **5. 그래도 온톨로지가 도움이 되는 것**

4주가 또 이렇게 지나가서, 일단 여기까지의 실험에서 온톨로지가 어떻게 도움이 될지를 뽑아 보았어요.

도움이 되는 것

근거

확인 여부

자금 전체를 빠짐없이, 이유까지 맞게 판정한다

이번 주: 이유까지 일치 온톨로지 89.5% 대 RAG 82.9%(p=0.008)

**측정함**

후보를 추리는 앞단을 맡는다

이번 주: 온톨로지 + RAG 92.1%, RAG 대비 p<0.001, 위양성 2 대 20

**측정함**

판정 이유를 요건 단위로 추적할 수 있다

자금마다 어느 요건 때문에 불가인지 나와서, 결론만 우연히 맞은 판정을 가려냈고(RAG 11건, 온톨로지 2건), 틀린 판정은 어느 데이터를 고칠지 바로 찾았다

사례로 확인

반대로, 온톨로지만 있다고 저절로 도움이 되지는 않았습니다.

- 판정 기준 없이 온톨로지만 쓰면 결론 일치율이 RAG보다 낮았습니다(54% 대 88%).
- 관계 질문에 대한 유의성은 아직 판단을 못했어요. 판정 기준 정의에서 누락을 한 것이라 아직 결론을 내지는 않았습니다.

## **6. 4주 소회**

1. **실제 문제와 실제 데이터에서 출발하지 못했어요.** 「해결할 문제」에서 출발해 실제 데이터로 만들어야 하는데, 공개된 정보에서 스터디 재료를 찾아 진행하다 보니 부족하다는 느낌이 남아요.
2. **기대했던 온톨로지까지는 가지 못했어요.** 제가 생각한 온톨로지는 관계로 엮어 의사결정을 하고, 변화를 동적으로 추적하는 멋진 모습이었어요. 그런 재료와 결과를 만들지 못해 아쉬움이 남아요.
3. **데이터화 만큼 판정 기준과 그 정확도를 높이는 과정이 더 중요해 보여요.** 온톨로지를 비정형 데이터를 온톨로지 데이터로 바꾸는 일로만 생각했어요. 그런데 실제 구축에서는 그 데이터로 판정하는 기준을 정의하고, 판정 결과의 정확도(재현율과 정밀도)를 높이는 과정을 설계하는 일이 더 중요할 것으로 보여요.