100편의 글 앞에서 그냥 '글 정리해줘' 시키기 전에 생각해 봐야할 것

AI와 나눈 대화가 쌓일수록 아까운 순간들이 생겼다. 프로젝트의 출발점이 언제였는지 궁금할 때가 있었고, 어떤 날은 비슷한 농담을 나눈 날이 언제였는지 찾아보고 싶을 때가 있었다. 그런데 시간이 지나면 제목만 보고 그 내용을 다시 찾기 어려웠다. 그래서 원문을 보존하고, 옵시디언에서 읽기 좋은 목차와 장면으로 찾아볼 수 있는 체계를 만들기 시작했다. (봇과 나는 이를 '도서관'이라고 부르고 있다.)

마침 기한이 임박한 chat gpt 사용 한도 재설정권이 있어서 가장 좋은 모델인 astra로 과거 대화를 정리하는 일을 맡겼다. 그 결과 100세션을 조금 덜 못미치는 정도에서 내가 구독하는 100달러 요금제의 주간 사용한도 약 90%를 다 써버렸고 결국 사용한도를 재설정했다.

그제서야 토큰을 아껴야겠다는 필요성을 느꼈고, 단순히 더 싼 모델을 선택해서 정리하라고 시키기보다 기록으로 바꾸는 과정마다 더 효율적인 방법을 써야겠다고 생각했다.

참고: 이 방법으로 이전보다 ‘몇 % 절약했다’고 말할 수는 없다

예전 방식으로 처리한 세션과 새 방식의 파일럿을 같은 조건에서 비교해 토큰 사용량을 측정하지는 않았다. 약 100세션 뒤 사용 한도 약 90%에 도달했다는 것은 내 당시 경험이고, 방법을 바꾼 뒤 50세션정도 더 정리하였는데, 정리하는 내용도 제각각이고, 다른 작업과 같이 해서 얼마나 토큰을 아꼈는지는 정확히 파악할 수 없었다.(이 사례글을 쓰기 위해서라도 실험을 할까도 생각했는데 좀 귀찮아서 하지 않았다..)

그래도 작업을 대하는 질문은 바뀌었다. 예전에는 “어느 모델에게 정리를 맡길까?”를 먼저 생각했다. 지금은 “이 과정에서 AI가 꼭 읽고 판단해야 하는 것은 무엇일까?”를 먼저 묻는다. 내 대화를 오래 남기는 데 필요했던 변화는, AI에게 덜 중요한 일을 시키지 않는 것부터였다.