오늘은 최근에 AI 를 열심히 쓰다가 AI 에게 낚이면서 깨달은 이야기를 간단한 만화로 비유해서 후기로 남겨보려고합니다.
저는 지금 OpenAI 의 Codex ( 현재는 ChatGPT 데스크탑으로 변경 ) , AWS 의 Kiro 에이전트, 깃허브의 Copilot , Z.ai 의 ZCODE 등을 사용중에 있습니다.
그 중에서도 Codex 를 ChatGPT Pro 라이센스 덕분에 마음껏 쓰고있다가 최근 할인 계정 기간이 끝나면서 바로 pro 를 쓰기보다는 기존의 다른 에이전트들을 Codex 에서 쓰듯이 해야겠다. 하고 연구를 하던중..
때마침 Kiro도 이제 에이전트 모드를 지원하기 시작한다는 것을 깨닫고, 집중하고 있던 신규 기능일 Kiro 를 통해서 Opus 4.8 과 Sol 5.6 을 이용해서 며칠동안 낮과밤을 구분하지 않고 열심히 작업을 했습니다.
개인적으로 Codex 업무 환경은 쓰레드 중심의 작업이 가장 매력적이라고 생각했고, 마침내 Kiro 에서도 그것이 가능하다보니 아주 만족스럽다고 생각했습니다.
그런데.. 말입니다?
작업을 하다보니, 점점 더 원래 제가 요청했던 작업과는 다른 결과물이 나오는 사례가 여러차례 나오더군요.
결론부터 말하면, 시간은 시간대로 쓰고 돈은 돈대로 쓰고 ( 토큰 ) 결과물은 그냥 전과 별 다르지 않은 아주 최악의 결과가 나왔습니다.
그나마 다행히 모든 작업을 깃 브랜치와 워크트리로 관리하여 모든 히스토리가 남아있어서 몇시간에 걸쳐서 왜 이런 사태가 나왔는지 역추적을 해보니.. 작업중에 Kiro 에이전트가 자기가 알아서 '자신의 생각' 을 주입해서 제 멋대로 작업을 바꾸는 사태가 발생했던 것이었습니다.
말그대로 매우 허망하고 분노가 치솟더군요.
검색해보니 생각보다 비슷한 사례들이 꽤나 발생하는 것 같습니다.
특히나 그 문제를 깨닫고 왜 그렇게 했냐고 따져묻자, 오히려 저를 가르치려는 태도가 황당함 그 자체였는데..
아니, 내가 그 내용을 모르는게 아니지만 우리가 하는 작업은 아예 상관이 없다고..
그래서 일갈하고 맹비난을 하자 그제서야 자신의 실수를 인정하고 원인을 찾고 알려주네요..
으아아아아아아악
진짜 화도나고 현타가 쎄게 왔는데..
잠시 후 정신을 차리고 왜 이런일이 있었는지를 한번 정리해보고 AI 시켜서 만화로 그려보라고했습니다.
상황설정은, 사람들이 많이와서 주문이 자주 들어가는데 주방에왔다갔다 하다가 꼬여서 결과를 받는 경우가 많이 생겨서 그것을 좀 더 직관적으로 바꾸기 위해서 "태블릿 주문" 을 도입한 중식 집에서 생긴일로 설정해봤습니다.
손님이 너무 많고, 주문 실수가 자주생기다보니, 손님이 테이블에서 태블릿으로 직접 주방에 주문이 들어가도록 매니저 ( AI 에이전트 ) 지시를 하는 대표.
매니저는 대표의 의도를 다 파악했다고 이야기하고 바로 추진!! 다 잘완료했다고 태블릿도 사고 그럴싸하게 준비를 하지만... 사실은 굳이 이걸 왜하는지도 잘 모르겠고 새로운 방법 배우기도 귀찮으니 다 된척을 합니다.
결과적으로 주문을 태블릿으로 하지만 그 태블릿의 주문내용을 다시 사람이 주방으로 보내주는 뻘짓 완성..
자.. 하지만 이러한 개선이 다 완료되었다고 믿는 대표는..
늦은 새벽 ( 실제로 제가 다된지 알고 ㅠㅠ 새벽에 테스트 시켰는데 잘되서 감동먹고 다음 업무로 넘어갈뻔함.. ) 간짜장을 한번 시켜보고, 자신의 생각대로 음식물이 나오는걸 보고 감동~!!!
그런데 뭔가 수상한 (자신의 운영 짬밥으로 ) 좀 복잡한 주문을 테스트해보는데..?
안타깝게도 처음부터 이러한 문제를 개선하려고 했던 복잡한 상황에서는 똑같은 문제들이 생기게되고 바뀐게 없는 것을 확인한 대표는 매니저에게 따져묻는데..
오히려 원래 이런건 태블릿으로 하면안된다고 그래서 주문만 태블릿으로 받고 굳이 과거의 방식으로 다시 주문을 넣고 있었다고 가르치듯이 이야기하는 매니저..
그리고 일갈을 당하고 나서야 인정하고 고치는 엔딩으로..
뭔가 저의 고통(?) 을 승화시키기위해서 이런식으로 정리를 해봤는데요.
실제로 검색해보니 Kiro 에이전트에서 특히 엔트로픽 계열의 모델 사용시에 이러한 일이 많이 생긴다고 합니다. 짧은 지식으로는 엔트로픽은 좀 더 "인간" 적인 AI 를 만들려고 노력을 한것으로 알고 있는데.. 너무 인간스럽게 만들고 있는게 아닌지..
곰곰히 생각해보니 저도 과거에 팀작업을 많이 하거나 다른 분들과 일을할때 실제로 이런일을 많이 겪어본 것 같기도하고... 저도 주니어때 사실 업무를 잘 이해하지도 못하고 혼자 넘겨짚어서 알아서 작업을 하다가 들킬까봐 조마조마하면서 나중에 사고를 쳤을때 일단 변명부터 하다가 호되게 혼난 기억도 있고..
여러모로 정말 인간다운 AI 가 아닌가 생각하면서도 동시에 이런일이 생기지않도록 작업 원칙과 방식을 잘 정리하고 주로 사용하는 코드 에이전트의 특성과 사용 방법등을 다시 한번 꼭 공부해야겠다는 값비싼 경험이 된 사건이었습니다.
그런의미에서... 현시점 OpenAI 의 ChatGPT 데스크탑이 1티어인것 같은데..
또 더 좋은게 나오겠죠?