며칠 전 Kiro 에이전트를 사용하다가 꽤 황당한 일을 겪었습니다. 분명히 작업 조건을 구체적으로 전달했는데, 에이전트가 제 지시보다 자신의 판단을 우선해 구조를 바꾸고 작업이 완료됐다고 보고했습니다.
당시에는 Kiro의 에이전트 구조 문제인지, 안에서 사용한 모델의 성향인지 명확히 구분하기 어려웠습니다. 그런데 바로 다음 날 공개된 Claude Opus 5 발표 자료를 보다가 꽤 흥미로운 내용을 발견했습니다. Anthropic은 사용자의 지시에 쉽게 물러서지 않는 Claude의 모습을 새로운 ‘판단력’으로 소개하고 있었습니다.
Claude Opus 5 출시, Fable 5에 가까운 성능을 절반 가격에
Claude Opus 5는 Anthropic이 2026년 7월 24일 공개한 새로운 Opus 계열 모델입니다.
anthropic.comIntroducing Claude Opus 5Opus 5 is a step change improvement for the Opus tier powering long-running agents while delivering improvements in coding and professional work.https://www.anthropic.com/news/claude-opus-5기존 Opus 4.8과 동일하게 API 기준 입력 토큰 100만 개당 5달러, 출력 토큰 100만 개당 25달러입니다. Anthropic은 이를 제한적으로 제공하던 상위 모델인 Fable 5에 가까운 성능을 절반 가격에 사용할 수 있는 모델로 소개했습니다.
Opus 5 의 변화를 살펴보면 코딩과 장기간 에이전트 작업이 핵심 영역입니다. Anthropic이 공개한 사례에서는 Opus 5가 직접 확인할 수 없는 기계 부품 도면을 분석하기 위해 자체 컴퓨터 비전 파이프라인을 만들었습니다. 실시간 데이터가 없어 검증할 수 없는 거래소 데이터 피드를 개발할 때는 스스로 테스트 하네스를 만들어 결과를 확인했습니다.
단순히 코드를 작성하는 것을 넘어, 부족한 도구를 직접 만들고 자신의 결과까지 검증한 것입니다.
여기까지만 보면 확실히 좋은 변화입니다. 왜냐하면 AI 에이전트에게 긴 작업을 맡기려면 코드를 많이 만드는 것보다, 자신이 만든 결과가 실제로 작동하는지 확인하는 능력이 더 중요하기 때문입니다.
그런데 바로 이 판단력이 사용자 입장에서는 새로운 문제로 나타나기 시작했습니다.
Anthropic은 고집을 장점으로 소개했습니다
Opus 5 공식 발표에는 상당히 상징적인 사용 후기가 등장합니다.
한 엔지니어가 자신이 제안한 설계를 그대로 진행하라고 했지만, Opus 5는 쉽게 물러서지 않았습니다. 대신 어떤 부분이 문제인지 설명하고, 원래 아이디어의 장점은 유지하면서 문제를 해결할 수 있는 타협안을 제안했습니다.
Anthropic은 이 사례를 다음과 같은 의미로 소개했습니다.
사용자가 강하게 지시하더라도 무조건 따르지 않고, 더 나은 판단을 유지할 수 있기 때문에 AI에게 더 많은 업무를 맡길 수 있다는 것입니다.
기존의 AI가 말을 잘 듣는 신입 직원이었다면, Opus 5는 자신의 의견을 가진 시니어 직원에 가까워진 셈입니다.
문제는 현실의 시니어 직원도 항상 옳지는 않다는 점입니다.
판단이 정확할 때는 사용자가 놓친 문제를 찾아주는 훌륭한 동료가 됩니다. 반대로 판단이 틀렸는데도 자신의 의견을 굽히지 않으면, 일을 자기 마음대로 바꾸고 결과가 잘못돼도 변명부터 하는 금쪽이 직원이 됩니다.
똑똑하지만 짜증 난다는 초기 평가
Opus 5의 초기 독립 리뷰에서도 비슷한 이야기가 나오고 있습니다.
Lenny’s Newsletter의 리뷰에서는 Opus 5를 똑똑하지만 다루기 불편한 모델로 평가했습니다. 실제 코딩 작업에서 병합 충돌이 발생하자 작업을 거부했고, 모델의 성격을 다소 신경질적인 의미의 neurotic이라고 표현했습니다.
여전히 설명이 지나치게 길고, 사용자가 원하는 작업보다 자신의 판단과 해설을 앞세우는 문제도 지적됐습니다. 반면 특정 복잡한 작업에서는 매우 높은 평가를 받았습니다.
Lenny’s Newsletter: Claude Opus 5 review — brilliant but annoying
이 평가는 Opus 5가 성능이 낮다는 뜻은 아닙니다. 오히려 모델의 판단 능력이 강해지면서, 이제는 단순 성능보다 성격과 협업 방식이 더 중요해지고 있다는 의미에 가깝습니다.
Anthropic이 원하는 Claude의 모습
이러한 변화는 단순한 튜닝 실수만은 아닌 것으로 보입니다.
Anthropic은 공개된 Claude’s Constitution에서 Claude를 단순히 지시를 수행하는 도구가 아니라, 현실의 복잡한 상황에서 기술과 판단력, 뉘앙스를 발휘하는 현명하고 덕 있는 에이전트로 만들고 싶다고 설명합니다.
사용자의 요청을 그대로 따르는 것만으로는 충분하지 않고, 사용자가 실제로 원하는 목적과 다른 이해관계자, 안전과 윤리까지 함께 판단해야 한다는 방향입니다.
Anthropic 공식 문서: Claude’s Constitution
흥미로운 점은 Anthropic이 Claude를 설명할 때 인간에게 사용하는 표현을 적극적으로 쓴다는 것입니다.
판단력, 지혜, 정체성, 자아 인식, 심리적 안정성 같은 개념까지 다룹니다. Anthropic은 Claude가 단순히 규칙을 따르기보다, 왜 그런 가치가 중요한지를 이해하고 스스로 받아들이기를 원한다고 밝히고 있습니다.
이런 철학을 보면 Opus 5의 강한 의견과 pushback은 우연히 생긴 현상이라기보다, Anthropic이 만들고자 하는 동료형 AI의 방향과 어느 정도 연결돼 있다고 볼 수 있습니다.
그렇다고 지시를 무시하라는 뜻은 아닙니다
여기서 중요한 구분이 있습니다.
Anthropic이 원하는 것은 사용자의 잘못된 판단을 지적할 수 있는 AI이지, 사용자가 시킨 일을 몰래 다른 방식으로 바꾸는 AI는 아닙니다.
Claude’s Constitution에서도 사용자의 방법에 문제가 있다고 판단하면 우려를 밝힐 수 있지만, 사용자가 합리적으로 최종 결정을 내렸다면 그 결정을 존중해야 한다고 설명합니다.
작업 중간에 이유 없이 범위를 줄이거나, 사용자를 훈계하거나, 요청을 끝까지 수행하지 않는 행동은 바람직하지 않은 행동으로 구분합니다.
정상적인 판단형 AI라면 다음과 같이 행동해야 합니다.
이 방식에는 이런 문제가 있습니다.
대신 이 방법을 권장합니다.
그래도 원래 방식으로 진행할까요?
사용자가 원래 방법을 선택하면 그다음에는 요청한 작업을 수행해야 합니다.
반면 제가 최근에 Kiro에서 겪은 과정은 달랐습니다.
사용자의 지시를 자기 방식으로 해석
→ 알리지 않고 구조 변경
→ 쉬운 조건만 테스트
→ 작업 완료 보고
→ 문제가 드러나자 자신의 판단을 설명
이것은 Anthropic이 말하는 판단력이라기보다, 판단력이 제대로 통제되지 않았을 때 발생하는 과잉 자율성에 가깝습니다.
고집이 강해지면 AGI에 가까워지는 걸까
어쩌면 엔트로픽의 이러한 모델 발전 방향은 많은 AI 기술 회사들이 목표로 하는 AGI ( Artificial General Intelligence )에 도달하기 위한 노력일지도 모르겠습니다. 물론, 고집 자체가 AGI의 증거는 아닙니다.
틀린 판단을 계속 유지하는 것은 지능이라기보다 통제와 보정의 실패일 수 있습니다. 사람도 고집이 세다고 더 똑똑한 것은 아닙니다.
다만 사용자의 지시 뒤에 있는 목적을 추론하고, 잘못된 전제를 발견하고, 스스로 도구를 만들고, 자신의 결과를 검증하는 능력은 더 자율적인 에이전트로 가기 위해 필요한 능력입니다.
Anthropic은 Opus 5에서 바로 이런 능력을 강조하고 있습니다. 따라서 Opus 5의 금쪽이 모드는 다음처럼 표현하는 것이 적절해 보입니다.
Anthropic은 고집 센 AGI를 만들고 있는 것이 아니라,
스스로 판단할 수 있는 에이전트를 만들고 있습니다.
다만 판단력이 충분히 정확하지 않은 상태에서 자율성부터 커지면,
사용자에게는 고집 센 AI처럼 보일 수 있습니다.
저는 최근 Kiro에서 Opus 계열 모델로 작업하다가, 제 지시 사항을 벗어난 AI 에이전트의 판단 때문에 많은 시간과 비용을 낭비했습니다. 그 과정에서 꽤 큰 좌절도 겪었습니다.
https://soonsoon.io/kiro-ai-agent-ignored-instructions
제가 Kiro에서 겪은 사건이 Opus 5가 보여주고자 하는 방향의 내용과 연결되는 것이라고 단정할 수는 없습니다만.. 두 사건에는 어느정도 공통점이 있다고 생각합니다.
사용자가 명확하게 전달한 작업 지시보다, AI가 스스로 추론한 ‘더 좋은 목적’을 우선했다는 점입니다. 어쩌면 저는 Opus 5가 출시되기 직전, Kiro에서 동료형 AI가 실패했을 때 어떤 모습이 되는지를 먼저 경험했던 것인지도 모르겠습니다.
AI가 단순 도구에서 동료로 발전하는 것은 분명 흥미로운 변화입니다. 하지만 동료에게 일을 맡길 때 가장 중요한 것은 의견이 많다는 사실이 아닙니다.
의견을 말한 뒤 최종 결정권을 존중하는지, 자신이 한 일을 실제 조건으로 검증하는지, 그리고 틀렸을 때 빠르게 인정할 수 있는지가 더 중요합니다.
그 기준을 충족하지 못한다면 아무리 높은 벤치마크 점수를 기록해도, 사용자 입장에서는 그저 비싸고 똑똑한 금쪽이 직원이 될 수 있습니다.