[Claude vs GPT] 같은 프롬프트, 다른 결과— AI 에이전트 프롬프트 이식이 실패한 이유

"Claude에서 잘 됐으니까, GPT에 붙여 넣으면 되겠지. 어차피 AI인데. 10분도 안 걸리겠다."

그 생각이 오산이었다.

회사에서 내부 문서 기반 Q&A 에이전트를 만들었다. Claude Opus로 꽤 공들여 만든 버전이었는데, 어느 날 GPT 버전도 필요해졌다. 프롬프트는 이미 있으니까, 그냥 복사해서 붙여 넣으면 되는 거 아닌가? 그렇게 생각했다.

이 글은 그 생각이 왜 틀렸는지에 대한 이야기다. 직접 만들면서 겪은 경험담과, Claude랑 GPT 둘 다한테 공평하게 "왜 이런 차이가 생기냐"라고 물어봐서 정리한 이유를 함께 담았다.

---

먼저 Claude로 만들었다 — 꽤 복잡한 에이전트였다

에이전트의 목적은 단순했다. 회사 내부 문서 여러 개를 올려두고, 질문하면 관련 문서를 찾아서 답변해주는 것. 그런데 문서 구조가 단순하지 않았다.

각 문서들이 서로 연결되어 있어서, 하나의 질문에 여러 문서를 동시에 참조해야 완전한 답변이 나오는 구조였다. 예를 들어 A 문서에서 규정을 확인하고, B 문서에서 예외 조건을 확인하고, 그걸 합쳐서 대답해야 하는 식이었다.

[사용자 질문]
    ↓
[관련 문서 검색]
    ↓
[여러 문서 교차 참조]
    ↓
[규칙에 따라 통합 답변 생성]

프롬프트도 복잡했다. "이런 조건일 때는 이렇게 답해라", "출처를 반드시 명시해라", "여러 문서에 걸친 내용이면 통합해서 설명해라" 같은 응답 규칙이 여러 개였다. Claude Opus는 이 복잡한 구조를 꽤 잘 소화해 냈다. 규칙이 많아도 흔들리지 않았고, 여러 문서를 참조해서 하나의 답변으로 정리하는 것도 기대 이상으로 잘 됐다.

---

"10분이면 되겠지" — 그 자신감의 근거와 오산

GPT 버전도 필요해졌다. 이미 잘 만들어진 프롬프트가 있으니, 그냥 복사해서 GPT에 붙여넣으면 끝이라고 생각했다. 머릿속으로 이미 일정을 짜고 있었다.

프롬프트 복붙 → 간단히 테스트 → 완료. 점심 먹기 전에 끝나겠는데? 

 

어차피 AI는 다 비슷하게 작동하는 거 아닌가? 라는 전제가 깔려 있었다. GPT도, Claude도 다 LLM인데, 같은 말을 넣으면 비슷한 결과가 나오겠지 라고. 그게 틀렸다.

---

GPT에 붙여넣었더니 — 규칙이 많을수록 더 크게 흔들렸다

프롬프트를 그대로 복사해서 GPT에 적용했다. 결과는 달랐다. 규칙 일부를 지키지 않거나, 여러 문서를 교차 참조하지 않고 하나의 문서만 보고 답변하거나, 문서 간 연결이 필요한 질문에서 특히 차이가 두드러졌다.

Claude Opus는 규칙이 여러 개여도 전체 의도를 파악하고 일관되게 응답했는데, GPT는 규칙이 많아질수록 일부를 놓치는 현상이 생겼다. 특히 문서 여러 개를 묶어서 대답해야 하는 질문에서 차이가 컸다. "10분이면 끝나겠다"라고 생각했던 작업이, 결국 GPT 프롬프트를 처음부터 다시 설계하는 데 하루를 넘게 쓰게 됐다.

---

왜 이런 차이가 생길까? — 두 AI에게 직접 물어봤다

Claude랑 GPT 둘 다한테 공평하게 같은 질문을 했다. "왜 같은 프롬프트에서 결과가 다르냐"라고. 두 모델이 공통적으로 짚은 이유 네 가지를 정리했다.

① 지시를 해석하는 방식이 다르다

Claude Opus는 복잡한 지시 전체를 하나의 의도로 압축해서 이해하는 경향이 있다. "이 사람이 궁극적으로 원하는 게 뭔지"를 추론하고 행동한다. 반면 GPT는 지시를 순서대로, 문자 그대로 처리하는 방식에 가깝다. 그래서 규칙이 많아질수록 뒷부분에 있는 규칙이 흐려지거나 누락되는 현상이 생긴다. 이걸 AI 연구에서는 "Lost in the Middle" 문제라고 부르기도 한다.

② 프롬프트가 길수록 GPT는 오히려 흔들린다

프롬프트가 길수록 더 똑똑해진다고 생각하기 쉬운데, 실제로는 반대인 경우가 많다. 규칙이 수십 개, 예외 조건까지 겹치면 GPT는 핵심 태스크 집중력이 떨어지고, 정작 중요한 답변보다 형식 맞추기에 집중하는 경향이 생긴다고 한다. Claude Opus는 이런 복잡한 지시 구조를 비교적 잘 버티는 편이라는 평가가 많다.

③ 여러 문서를 교차 참조하는 능력이 다르다

문서 검색 에이전트에서 핵심은 검색 → 관련성 판단 → 정보 압축 → 통합 답변이다. GPT는 검색된 문서에서 관련 부분을 발췌하는 방식에 가깝고, Claude Opus는 필요한 문맥만 보존해서 신중하게 종합하는 스타일이라는 평가가 많다. 문서 간 연결이 필요한 질문일수록 이 차이가 크게 드러난다.

④ 두 모델이 잘 맞는 구조 자체가 다르다

Claude Opus는 복잡한 역할 분리와 긴 지시 구조에 강하고, GPT는 짧고 명확한 지시에 툴 중심 구조가 잘 맞는다고 한다. 즉, Claude용으로 최적화된 복잡한 프롬프트가 GPT에게는 오히려 과부하가 될 수 있다는 것이다.

	Claude(Opus)	GPT
지시 해석 방식	의도 중심, 전체 통합	문자 중심, 순차 처리
긴 프롬프트 처리	비교적 안정적	규칙 희석 가능성
다중 문서 참조	신중하게 통합	표면적 발췌 경향
잘 맞는 구조	복잡한 orchestration	짧고 명확한 지시 + 툴

※ 어느 모델이 더 좋다는 이야기가 아니다. 설계 철학이 다를 뿐이다.

---

프롬프트는 복사되지만, 모델의 해석 방식은 복사가 안 된다

결론은 단순하다. 복잡한 프롬프트일수록 모델 간 이식은 더 위험하다. 규칙이 많고 문서 구조가 복잡할수록, 그 복잡함을 소화하는 모델의 능력 차이가 결과에 직접 드러난다.

"10분이면 되겠지"는 프롬프트가 단순할 때만 통하는 말이었다. AI 에이전트를 다른 모델로 옮길 때는, 프롬프트 이식이 아니라 그 모델에 맞는 재설계라고 생각하는 게 맞는 것 같다.

---

비슷한 경험 있으신가요? 어떤 모델에서 프롬프트가 더 잘 됐는지 댓글로 나눠주세요 :)