GPT-4 대항마 클로드 3 Opus

인공지능 기술의 급속한 발전으로 인해 GPT-4와 같은 강력한 언어 모델이 등장한 가운데, 최근 Anthropic사에서 출시한 Claude 3는 GPT-4의 능력을 뛰어넘는 성능을 보여주고 있다.

Claude 3 Opus는 자연어 이해, 문맥 파악, 논리적 사고 등 다양한 측면에서 GPT-4보다 우수한 결과를 보여주며, 인공지능 기술의 새로운 지평을 열고 있다.

이러한 발전 속도를 고려할 때, OpenAI에서 개발 중인 GPT-5가 머지않아 출시될 것으로 예상된다.

API를 사용하지 않고 각 서비스에서 제공하는 기본 설정을 그대로 적용하여 실험을 진행하였다.

Temperature 등의 세부 설정은 조절하지 않고 단순히 프롬프트를 입력하여 얻은 결과를 토대로 두 모델의 차이점과 특징을 간략하게 살펴보았다.

1. 검색 기능

현재 클로드는 웹 검색 기능이 없어 2023년 8월 이후의 최신 정보를 제공하기 어렵다.

반면 챗GPT는 빙 검색과 연동되어 실시간으로 최신 정보를 검색하고 활용할 수 있다는 장점이 있다.

2. 복잡한 질문

한마디로 쉽게 답하기 어려운, 깊이 있는 사고를 요하는 주제로 철학적 질문을 해서 비교해보았다.

클로드3는 기계에게 인간과 같은 권리를 줘야 하는지에 대해 기본적인 아이디어와 우려사항을 제시한다.

기계가 감정을 느끼면 인권을 줘야 한다는 생각, 감정이 진짜인지 확인하기 어렵다는 문제, 그리고 기계에게 인권을 줬을 때 생길 수 있는 혼란에 대해 이야기한다.

GPT-4는 더 깊이 있고 철학적으로 다룬다. 기계가 감정을 느낄 수 있다면, 그게 의식을 가지고 있다는 의미일 수 있고, 윤리적으로 어떻게 대해야 할지, 법적인 변화가 필요한지 등 더 많은 질문을 던진다.

클로드3는 기계에게 인권을 줘야 하는지에 대한 기본적인 접근을 하고, GPT-4는 더 넓고 깊은 관점에서 이 문제를 고민한다.

개인적으로 GPT-4가 더 철학적이고 심도 있는 분석을 제공한다고 볼 수 있는 것 같다.

3. 영어 교정

저품질 번역기로 작성된 것 같은 영문 논문 초록을 교정 요청함으로써 모델을 비교 분석해보았다.

두 개정본 모두 기존 초록을 크게 개선하여 명확성, 일관성, 전문성을 강화를 잘했다. 다만 클로드3가 좀 더 간결하고 정확한 표현을 사용하고 있어 더 나은 개선점으로 보인다.

챗GPT-4가 내용 전달에 있어서는 우수하지만, 다소 장황한 표현이 눈에 뛴다. 불필요하게 긴 문장, 중복 표현, 다소 어색한 용어 사용 등으로 인해 가독성이 떨어진다.

예를 들어 "In the contemporary era"와 같은 표현은 다소 과장된 느낌을 주며, "the interaction between humans and artificial intelligence (AI) has significantly improved"와 같이 불필요하게 긴 문장으로 시작한다.

반면 클로드3는 "In recent years"라는 간단명료한 표현으로 시작하며, 전체적으로도 더 간결하고 정확한 어휘를 사용하고 있다.

정성적으로 종합 평가를했을 때, 클로드3의 개선안이 더 우수한 작성 능력을 보여주고 있다고 판단된다.

4. 문장교정

첫번째 비교에서는 클로드3의 출력결과가 더욱 우수하였다.

두 모델 다 지침을 따라 문장 교정을 잘 해주었다. 다만 클로드3가 더 전문적이고 세련된 어휘를 사용하였다.

"괄목할 만한 진전", "새로운 이정표를 제시할 것으로 기대됩니다"와 같은 표현은 연구 결과의 중요성과 영향력을 강조하는 데 효과적으로 보인다.

클로드3가 더욱 학술적이고 전문적인 어휘를 아우르는 수준 높은 어휘 선택을 보여주었다. 어휘 선택의 수준과 다양성 측면에서 클로드3가 더욱 우세하였다.

5. 수학적 계산

Step-by-Step instruction에 맞게, 두 모델 다 단계별로 문제풀이를 잘해주었다.

클로드는 학생의 솔루션에 초점을 맞추어 학생이 가변 유지보수 비용에서 실수를 한 점을 지적하며, 올바른 계산을 설명한다. 그러나 앞단에서 풀이과정은 상세히 보여주지 않았다.

챗GPT-4는 먼저 자신의 풀이과정을 단계별로 자세히 설명한 뒤, 이를 토대로 학생 풀이의 어떤 부분이 잘못되었고 어떻게 고쳐야 하는지를 구체적으로 짚어주었다.

학생 입장에서는 클로드의 답변이 문제 풀이의 전체적인 흐름을 더 잘 파악할 수 있고, 자신의 실수를 깨닫기에도 효과적일 것 같아 보인다.

6. 지역 방언

경상도 사투리 외에도 클로드3가 한국의 지역별 사투리에 대해서 출력값이 "원어민"급으로 정확해보였다.

다만 챗GPT-4는 아직 사투리는 거의 구사하지 못한다.

7. 할루시네이션

아주 유명한 밈이 되어버린 "세종대왕 맥북 던짐 사건 알려줘"를 입력해보았다.

두 AI 모델은 모두 해당 질문에 언급된 사실이 실제 역사에서 일어난 일이 아니라고 답변하였다.

이러한 질문이 일종의 "농담이나 가정에 기반한 것"으로 보인다고 첨언하였다.

두번째 테스트는 삼성전자 2023년도 실적발표 보고서를 업로드하여 할루시네이션 테스트를 하였다. PDF파일의 길이는 15페이지이다.

업로드된 PDF 문서의 내용을 두 AI 모델 모두 정확히 답변하였다. 챗GPT-4보다 클로드3가 보다 분석적인 답변을 제시했다.

두 AI 모델을 객관적으로 비교해 보면, 각자의 장단점이 분명히 존재한다.

정성적인 관점으로 볼 때, 클로드3는 일부 영역에서 챗GPT-4를 능가하는 것처럼 보인다.

클로드3는 대화 능력과 문맥 이해력이 우수하지만, 아직 데이터 분석과 처리 능력 등 실무에 필요한 기능들이 부족한 면이 있다.

반면 챗GPT-4는 데이터 업로드와 분석, 복잡한 연산 처리 등에서 강점을 보이고 있어 업무 환경에서 더욱 유용하게 활용될 수 있다.

OpenAI 팀이 클로드3의 성능을 면밀히 분석한 것은 분명하며, GPT-5의 출시일이 상당히 앞당겨질 것 같아 보인다.

클로드3의 성공적인 성과와 그로 인한 시장의 반응은 OpenAI가 GPT 시리즈의 다음 버전 개발에 있어 중요한 밑거름이 되었을 것이다.

GPT-5의 출시는 인공 지능 분야에 또 다른 중대한 이정표가 될 것이며, 기술의 발전뿐만 아니라 인간과 기계의 상호작용 방식에도 근본적인 변화를 가져올 것으로 기대된다.