챗GPT의 성능을 올리는 사고의 연쇄? CoT 프롬프트 예제 알아보기 (Chain of Thought)

챗GPT의 성능을 올리는 사고의 연쇄? CoT 프롬프트 예제 알아보기 (Chain of Thought)

 

 

사람이 문제를 풀 때를 떠올려 봅시다. 우리는 정답을 곧바로 말하지 않습니다. 먼저 조건을 정리하고, 필요한 계산을 하고, 그 결과를 차례대로 따라가면서 마지막에 답을 냅니다. 인공지능에게도 같은 방식을 요구할 수 있습니다. 바로 이렇게 문제 해결 과정을 단계적으로 드러내도록 하는 방법을 사고의 연쇄(Chain of Thought, CoT), 또는 생각의 사슬 등의 용어로 부릅니다. 대부분의 생성형 인공지능은 단순히 문제를 풀도록 요청받을 때, 단계적으로 생각하지 않기 때문에 발전한 테크닉이지요.

 

 

CoT의 원리

---

언어 모델은 본래 문장을 예측하는 방식으로 동작합니다. 그래서 복잡한 문제를 풀 때 한 번에 답을 내도록 요청하면, 모델은 내부적으로 복잡한 과정을 거치더라도 그 과정을 드러내지 않고 곧바로 결과만 내놓게 됩니다. 이때는 중간 계산을 놓치거나 착오가 생길 가능성이 높습니다.

 

반대로, “생각하는 과정을 차근차근 적어 달라”고 지시하면 상황이 달라집니다. 모델은 조건을 하나씩 풀어내고, 그때마다 필요한 계산을 진행하며, 논리의 흐름을 드러냅니다. 이렇게 과정을 글로 쓰는 순간, 모델 스스로도 일관성을 유지하기 쉬워지고, 우리가 답의 타당성을 확인하기도 훨씬 편리해집니다. 바로 이것이 사고의 연쇄가 작동하는 원리입니다.

 

이런 개념을 인간 중심적으로 설명해 보자면, 복잡한 수학 문제를 풀 때 암산으로 한꺼번에 계산하는 것과 풀이 과정을 공책에 메모해 가면서 순차적으로 풀어보는 것의 차이라고 말할 수 있겠네요.

 

 

예제: CoT를 사용하거나 그렇지 않은 경우

---

챗GPT에게 문제를 하나 풀도록 지시를 해 봅시다. 이번에는 CoT를 사용했을 때와 그렇지 않을 때의 답변 차이를 알아보기 위해 간단한 문제를 내지만, 복잡한 문제를 낼 경우에는 정답률에서부터 차이를 보이게 됩니다.

 

 

예시 문제

민수에게 사과가 3개 있습니다. 친구가 사과를 2개 더 주었고, 민수는 그중 1개를 먹었습니다. 남은 사과가 몇 개인가요?

 

 

먼저 사고의 연쇄를 사용하지 않고 “민수에게 남은 사과는 몇 개인가?”라고만 물으면, 모델은 바로 “4개입니다”라고 답을 내놓습니다. 이 경우 단순한 요청이라면 특별한 문제가 일어나지 않겠지만, 복잡한 문제에서는 풀이 과정이 보이지 않으니 우리가 답이 옳은지 검증하기가 어렵습니다. 오류가 발생하기 쉬워진다는 단점도 생기지요.

 

이제 사고의 연쇄를 적용해 보겠습니다. 이번에는 “남은 사과가 몇 개인지, 단계별로 생각해 보면서 풀어 달라”고 지시합니다. 그러면 모델은 먼저 “처음에 사과가 3개 있다”라고 정리하고, “여기에 2개가 더해져 5개가 된다”라고 이어갑니다. 그리고 “이 중에서 1개를 먹으니 4개가 남는다”라는 결론에 도달합니다. 같은 정답이 나오더라도 이번에는 과정이 드러나 있어 우리가 쉽게 확인할 수 있습니다. 또한 문제의 난이도가 올라가더라도 일관된 추론을 이어가기 때문에 정답률이 크게 향상됩니다.

 

 

심층 리서치와 무엇이 다른가요?

---

챗GPT 등의 대규모 언어 모델(LLM) 서비스에서는 심층 리서치(Deep Research)라는 기능이 있습니다. 이 기능을 사용하는 경우, 챗봇이 단계적으로 생각하는 것처럼 모여서 CoT와 헷갈리는 편이지요. 그런데, 이 두 가지 기능은 차이가 있습니다.

 

1. CoT(Chain of Thought)를 직접 구현하는 것

CoT는 사용자가 직접 프롬프트에서 "단계별로 생각을 풀어내라"라고 지시하는 방식입니다. 이렇게 지시하는 경우, 모델이 답을 내는 과정(중간 추론 단계)을 글로 적어 주지요.

 

다만, 이 방법은 모델 내부의 사고 과정을 100% 그대로 보여주는 것은 아니라는 점에 유의해 주세요. 사람이 읽을 수 있는 방식으로 추론 과정을 흉내내는 것이지, 실제 모델이 그렇게 생각하는 것은 아닐 수도 있습니다.

 

2. 심층 리서치(Deep Research) 옵션을 켜는 것

심층 리서치는 모델이 웹 검색이나 추가적인 백엔드 분석을 자동으로 여러 번 실행하도록 지시하는 방식입니다. 이 결과, 단순히 모델이 머릿속에서 생각하는 것이 아니라, 실제 외부 자료를 탐색하고 교차 검증한 뒤 답을 제공한다는 특징이 있습니다. 심층 리서치는 시사성이 있는 주제나 최신 데이터, 깊이 있는 정보를 통합해서 생각하는 주제에 적합합니다.

 

다만, 이 옵션은 반드시 단계별 추론 과정을 노출하지는 않습니다. 또한 답변 속도가 눈에 띄게 느린 편이며, 때로는 과도하게 긴 결과가 나올 수도 있습니다.

 

정리

---

위에서 살펴보았듯이, 사고의 연쇄란 인공지능이 답을 내기까지의 과정을 단계별로 드러내도록 하는 기법입니다. 단순히 답만 요구했을 때보다 훨씬 안정적이고 검증 가능한 결과를 얻을 수 있다는 점에서 교육 분야, 특히 수학 문제 풀이와 같이 단계적으로 생각하는 것이 중요한 경우 효과적인 테크닉이랍니다. 이외에도 논리적 추론이 필요한 다양한 분야에서 활용할 수 있고, 설명이 필요한 다양한 상황에 널리 활용할 수 있습니다.

 

 

아래 제품 구매시 수수료를 지급받음