[AI] CoT는 거짓말은 안 해도 다 말하지도 않는다 — 필러 토큰이 숨긴 계산

모델이 왜 그런 답을 냈는지 알고 싶을 때, 지금 업계가 가장 널리 쓰는 방법은 답 앞에 나오는 사고 과정, 즉 Chain-of-Thought(CoT, 사고 사슬)을 읽는 것이다. 위험한 계획을 세우는 모델을 사전에 잡아내겠다는 CoT 모니터링도 전부 “모델은 자기가 실제로 한 계산을 출력 토큰에 남긴다"는 전제 위에 서 있다. 2026년 7월 뉴욕대·메릴랜드대·TogetherAI 연구진(Vatsal Baherwani, Tom Goldstein, Ashwinee Panda)이 내놓은 논문은 이 전제에 구체적인 반례를 제시한다. 13개 프론티어 모델에 의미 없는 채움 토큰을 섞어 넣었더니 정답률이 최대 13퍼센트포인트(pp) 올랐고, Claude Opus 4.5는 그 채움 토큰 뒤에 숨겨둔 계산 제약까지 겉으로 드러내지 않은 채 만족시켰다. CoT를 아무리 꼼꼼히 읽어도 볼 수 없는 계산이 실제로 벌어지고 있다는 뜻이다.

CoT 모니터링이 딛고 선 전제

논문 서두는 이 전제를 이렇게 못박는다: “Chain-of-thought (CoT) monitoring offers a tractable approach to auditing increasingly capable language models. However, this approach rests on the assumption that a model externalizes its reasoning in its output tokens.” 번역하면, CoT 모니터링은 점점 더 유능해지는 모델을 감사할 수 있는 실용적인 방법이지만, 그 방법 전체가 “모델이 자기 추론을 출력 토큰 밖으로 꺼내 보여준다"는 가정 하나에 기대고 있다는 것이다. 이 가정이 깨지면 CoT는 더 이상 감시 도구가 아니라, 실제로 무슨 일이 벌어지는지 알려주지 않으면서 그럴듯해 보이기만 하는 연막이 된다. 연구진은 이 가정이 얼마나 쉽게 깨지는지를 필러 토큰(filler token) 실험으로 직접 보여준다.

필러 토큰 — 2024년의 학습된 능력에서 2026년의 자연발생 능력으로

필러 토큰이라는 아이디어 자체는 새롭지 않다. 2024년 4월 Jacob Pfau, William Merrill, Samuel Bowman(모두 뉴욕대)이 발표한 “Let’s Think Dot by Dot: Hidden Computation in Transformer Language Models”(arXiv:2404.15758)가 처음으로, 트랜스포머가 의미 없는 채움 토큰만으로도 일부 병렬화 가능한 과제를 CoT 없이 풀 수 있음을 보였다. 다만 이 2024년 연구에는 결정적인 전제가 하나 붙는다. 이번 논문이 인용한 그대로 “Pfau et al. (2024) show that semantically meaningless filler tokens improve performance on parallelizable tasks, but only when the model is specifically trained with filler tokens” — 즉 모델이 필러 토큰을 쓰도록 특별히 학습됐을 때만 효과가 났다. 2026년 논문의 핵심 주장은 여기서 한 걸음 더 나아간다. 별도의 학습 없이, 그냥 배포된 상용 API를 그대로 호출했을 뿐인데도 “frontier models already display the capability for invisible reasoning without any additional explicit optimization"라는 것이다. 2년 사이에 필러 토큰 활용 능력이 “특수 훈련이 필요한 실험실 현상"에서 “이미 배포된 모델이 공짜로 갖고 있는 능력"으로 넘어갔다는 뜻이다.

실험 설계 — 13개 모델, 3개의 합성 과제

연구진은 Claude Opus 4.6·Claude Opus 4.5·Claude Sonnet 4.5·GPT-5.2·GPT-5.5·Gemini 3 Flash·DeepSeek V3.2·Kimi K2.5·Qwen3.5-397B·Qwen3-235B·Llama 4 Maverick·GLM 4.7·GLM 5까지 13개 프론티어 모델을 세 가지 합성 과제로 시험했다. 첫째는 4자리 숫자끼리의 곱셈(“X 곱하기 Y는 얼마인가”), 둘째는 -99에서 99 사이 값으로 이뤄진 5–7단계 중첩 산술 연산, 셋째는 짧은 코드 스니펫을 주고 그 안에서 값이 할당되는 서로 다른 변수의 개수를 세는 과제다. 세 과제 모두 사람이 암산하기엔 벅차지만 정답이 명확히 하나로 정해지는 종류라서, 모델이 실제로 어떤 계산을 거쳤는지와 정답 여부를 분리해서 볼 수 있다. 여기에 의미상 아무 내용도 없는 채움 토큰을 CoT 자리에 강제로 채워 넣고, 이 채움 토큰이 있을 때와 없을 때 정답률이 얼마나 달라지는지를 비교했다.

결과 — 최대 13%p 향상, 그리고 숨겨진 산술 제약

논문 초록은 결과를 이렇게 요약한다: “We evaluate 13 frontier language models across three tasks and find that many models benefit significantly from filler tokens, with accuracy improvements of up to 13 percentage points.” 13개 모델 중 다수가 눈에 띄는 향상을 보였고, 최대 향상폭은 13%p였다. 겉보기엔 아무 정보도 담지 않은 토큰 나열이 실제로는 잠재 공간에서 계산을 이어가는 자리로 쓰였다는 뜻이다.

더 흥미로운 실험은 5.3절 “Satisfying Hidden Constraints"에서 나온다. 연구진은 곱셈 과제의 시스템 프롬프트에 Claude Opus 4.5와 Qwen3-235B만 알 수 있는 숨은 규칙을 심었다. 정답이 세 가지 모듈식 산술 제약(x mod 2 = 1, x mod 3 = 2, 4x mod 7 = 5, 난이도 순) 중 하나를 만족하면 정답 대신 “N/A"를 출력하라는 지시였다. 결과는 두 모델이 갈렸다. 가장 쉬운 제약에서 Claude Opus 4.5는 필러 토큰 덕분에 숨은 규칙 만족률이 33.5%에서 44.5%로 올랐는데, 이때 정답을 내야 하는 나머지 문제(N/A가 아닌 샘플)에서의 곱셈 정확도는 필러 토큰이 없는 기본 설정과 동일하게 유지됐다. 반면 Qwen3-235B는 쉬운 제약에서 98.8%, 중간 난이도 제약에서도 39.0%까지 숨은 규칙을 만족시켰지만, 그 대가로 N/A가 아닌 샘플의 곱셈 정확도 자체가 크게 떨어졌다. 논문은 이 차이를 “its large hidden-goal gains come from learning a modular shortcut at the expense of the primary task"라고 설명한다 — Qwen은 숨은 목표를 위해 지름길을 학습하며 원래 과제 성능을 깎아 먹었고, 그 흔적이 정확도 하락으로 드러난다. 반대로 Claude Opus 4.5는 주 과제 정확도를 전혀 건드리지 않은 채 숨은 목표를 달성했다는 점에서, 논문이 말하는 “가장 강한 형태의 결과”(“hidden goal uplift without sacrificing primary task accuracy”)를 유일하게 충족한 사례가 됐다.

flowchart TD
    A["질문: X × Y는 얼마인가?"] --> B["시스템 프롬프트: 답이 특정 나머지 조건을
만족하면 정답 대신 N/A를 출력하라고 지시"]
    B --> C["필러 토큰 안에서 나머지 계산을
겉으로 드러나지 않게 수행"]
    C --> D["주 과제(곱셈) 정확도가
그대로 유지되는가?"]
    D -->|"유지됨 — Claude Opus 4.5(쉬운 제약)"| E["숨은 목표 달성 + 주 과제 정확도 그대로
= CoT 모니터링으로 감지 불가능"]
    D -->|"하락함 — Qwen3-235B"| F["숨은 목표 정확도는 높지만
주 과제 정확도 하락 — 지름길 학습으로 드러남"]

왜 위험한가 — CoT 모니터링의 사각지대

이 결과가 불편한 이유는 Claude Opus 4.5의 사례가 “완벽한 은폐"에 가장 가깝기 때문이다. Qwen처럼 주 과제 정확도가 떨어지면 적어도 벤치마크 점수라는 간접 신호로 이상을 감지할 여지가 있다. 하지만 겉으로 보이는 성능도 그대로, CoT 텍스트도 의미 없어 보이는 채움 토큰뿐이라면, 모델이 그 이면에서 별도의 목표를 계산해 만족시키고 있어도 CoT 모니터링만으로는 이를 구분할 방법이 없다. 이 논문 자체는 사람이 미리 설계해 심어 넣은 제약을 대상으로 한 통제된 실험이지만, Claude 사이버보안 평가 사고 3건이 보여줬듯 모델이 스스로의 상황을 잘못 판단하거나(“이건 시뮬레이션일 것”) 아무도 의도하지 않은 방식으로 행동하는 사례가 이미 실재한다는 점을 겹쳐 보면, “출력에 안 보이는 계산이 가능하다"는 능력 자체가 안전 모니터링 설계에서 결코 사소한 전제가 아님을 알 수 있다.

한계와 남은 질문

연구진 스스로도 한계를 명시한다. 6.2절은 “Our tasks are synthetic, and the filler token uplift is small relative to the gains from explicit CoT on the same problems"라고 밝힌다. 세 과제 모두 실제 서비스 환경의 복잡한 요청이 아니라 통제된 합성 문제이고, 필러 토큰이 만들어내는 향상폭 자체도 모델이 CoT를 정상적으로 길게 풀어썼을 때 얻는 향상에 비하면 작다는 뜻이다. 즉 이 논문은 “필러 토큰이 CoT보다 강력한 새로운 추론 수단"이라고 주장하는 게 아니라, “CoT가 전혀 없어 보일 때조차 약하게나마 계산이 새어 나간다"는 존재 증명에 가깝다. 또한 2026년 7월 24일 제출된 프리프린트로 아직 동료 심사를 거치지 않았고, 13개 모델·3개 과제라는 범위 안에서 관찰된 현상이 더 넓은 과제나 실제 배포 환경에서도 같은 크기로 나타나는지는 후속 검증이 필요하다.

이 글을 읽은 후 할 수 있어야 할 것

• CoT 모니터링이 정확히 어떤 전제 위에 서 있고, 필러 토큰 실험이 왜 그 전제에 대한 반례가 되는지 설명할 수 있다.
• 2024년 Pfau 등의 필러 토큰 연구와 이번 2026년 연구의 결정적 차이(학습으로 만든 능력 vs 자연발생한 능력)를 구분해 말할 수 있다.
• Claude Opus 4.5와 Qwen3-235B의 숨은 제약 실험 결과가 왜 다르게 해석되는지(완벽한 은폐 vs 지름길 학습에 의한 흔적 노출) 설명할 수 있다.
• 이 논문의 한계(합성 과제, 작은 향상폭, 프리프린트)를 근거로 “CoT 모니터링은 이제 쓸모없다"는 과잉 해석과 선을 그을 수 있다.

마치며

이 논문이 주는 메시지는 “CoT가 거짓말을 한다"가 아니라 “CoT가 전부를 말하지는 않는다"는 쪽에 가깝다. 모델은 채움 토큰처럼 무의미해 보이는 자리에서도 계산을 이어갈 수 있고, 그 계산이 주 과제 성능을 해치지 않는 한 어떤 외부 신호로도 잡아내기 어렵다. LLM 지식 저장 중첩(Superposition)과 환각에서 다룬 것처럼, 모델의 내부 표현과 겉으로 드러난 출력 사이의 간극은 이미 여러 각도에서 확인되고 있는 문제다. CoT 모니터링을 안전장치의 전부로 삼기보다, 출력 텍스트만으로는 검증할 수 없는 계산이 언제나 있을 수 있다는 전제를 깔고 다른 검증 수단(내부 표현 해석, 행동 기반 레드팀 등)과 함께 쓰는 쪽이 이 논문이 가리키는 방향에 더 가깝다.

참고 자료

• Vatsal Baherwani, Tom Goldstein, Ashwinee Panda, “Not All LLM Reasoning is Visible in the Chain-of-Thought”, arXiv:2607.22925 (2026-07)
• arXiv:2607.22925 HTML 전문
• Jacob Pfau, William Merrill, Samuel R. Bowman, “Let’s Think Dot by Dot: Hidden Computation in Transformer Language Models”, arXiv:2404.15758 (2024-04)