Liquid AI Antidoom·FTPO 해설: 추론 모델 무한 반복은 프롬프트보다 루프 시작 토큰과 종료율을 먼저 계측해야 하는 이유

1. 한 줄 문제 정의

핵심 한 줄: 추론 모델의 무한 반복은 답변 품질 문제가 아니라, 운영 비용과 신뢰도를 동시에 무너뜨리는 런타임 실패 모드다.

리퀴드 AI는 2026년 7월 7일 공개한 Antidoom에서 reasoning model이 "Wait", "So", "Alternatively" 같은 표현을 반복하다가 정상 답변으로 끝나지 못하는 현상을 둠 루프라고 설명했다. AI타임스는 2026년 7월 8일 이 내용을 보도하며, LFM2.5-2.6B 초기 체크포인트에서 어려운 수학·코딩 문제의 10.2%가 둠 루프를 보였다고 전했다.

이 글의 적용 범위는 작은 추론 모델, 사내 fine-tuning 모델, 낮은 temperature로 안정적인 답변을 요구하는 업무 자동화 시스템이다. 단순 챗봇 말투 개선, 창의적 글쓰기 다양성, 일반적인 환각 방지 전체를 다루는 글은 아니다.

2. 먼저 결론

핵심 한 줄: Antidoom은 모든 모델에 무조건 붙일 처방이 아니라, 반복 루프가 계측된 모델에만 쓰는 좁고 강한 수리 도구다.

추천 대상은 자체 모델을 학습하거나 LoRA 어댑터를 운영하고, 실패 로그에서 반복 답변이 실제로 쌓이는 팀이다. 특히 수학 풀이, 코드 생성, 긴 단계 추론처럼 모델이 중간 사고 과정을 길게 생성하는 서비스라면 검토 가치가 높다.

반대로 API로만 폐쇄형 모델을 호출하는 팀, 학습 파이프라인이 없는 팀, 반복률을 아직 측정하지 않은 팀은 Antidoom 학습보다 먼저 출력 길이 제한, repetition detector, fallback 모델, 재시도 정책을 붙이는 편이 낫다.

3. 핵심 구조 분해

핵심 한 줄: Antidoom의 핵심은 전체 답변을 다시 가르치는 것이 아니라, 루프가 시작되는 토큰 위치를 찾아 그 한 지점의 선택만 바꾸는 것이다.

구조는 네 단계로 볼 수 있다. 첫째, 루프를 일부러 끌어낼 수 있는 프롬프트 묶음으로 모델 응답을 생성한다. 둘째, 생성 결과에서 일정 길이 이상 반복되는 구간을 탐지한다. 공식 README 기준 기본 탐지 설정은 최소 4회 반복, 최소 60자 반복, 최대 period 1024 같은 조건을 둔다.

셋째, 반복이 시작되는 첫 번째 토큰을 rejected token으로 표시하고, 같은 위치에서 더 자연스러운 대체 토큰을 chosen token 후보로 뽑는다. 넷째, Final Token Preference Optimization, 즉 FTPO로 LoRA 어댑터를 학습한다. FTPO는 이름 그대로 생성 중간의 마지막 토큰 선택만 조정하는 선호 최적화다.

초보 개발자 기준으로 비유하면, 전체 글을 다시 쓰는 것이 아니라 문장이 미끄러지기 시작하는 첫 단어에 빨간 펜을 긋고 "이 단어 대신 이 단어들 중 하나를 골라라"라고 모델에 알려주는 방식이다.

4. 설계 의도 해설

핵심 한 줄: Antidoom은 모델의 지식을 늘리는 학습이 아니라, 이미 가진 추론 능력이 반복 토큰에 갇히지 않게 하는 분포 수리다.

리퀴드 AI가 전체 정답을 다시 학습시키지 않은 이유는 명확하다. 둠 루프는 "문제를 모른다"보다 "다음 토큰 선택이 자기 자신을 강화한다"에 가까운 실패다. 그래서 정답 데이터로 supervised fine-tuning을 더 하는 방식은 불필요하게 넓은 영향을 줄 수 있다.

Antidoom은 rejected token과 chosen token 주변만 움직이고, 나머지 vocabulary 분포는 기준 모델에 가깝게 묶는다. 얻는 것은 좁은 실패 모드의 빠른 완화다. 포기하는 것은 범용성이다. 환각, 잘못된 추론, 도구 호출 실패까지 한 번에 해결하는 만능 안전장치는 아니다.

5. 근거 및 비교

핵심 한 줄: 공개 결과만 보면 Antidoom은 반복 루프에는 강하지만, 적용 전후 벤치마크와 루프율을 함께 검증해야 한다.

리퀴드 AI는 LFM2.5-2.6B 초기 체크포인트에서 둠 루프율이 10.2%에서 1.4%로 줄었다고 밝혔다. Qwen3.5-4B에서도 greedy sampling 환경 기준 22.9%에서 1%로 감소했다고 설명했다. 또 LFM2.5-2.6B 기준 데이터 생성은 8개 AMD MI325 GPU에서 약 1시간, 추가 학습은 단일 MI325 GPU에서 1~2시간이면 충분했다고 제시했다.

6. 실제 동작 흐름과 단계별 실행 방법

핵심 한 줄: 도입 순서는 학습이 아니라 계측, 재현, 작은 어댑터 학습, 회귀 검증이다.

먼저 운영 로그에서 반복 실패 샘플을 모은다. 같은 문장 또는 같은 의미 단위가 4회 이상 반복되고, 답변이 정상 종료되지 않은 케이스를 별도 JSONL로 보관한다. 다음으로 baseline 루프율을 계산한다. 예를 들어 1,000개 추론형 프롬프트 중 80개가 반복 루프라면 시작점은 8%다.

공식 저장소 기준 빠른 시작은 다음 흐름이다.

git clone https://github.com/Liquid4All/antidoom
cd antidoom
uv sync

uv run antidoom -c configs/default.yaml -r runs/antidoom1 \
  --temp 0.01 \
  --model-name LiquidAI/LFM2.5-1.2B-Base

NVIDIA/CUDA는 기본 `uv.lock`과 `configs/default.yaml` 경로를 따른다. AMD/ROCm은 CUDA lock을 그대로 쓰면 안 되고, README가 안내한 것처럼 `configs/default_amd.yaml`과 `uv run --no-sync`를 써야 한다. 이 차이를 무시하면 환경 문제를 모델 문제로 착각하기 쉽다.

운영 적용 전에는 반드시 세 가지 숫자를 남긴다. baseline 루프율, Antidoom 적용 후 루프율, 일반 품질 평가 점수다. 루프율만 줄고 정확도가 떨어지면 성공이 아니다.

7. 실수와 함정

핵심 한 줄: Antidoom의 가장 큰 위험은 반복을 없앤 줄 알았는데 다른 토큰에서 새 반복을 만드는 것이다.

함정 1: 반복 탐지 기준이 느슨하다. 정상적인 코드 블록, 표, 목록까지 루프로 잡으면 잘못된 rejected token을 학습한다. 예방책은 최소 반복 횟수, 최소 반복 길이, 수동 샘플 검수 50건 이상을 두는 것이다. 복구는 잘못 채굴한 pair를 버리고 탐지 기준을 다시 고정하는 것이다.

함정 2: 특정 단어만 과하게 억제한다. "Wait"가 루프를 자주 시작한다고 모든 "Wait"를 나쁜 토큰으로 보면 reasoning trace가 망가진다. Antidoom README가 rejected·chosen token 분포 regularisation을 강조하는 이유가 여기에 있다.

함정 3: 한 번의 학습으로 끝났다고 판단한다. 리퀴드 AI는 한 차례 적용 후 다른 토큰에서 새로운 루프가 드러날 수 있어 여러 라운드가 도움이 될 수 있다고 설명한다. 다만 라운드를 늘릴수록 회귀 테스트도 같이 늘려야 한다.

함정 4: temperature만 올려 해결하려 한다. 높은 temperature는 가끔 탈출구를 만들 수 있지만, 루프 토큰 확률이 이미 매우 높아진 상태에서는 여전히 반복될 수 있다. 리퀴드 AI 결과도 temp 0.67에서 의미 있는 루프가 남았다고 설명한다.

8. 강점과 한계

핵심 한 줄: 강점은 좁은 수리, 한계는 좁은 수리다.

강점은 실패 위치가 분명하다는 점이다. Antidoom은 "모델을 더 똑똑하게 만들자"가 아니라 "이 반복 시작 토큰을 고치자"에 집중한다. 그래서 전체 모델 성격을 크게 바꾸지 않고, LoRA 어댑터로 빠르게 실험할 여지가 있다.

한계도 같은 지점에서 나온다. closed API 모델에는 직접 적용할 수 없다. 또한 반복 루프가 아닌 잘못된 답, 출처 조작, 도구 호출 실패, 보안 정책 위반에는 별도 평가와 가드레일이 필요하다. 비용 측면에서도 20k preference row 수준의 데이터 생성과 GPU 환경이 필요하므로, 소규모 서비스가 처음부터 붙이기에는 과할 수 있다.

9. 더 깊게 공부할 포인트

핵심 한 줄: Antidoom을 제대로 이해하려면 반복 생성 문제, 선호 최적화, 서빙 temperature를 함께 봐야 한다.

첫 번째는 neural text degeneration이다. 언어 모델이 왜 같은 표현을 반복하는지 설명하는 고전적인 문제다. 두 번째는 DPO와 FTPO의 차이다. DPO는 답변 단위 선호 최적화에 가깝고, FTPO는 생성 중간의 특정 토큰 선택을 겨냥한다. 세 번째는 낮은 temperature 운영의 양면성이다. 안정적인 답변을 만들지만, 잘못 강화된 토큰에는 탈출 여지를 줄인다.

소스코드를 볼 때는 `src/antidoom/repetition.py`, `src/antidoom/ftpo_data.py`, `src/antidoom/ftpo_train.py` 순서가 좋다. 탐지, 데이터 행 생성, 학습 손실이 어떻게 이어지는지 보이면 이 방법의 장단점이 선명해진다.

10. 실행 체크리스트와 작성자 관점

핵심 한 줄: 운영팀은 Antidoom을 모델 개선 프로젝트가 아니라 실패 모드 제거 프로젝트로 다뤄야 한다.

• 최근 1,000개 이상 추론형 요청에서 반복 루프율을 계산했는가?
• 반복 탐지 기준을 코드·표·목록 같은 정상 반복과 구분하도록 검수했는가?
• baseline, 적용 후, rollback 모델의 평가 세트를 같은 조건으로 실행했는가?
• 루프율 감소와 함께 정확도, 종료율, 평균 토큰 수, 지연 시간도 기록했는가?
• LoRA 어댑터를 즉시 비활성화할 수 있는 배포 스위치를 준비했는가?
• 새 루프 토큰이 나타나는지 2차 라운드 평가 큐를 만들었는가?

Definition of Done: 같은 평가 세트에서 반복 루프율이 80% 이상 감소하고, 정확도·종료율·평균 지연 시간 중 핵심 지표가 허용 범위 안에 남아 있을 때 완료로 본다.

작성자 관점에서 Antidoom은 "프롬프트를 잘 쓰면 된다"는 식의 처방보다 훨씬 실무적이다. 다만 모든 팀이 바로 학습부터 할 필요는 없다. 먼저 detector와 로그 체계를 만들고, 반복 루프가 실제 비용 문제로 확인될 때 Antidoom을 붙이는 순서를 추천한다.

참고자료

• AI타임스, 리퀴드 AI, 추론 모델 '무한 루프' 잡는 '안티둠' 훈련 기법 공개, 2026-07-08
• Liquid AI, Reducing Doom Loops with Final Token Preference Optimization, 2026-07-07
• Liquid4All/antidoom GitHub Repository, 2026-07-07 공개
• LiquidAI/antidoom-mix-v1.0 Hugging Face Dataset, 2026-07-07 업데이트
• Direct Preference Optimization: Your Language Model is Secretly a Reward Model, 2023
• The Curious Case of Neural Text Degeneration, ICLR 2020