arXiv AI 허위 참고문헌 제재 해설: AI로 쓴 논문·기술문서는 제출 전 출처 검증 게이트부터 고정해야 하는 이유

1. 한 줄 문제 정의

핵심 요약: AI 글쓰기의 위험은 문장이 어색한 것이 아니라, 그럴듯하지만 존재하지 않는 근거가 최종 문서에 남는 것입니다.

2026년 5월 18일 AI타임스는 arXiv가 대형언어모델(LLM)을 부주의하게 사용한 논문에 대해 강한 제재를 도입한다고 보도했습니다. 핵심은 AI 사용 자체를 막는 것이 아니라, 허위 참고문헌·가짜 데이터·챗봇 메타 문구처럼 사람이 검증하지 않았다는 증거가 남은 제출물을 문제 삼는 것입니다.

이 문제는 연구자만의 일이 아닙니다. 개발 블로그, 기술 제안서, 정부 과제 문서, 제품 백서도 AI가 추천한 출처를 그대로 넣으면 같은 신뢰 리스크를 맞습니다. 이 글의 범위는 AI로 초안을 쓰는 조직이 제출 전 어떤 검증 절차를 고정해야 하는지입니다. 논문 윤리 전체나 표절 판정 자동화 도구 비교는 다루지 않습니다.

2. 먼저 결론

핵심 요약: AI를 쓰지 말자는 결론이 아니라, AI가 만든 문장을 사람의 제출물로 바꾸는 마지막 게이트를 분리해야 한다는 결론입니다.

AI로 문서 초안을 쓰는 팀이라면 바로 도입해야 합니다. 특히 참고문헌, 수치, 표, 법률·의료·보안 주장, 외부 기관명, 날짜가 들어가는 문서는 생성 단계와 검증 단계를 같은 사람의 기억에 맡기면 안 됩니다.

반대로 내부 회의 메모처럼 외부 공개가 없고 의사결정 근거로 쓰지 않는 문서라면 과한 절차일 수 있습니다. 하지만 공개 블로그, 논문, 제안서, 투자 자료처럼 제3자가 근거를 확인할 수 있는 문서라면 최소한의 출처 검증표는 필요합니다.

3. 핵심 구조 분해

핵심 요약: 안전한 AI 문서 작성은 생성기, 출처 원장, 검증자, 제출 게이트 네 층으로 나누면 이해하기 쉽습니다.

첫 번째 층은 생성기입니다. ChatGPT, Claude, Gemini, Perplexity 같은 도구가 초안, 요약, 비교표, 참고문헌 후보를 만듭니다. 이 층의 산출물은 아직 문서가 아니라 재료입니다.

두 번째 층은 출처 원장입니다. 원장은 문서에 들어간 모든 외부 주장과 링크를 모아 둔 표입니다. 최소 컬럼은 주장, 출처 제목, URL, 발행일 또는 확인일, 검증 상태입니다.

세 번째 층은 검증자입니다. 검증자는 AI가 제시한 링크를 클릭하고, 논문 제목·저자·연도·DOI가 실제로 맞는지 확인합니다. 개발 문서라면 공식 문서 버전, 릴리스 날짜, API 이름이 현재와 맞는지도 봅니다.

네 번째 층은 제출 게이트입니다. 제출 게이트는 “참고문헌 100% 확인”, “표의 수치 출처 확인”, “AI 메타 문구 검색 완료” 같은 조건을 통과해야 공개할 수 있게 만드는 마지막 문입니다.

4. 설계 의도 해설

핵심 요약: AI 문서 검증은 탐지기를 믿는 문제가 아니라, 책임 소재를 추적 가능하게 만드는 문제입니다.

AI 탐지기는 보조 도구일 뿐입니다. 문장이 AI가 쓴 것처럼 보이는지 판정해도, 해당 참고문헌이 실제로 존재하는지까지 보장하지 못합니다. arXiv 사례가 중요한 이유도 여기에 있습니다. 제재의 핵심은 AI 문체가 아니라 “저자가 결과물을 검토하지 않았다”는 명백한 흔적입니다.

따라서 좋은 설계는 AI 사용 여부를 숨기는 방향이 아닙니다. 좋은 설계는 문서에 들어간 사실을 역추적할 수 있게 만드는 방향입니다. 출처 원장과 제출 체크리스트를 남기면 나중에 문제가 생겨도 어떤 주장을 누가 어떤 근거로 통과시켰는지 확인할 수 있습니다.

5. 근거 및 비교

핵심 요약: “AI 탐지기만 돌리기”보다 “출처 원장 + 샘플 재검증 + 금지 문구 검색” 조합이 실무적으로 강합니다.

접근법	장점	한계	추천 상황
AI 탐지기만 사용	빠르고 자동화가 쉽습니다.	허위 참고문헌, 틀린 DOI, 실제 수치 오류를 직접 확인하지 못합니다.	초안 품질 점검 보조용
사람이 최종본만 읽기	문맥과 논리를 볼 수 있습니다.	긴 문서에서는 참고문헌 하나하나를 놓치기 쉽습니다.	짧은 내부 문서
출처 원장 기반 검증	주장과 근거를 행 단위로 추적할 수 있습니다.	작성 시간이 늘어납니다.	논문, 백서, 기술 블로그, 제안서
자동 검색 + 수동 클릭 검증	속도와 신뢰도를 균형 있게 맞춥니다.	최종 판단은 사람이 해야 합니다.	대부분의 공개 문서

AI타임스 보도에 따르면 arXiv는 허위 참고문헌이나 검증되지 않은 AI 흔적이 남은 논문에 강한 제재를 적용합니다. The Next Web은 2026년 5월 보도에서 가짜 참고문헌과 챗봇식 잔여 문구가 대표적인 문제 신호라고 설명했습니다. arXiv의 공식 행동강령도 연구 공동체 구성원이 지적 정직성과 책임을 지켜야 한다고 명시합니다.

6. 실제 동작 흐름 / 단계별 실행 방법

핵심 요약: 작성자는 AI 초안을 만든 뒤, 공개 전 20분짜리 검증 절차를 별도 작업으로 실행해야 합니다.

1. 초안 작성 단계에서는 AI에게 “참고문헌 후보는 별도 목록으로 분리하고, 본문에는 확인 전 링크를 넣지 말라”고 지시합니다.
2. 문서에서 외부 주장만 뽑습니다. 예: “arXiv는 1년 제출 금지를 적용한다”, “가짜 참고문헌이 증가했다”, “특정 기관이 정책을 발표했다”.
3. 출처 원장을 만듭니다. 컬럼은 claim, source_title, url, date, verified, note로 충분합니다.
4. 각 URL을 직접 열어 제목, 날짜, 저자, 핵심 문장이 본문 주장과 맞는지 확인합니다.
5. 논문 참고문헌은 DOI, arXiv ID, PubMed, DBLP, Google Scholar 중 최소 하나에서 존재 여부를 확인합니다.
6. 최종 제출 전 아래 검색어를 원문 파일에서 찾습니다: as an AI language model, would you like, fill in, placeholder, insert here, TODO, 예시 데이터.
7. 검증이 끝난 출처만 본문 참고자료 섹션에 넣습니다.

# LaTeX/Markdown 문서에서 흔한 AI 잔여 문구 찾기
rg -n -i "as an ai language model|would you like|fill in|placeholder|insert here|todo|예시 데이터" paper.tex notes.md

# 참고문헌 파일에서 DOI 누락 후보 빠르게 보기
rg -n "doi\s*=|url\s*=|arxiv" references.bib

7. 실수/함정

핵심 요약: 가장 위험한 실수는 AI가 만든 참고문헌이 너무 그럴듯해서 사람이 의심하지 않는 것입니다.

함정 1: 제목과 저자만 맞아 보이면 통과시키기

AI는 실제 저자명과 그럴듯한 논문 제목을 섞어 가짜 인용을 만들 수 있습니다. 예방하려면 DOI나 원문 페이지까지 확인해야 합니다. 복구는 간단합니다. 확인되지 않는 인용은 삭제하고, 같은 주장을 뒷받침하는 실제 출처를 새로 찾습니다.

함정 2: 표와 수치를 “예시”로 만든 뒤 그대로 남기기

AI가 만든 표는 보기 좋지만 실제 데이터가 아닐 수 있습니다. 예방하려면 표마다 출처 행을 붙입니다. 복구하려면 수치를 모두 원자료 기준으로 다시 계산하거나, 검증 불가한 표는 제거합니다.

함정 3: 최종 PDF만 보고 원본 파일을 검색하지 않기

PDF에서는 주석, 숨은 텍스트, LaTeX 주석에 남은 지시문을 놓칠 수 있습니다. 예방하려면 원본 .tex, .bib, .md 파일까지 검색합니다. 복구는 제출 전 빌드 산출물과 원본을 같이 재검사하는 것입니다.

8. 강점과 한계

핵심 요약: 검증 게이트는 신뢰를 높이지만, 작성 속도를 일부 늦춥니다.

강점은 명확합니다. 공개 문서의 근거 품질이 올라가고, 팀원이 바뀌어도 어떤 출처를 확인했는지 남습니다. 특히 기술 블로그나 백서는 검색 유입보다 신뢰가 더 중요하므로 장기적으로 이 방식이 유리합니다.

한계도 있습니다. 모든 문장에 출처를 붙이면 문서 작성이 느려지고, 독자가 읽기 어려워질 수 있습니다. 그래서 모든 문장이 아니라 외부 사실, 수치, 정책, 비교 주장, 위험 경고에만 검증 게이트를 적용하는 것이 현실적입니다.

다른 선택이 더 나은 경우도 있습니다. 빠른 아이디어 메모나 개인 학습 노트는 간단한 출처 링크만으로 충분합니다. 반대로 법률, 의료, 금융, 보안처럼 오류 비용이 큰 분야는 출처 검증뿐 아니라 전문가 리뷰까지 붙여야 합니다.

9. 더 깊게 공부할 포인트

핵심 요약: AI 문서 검증은 인용 관리, 연구 윤리, 자동화 검색 세 가지를 함께 익혀야 합니다.

• 인용 관리: Zotero, BibTeX, DOI, arXiv ID의 차이를 이해합니다.
• 연구 윤리: 작성자가 최종 문서에 책임진다는 원칙을 팀 규칙으로 만듭니다.
• 자동화 검색: rg, CI, pre-commit hook으로 금지 문구와 미검증 링크를 걸러냅니다.
• 출처 우선순위: 공식 문서, 원문 논문, 기관 발표, 신뢰 가능한 보도 순으로 봅니다.
• 버전 관리: 문서 초안, 검증표, 최종본을 같은 저장소에 남겨 추적 가능하게 합니다.

10. 실행 체크리스트 + 작성자 관점

핵심 요약: AI 문서를 공개한다면 “생성 완료”가 아니라 “검증 완료”를 완료 기준으로 삼아야 합니다.

• 본문의 외부 주장과 수치를 모두 출처 원장에 옮겼는가?
• 참고문헌의 제목, 저자, 연도, DOI 또는 원문 URL을 직접 확인했는가?
• 표·그림·수치가 실제 데이터에서 나온 것인지 확인했는가?
• AI 메타 문구와 placeholder를 원본 파일에서 검색했는가?
• 출처의 발행일 또는 확인일을 남겼는가?
• 최종 문서와 출처 원장이 같은 버전으로 보관되는가?
• 오류 비용이 큰 주장은 전문가 또는 담당자 리뷰를 받았는가?

Definition of Done: 공개 문서에 남은 모든 외부 주장과 참고문헌이 클릭 가능한 원문 또는 식별자까지 검증됐고, AI 잔여 문구 검색 결과가 0건이면 완료입니다.

제 관점은 분명합니다. AI 글쓰기 도구를 금지하는 팀보다, AI 초안을 빠르게 만들되 제출 전 검증 게이트를 엄격하게 운영하는 팀이 더 오래 갑니다. 다만 이 절차를 모든 메모에 적용하면 피로도만 커집니다. 공개성과 오류 비용이 있는 문서부터 적용하는 것이 맞습니다.

참고자료

• AI타임스, “AI 흔적 남기면 1년 퇴출”…아카이브, 부실 논문 ‘원 스트라이크’ 도입, 2026-05-18
• The Next Web, arXiv to ban researchers over AI slop in preprints, 2026-05
• arXiv Code of Conduct, Ethics and Responsibility
• arXiv Submit TeX/LaTeX Help