1. 실제로 무슨 일이 있었나
David Rügamer(뮌헨 루트비히 막시밀리안 대학교), Alex X. Lu(Microsoft Research), Seth Lazar(존스홉킨스 대학교)가 이끄는 NeurIPS 2026 Position Paper Track은 모든 투고가 “실질적으로 인간이 작성”할 것을 요구했고, 생성형 AI는 “교정 등 부수적인 수정”에만 허용했다[1]. 이는 환각 인용과 미공개 AI 사용을 제한할 뿐, AI 보조 작성 자체는 제한하지 않는 본 컨퍼런스 트랙보다 엄격한 기준이다.
이를 시행하기 위해 의장들은 AI 탐지 기업 Pangram과 제휴해 트랙의 969건 투고 전부를 Pangram 버전 3.3.2로 돌렸다[2]. 이 도구는 각 논문을 텍스트 구간으로 나누고 구간별로 AI 확률 점수를 부여했다. Pangram의 기본 구간 설정(구간당 약 250–350단어)에서는 전체 투고의 42.7%가 90–100% AI 생성 범위의 점수를 받았고, 28.2% — 969편 중 273편 — 은 만점인 100%를 받았다[2].
이후 의장들은 약 100단어의 더 작은 “중간” 구간으로 탐지기를 다시 돌렸다. 구간을 좁히면 경미하거나 우발적인 AI 사용이 있는 논문의 과잉 탐지가 줄어들 것이라는 판단에서였다. 그 결과 90–100% 판정 비율은 42.7%에서 12.7%로 떨어졌다[2]. 이 정제된 결과를 바탕으로 의장들은 투고를 세 그룹으로 나눴다:
| 결과 | 논문 수 | 트랙 비율 |
|---|---|---|
| 즉시 게재 거부(통상적인 경우 이의제기 불가) | 178 | 18.4% |
| 조건부 — 6월 15일까지 증빙 필요 | 123 | 12.7% |
| 통과 | 668 | 68.9% |
178건의 즉시 게재 거부는 단일 기준이 아니라 세 가지 별도 기준에 의해 결정되었다[2]:
79편: 점수 0.8 이상 + 단독 저자 논문을 여러 편 제출한 저자(그중 한 편 이상이 기준 초과) 또는 다른 게재 거부 건이 하나 이상 있는 저자
22편: 점수 0.5 이상 + 저자가 AI 미사용을 신고했거나 AI 사용 여부를 신고하지 않음
마지막 그룹은 두 번 곱씹어볼 가치가 있다. 22편은 AI 탐지기 점수가 50% 이상이라는 이유로 게재 거부되었는데, 저자가 AI 미사용을 신고했거나 신고란을 비워 둔 경우였다. 점수와 신고 사이의 불일치 자체가 정책 위반의 증거로 취급되었다. 의장들은 세 그룹 모두를 “통상적인 경우 이의제기 대상이 아닌” 게재 거부라고 설명한다.
조건부로 분류된 123편은 2026년 6월 15일까지 AI 보조 수정 전후 상태를 보여주는 버전 이력이나 문서 체크포인트를 제출해야 했다. 제출하지 못했거나 하지 않은 경우 그 논문은 게재 거부로 처리되었다[2]. 트랙의 최종 결정은 2026년 9월 24일에 발표되었지만[1], 9월 26일 현재까지 이 123건의 결과는 공개되지 않았다.
2. 어떻게 보정하려 했는가, 그리고 다른 사람이 검증했을 때 무슨 일이 벌어졌는가
의장들은 실제로 검증을 시도했다. 게재 거부를 통보하기 전, 그들은 “음성 대조군”인 ACM FAccT 2022 논문들 — ChatGPT가 널리 보급되기 이전 시기의 학회 — 에 대해 Pangram을 테스트했다[2]. 이 LLM 이전 코퍼스에서 탐지기는 0.0%의 오탐률을 기록했다. 이는 실제로 의미 있는 타당성 검사이며, 의장들이 이를 수행했다는 점은 인정할 만하다. 문제는 이 검사가 검증하지 못한 부분이다. 즉, AI 탐지기가 LLM 출력과 혼동하기로 알려진 형식적이고 구조화된 논증적 문체로 쓰인 2026년 Position Paper에 대해서도 탐지기가 동일하게 0.0%를 반환하는지는 확인되지 않았다.
한 연구자가 자체적으로 보정 테스트를 실시했고, 그 결과는 훨씬 더 뼈아팠다. Sergey Berezin — 당시 트랙 운영진과 서신을 주고받고 있던 AI 연구자 — 은 트랙 의장들의 최근 논문을 가져와 동일한 Pangram 탐지기에 돌렸다. 이는 그 논문들이 실제로 어떻게 작성되었는지에 대한 주장이 아니라, 어디까지나 예시적인 점검임을 명확히 밝힌 상태에서 이루어졌다. 보고된 AI 확률 점수는 24%, 36%, 45%, 69%였다[3]. 이 게시물은 Reddit과 X의 ML 커뮤니티로 빠르게 퍼져나갔고, 같은 분포 변화(distribution shift) 문제에 대한 더 폭넓은 논의를 불러일으켰다.
이것은 그저 트집을 잡기 위한 것이 아니라, 도구가 실제로 적용된 바로 그 모집단에 대한 보정 테스트였다. 탐지기가 이를 선택한 당사자들의 전문적이고 동료 심사를 거친 저작물조차 안정적으로 통과시키지 못한다면, 질문은 그 논문들이 AI로 생성되었는지 여부(Berezin 본인도 이에 대해서는 어떤 주장도 하지 않는다)가 아니라, 그것이 이 모집단에서의 오탐 양상에 대해 무엇을 말해주는가이다. 위에서 언급한 세 가지 실제 기준을 떠올려보자. 0.69라는 점수는 0.9에도, 0.8에도 미치지 못하므로 첫 두 기준은 적용되지 않는다. 이 점수가 게재 거부 기준에 해당할 수 있는 유일한 경로는 세 번째 기준 — 점수가 0.5 이상이면서 AI 미사용을 신고했거나 아예 신고하지 않은 경우 — 뿐이며, 이는 178건 중 22건의 게재 거부를 낳은 기준이다. 만약 의장들의 논문 중 하나가 그런 신고와 함께 투고되었다면, 0.69라는 점수는 이 기준의 문턱을 넘었을 것이다. 반대로 일부 AI 사용을 정직하게 신고했다면, 공개된 기준 중 어느 것도 이 논문을 걸러내지 않았을 것이다 — 바로 이것이 핵심이다. 이 기준에서 점수 자체는, 반박할 신고가 없으면 아무것도 결정하지 못한다.
3. 순환 논리의 문제
모든 NeurIPS 투고에는 저자 서약이 포함된다. Position Paper Track의 경우 저자는 자신의 논문이 실질적으로 인간이 작성한 것이라고 서약했다. 시행 방식은 다음과 같았다:
2. Pangram이 논문을 AI 생성으로 판정한다.
3. 서약이 점수와 모순된다고 간주된다.
4. 이 모순이 게재 거부의 근거로 취급된다.
탐지기의 출력이 사실상 진실로 기능했다. 서약과 어긋나면 서약이 밀려났다. 비평가들은 이를 순환 논리라고 불렀다. 도구 자체의 점수가, 논문이 실제로 어떻게 작성되었는지를 아는 유일한 사람의 진술을 반박하는 유일한 증거로 사용되었기 때문이다[3]. 178건의 즉시 게재 거부에 대해, 의장들의 글은 저자가 반증을 제시할 수 있는 단계를 설명하지 않는다.
4. Pangram 자체 수치가 실제로 말하는 것
2026년 7월 출시된 Pangram 4는 AUROC 0.9916, 오탐률 0.0041%(약 24,000건 중 1건)를 공개했다[4]. 같은 보고서는 100만 건이 넘는 동일한 인간 작성 텍스트에서 v3.3.2의 오탐률을 0.0539%로 제시한다. 이는 모두 업체가 자체 벤치마크로 발표한 수치다. 이 수치가 NeurIPS의 판단에 적용될 수 없는 이유는 두 가지다.
첫째, NeurIPS가 사용한 것은 Pangram 3.3.2이지 버전 4가 아니다. 개선된 모델은 즉시 게재 거부가 이미 통보된 지 한 달 뒤에야 출시되었다. Pangram 4의 정확도가 어떻든 간에, 그것은 이 결정을 내린 도구의 정확도가 아니다.
둘째, 설령 v4의 수치가 적용된다 해도, “24,000건 중 1건”은 업체 자체의 테스트 분포에서 측정된 비율일 뿐이다. 여러 독립적인 연구에 따르면 AI 탐지기의 실제 성능은 형식적이고 구조화된 학술 문장 — 특히 영어가 모국어가 아닌 저자가 쓴 글 — 에서 공표된 정확도와 상당히 어긋난다[5]. ESL(영어를 모국어로 하지 않는) 문체의 “단순함”과 형식적 경직성은 통계적으로 LLM 출력과 유사하며, 주로 비격식 웹 텍스트로 학습된 도구는 실제로 존재하지 않는 패턴을 그 안에서 찾아낸다. 의장들은 NeurIPS Position Paper 저자라는 특정 모집단에 대한 보정 연구를 공개하지 않았고, 우리도 그런 연구를 찾을 수 없었다.
5. 트랙 의장들이 실제로 주장한 것
의장들이 공개한 논거[2]는 반발이 시사하는 것보다 더 흥미롭다. 그들의 핵심 주장은 AI 생성 텍스트가 본질적으로 나쁘다는 것이 아니라, 그것이 “검증 비용을 심사자에게 전가한다”는 것이었다. Position Paper는 본래 독창적인 논증이어야 하며, 그 논증을 LLM이 생성했다면 심사자는 이제 원래 저자가 했어야 할 지적 작업을 대신 수행하고 있는 셈이다. 그들은 또한 저작권 귀속 문제도 제기했다. 모델이 썼다면, 저자는 누구인가?
의장들은 이 사안의 긴급성을 보여주는 수치도 공개했다. NeurIPS 2026의 Evaluations and Datasets 트랙 전체에서, Pangram AI 점수가 90% 이상인 투고 건수는 2025년에서 2026년 사이에 10배 이상 증가했다[2]. 이는 Position Paper Track만의 문제가 아니라 컨퍼런스 전반의 추세이며, 의장들은 이에 선제적으로 대응하려 했다.
이는 그 시행 방식에 동의하는지 여부와 무관하게 실제로 타당한 논점이며, 우리가 지난 Field Note에서 다룬 환각 인용 문제[7]를 관통하는 것과 같은 논점이다. 두 경우 모두, 인간 심사자가 대규모로는 포착하기 어려운 무언가를 탐지하기 위해 자동화된 시스템이 사용되고 있으며, 두 경우 모두 그 탐지가 이의제기 없는 게재 거부의 근거로 삼을 만큼 신뢰할 수 있는지가 문제된다.
6. 인용 검사기와의 비교
이번 주기 NeurIPS의 두 번째 게재 거부 메커니즘이며, 둘은 혼동하기 쉽다. 그래서는 안 된다. 둘은 확인하는 대상이 다르고, 실패하는 방식이 다르며, 공정성 측면의 성격도 완전히 다르다.
| 인용 검사기 (Field Note 05) | 콘텐츠 탐지기 (이 글) | |
|---|---|---|
| 확인 대상 | 참고문헌이 데이터베이스에 존재하는지 | 문장을 사람이 썼는지 |
| 주장의 성격 | 검증 가능한 사실(“이 DOI는 존재하지 않는다”) | 확률 추정(“68% 확률로 AI”) |
| 오탐의 원인 | PDF 노이즈, 번역, 아직 색인되지 않은 프리프린트 | ESL 편향, 형식적 학술 문체, 보정 표류 |
| 인간 검토 단계 | ICLR 기준 3단계 이상 (AC → 의장 → 이의제기) | 178건은 전무; 123건은 증빙 제출 기간뿐 |
| 이의제기 절차 | 대부분의 학회에서 가능 | 즉시 게재 거부 건은 불가 |
| 대상 트랙 | 본 트랙, 4개 학회 | Position Paper Track만 |
가장 중요한 열은 “주장의 성격”이다. “이 DOI는 Crossref, OpenAlex, DBLP 어디에도 알려진 저작물로 연결되지 않는다”고 말하는 인용 검사기는 검증 가능한 사실적 주장을 하는 것이다. 확인할 수 있다. “이 문단은 73% 확률로 AI가 생성했다”고 말하는 AI 탐지기는 문체에 대한 통계적 주장을 하는 것이다. 참조할 데이터베이스 자체가 존재하지 않으므로 확인할 수 없다. 한쪽은 감사(audit)이고, 다른 한쪽은 신뢰구간이 붙은 의견이다.
어느 도구도 본질적으로 잘못된 것은 아니다. 그러나 둘 중 어느 것을 사용해 이의제기 없이 논문을 게재 거부하려면, 최소한 그 도구가 실제로 적용되는 모집단에서의 오류율이 측정되고 공개되어 있어야 한다. 환각 인용에 대해서는 지난 글에서 인용한 4만 8천 편 규모의 독립적 논문 감사[6]가 그것을 제공한다. NeurIPS Position Paper에 대한 Pangram의 경우, 그에 상응하는 연구는 존재하지 않는다.
7. 영어가 모국어가 아닌 저자가 가장 우려해야 할 부분
2023년 스탠퍼드 대학의 한 연구는 영어가 모국어가 아닌 사람들이 작성한 TOEFL 에세이 91편을 7종의 AI 탐지기로 테스트했다. 평균적으로 이 사람이 작성한 에세이의 61.22%가 AI 생성으로 잘못 분류되었다[8]. 동일한 탐지기들은 원어민이 쓴 에세이에서는 높은 정확도를 보였다. 그 메커니즘은 구조적이다. 비원어민 작성자는 더 단순한 어휘와 더 예측 가능한 구문을 사용하는 경향이 있으며, 이는 “복잡도(perplexity)”와 “폭발성(burstiness)”을 측정하는 모델 입장에서 통계적으로 LLM 출력과 구별되지 않는다.
이 연구는 3년 전의 것이며 Pangram을 테스트하지 않았다. Pangram이 2026년 7월 공개한 자체 보고서는 NeurIPS가 사용한 버전인 v3.3.2를 같은 TOEFL 에세이로 테스트해 89건 중 오탐 0건, 네 개의 영어 학습자 코퍼스 전체에서는 24,586건 중 2건을 보고했다[4]. 이는 논문이 아닌 에세이와 대화 데이터에 대한 업체 측 수치이며, 독립적인 재현 연구는 찾지 못했다. 의장들은 영어가 모국어가 아닌 저자의 격식 있는 학술 문장에 대한 보정 데이터를 공개하지 않았으므로, 2023년의 편향이 이 모집단에도 이어지는지는 어느 쪽으로도 측정되지 않은 상태다.
한 가지 더. 모든 투고는 “투고 내용의 어떤 데이터도 보관하지 않는다”는 것을 보장하는 기업용 데이터 계약 아래 Pangram과 공유되었다[2]. 미공개된 익명 연구 자료가 제3의 상업적 서비스로 전송된다는 사실을 저자들이 사전에 고지받았는지는 공개된 자료만으로는 명확하지 않다.
8. 게재 거부를 당했다면: 실제로 어떤 일이 벌어지는가
이 섹션이 존재하는 이유는, 이 사안의 영향을 가장 크게 받는 사람들이 바로 이 글을 읽고 있을 가능성이 가장 높은 사람들이기 때문이다. 그 여파에 대해 우리가 확인할 수 있는 사실은 다음과 같다.
통상적인 게재 거부로 설명된다. 의장들의 글은 이를 “통상적인 게재 거부(a standard desk-rejection)”라고 부른다[2]. 그 글이나 논문 모집 공고[1] 어디에도 이를 부정행위 판정으로 설명하는 내용은 없다.
다른 곳에 재투고할 수 있다. 논문이 더 이상 NeurIPS에서 심사 중이지 않게 되면, 다른 학회에 투고할 때의 통상적인 규칙이 적용된다. 해당 학회의 중복 투고 및 AI 사용 정책을 확인하라.
178건에는 통상적인 이의제기 창구가 없다. 의장들은 이 게재 거부가 통상적인 경우 이의제기 대상이 아니라고 설명한다.
조건부 123건에 해당한다면: 버전 이력 제출 마감은 2026년 6월 15일이었다. 트랙의 최종 결정은 2026년 9월 24일에 발표되었다. 증빙을 제출하지 않았다면, 의장들의 글에 따르면 그 논문은 게재 거부되었다.
다음을 위한 실용적인 조언: 모든 초안을 보관하라. 워드 프로세서의 변경 내용 추적 기능을 사용하거나, LaTeX로 작성한다면 Git 커밋을 남겨라. Grammarly나 자동완성처럼 사소한 것이라도 어떤 AI 도구를 사용했다면 서약서에 그렇게 명시하라. 178건 중 22건의 게재 거부는 AI 점수가 높아서가 아니라, 중간 정도의 점수와 AI 미사용 신고(또는 미신고) 사이의 간극 때문이었다. 서약서는 탐지기가 무엇을 생각할지 맞히는 퀴즈가 아니다. 그것은 공개 의무이며, 가장 안전한 답은 정직하고 구체적인 답이다.
9. 투고하는 입장에서 이것이 실제로 의미하는 것
이번 주기, NeurIPS 한 곳에서만도 저자들은 인간 심사자가 논문을 읽기도 전에 두 개의 독립된 자동화된 관문을 마주하게 된다. 하나는 인용이 실제인지 확인하고, 다른 하나는 문장이 “실질적으로 인간이 작성”했는지 확인한다. 둘 다 게재 거부로 끝날 수 있다. 둘 다 선택 사항이 아니다.
인용 검증 문제에는 적어도 구체적인 대응책이 있다. 투고 전에 자신의 참고문헌 목록을 직접 검증하는 것이다. 모든 주장이 사실적이고, 모든 불일치가 확인 가능하며, 당신이 쓴 것은 이것이고 세 개의 데이터베이스가 말하는 것은 이것이라는 필드 단위의 구체적인 충돌을 보여주는 도구는 당신이 대응할 수 있는 무언가를 준다. 그것이 바로 우리가 만든 것이다. 콘텐츠 탐지 문제는 더 어렵다. 이에 상응하는 자체 점검 수단이 없기 때문이다. 창(window) 설정도 알 수 없고 자신이 속한 모집단에 대한 보정 결과도 공개되지 않은 독점 탐지기에 자기 논문을 직접 돌려볼 수는 없다. 지금 시점에서 줄 수 있는 가장 구체적인 조언은 이것이다. 초안을 보관하고, 버전 이력을 남기고, 어떤 AI 도구든 조금이라도 사용했다면 미사용을 주장하는 대신 서약서에 그렇게 밝혀라. 178건 중 22건의 게재 거부는 높은 점수만이 아니라, 탐지기 점수와 AI 미사용 신고(또는 미신고) 사이의 간극 때문이었다.
참고문헌은 strictcite.com에서 무료로 확인할 수 있다. 다른 관문에 대해서는, 직접 논문을 쓰고 초안을 보관한 뒤 탐지기가 동의해주기를 바라는 수밖에 없다.