1. Что произошло на самом деле
Трек Position Paper NeurIPS 2026, под руководством David Rügamer (LMU Мюнхен), Alex X. Lu (Microsoft Research) и Seth Lazar (Johns Hopkins), требовал, чтобы все заявки были «в основном написаны человеком», допуская генеративный ИИ только для «редактуры или похожих второстепенных правок»[1]. Это строже, чем в основном треке конференции, где ограничение касается галлюцинированных цитат и нераскрытого использования ИИ, а не самого написания текста с помощью ИИ.
Для соблюдения этого требования председатели заключили партнёрство с Pangram, компанией по обнаружению ИИ, и прогнали все 969 заявок трека через Pangram версии 3.3.2[2]. Инструмент делил каждую статью на текстовые окна и присваивал каждому сегменту оценку вероятности ИИ. При стандартном размере окна Pangram (примерно 250–350 слов на сегмент) 42,7% всех заявок получили оценку в диапазоне 90–100% сгенерировано ИИ, а 28,2% — 273 из 969 статей — получили полную оценку 100%[2].
Затем председатели повторно прогнали детектор с меньшим «средним» окном примерно в 100 слов, рассудив, что более узкие окна снизят избыточное срабатывание на статьях с незначительным или случайным использованием ИИ. Это снизило долю оценок 90–100% с 42,7% до 12,7%[2]. По уточнённым результатам председатели разделили заявки на три группы:
| Исход | Статьи | % трека |
|---|---|---|
| Отклонены (без апелляции в обычных обстоятельствах) | 178 | 18,4% |
| Условно — доказательства до 15 июня | 123 | 12,7% |
| Допущено | 668 | 68,9% |
178 отклонений возникли не из-за единого порога. Они были обусловлены тремя отдельными критериями[2]:
79 статей: оценка ≥ 0,8 + автор, подавший несколько статей без соавторов (хотя бы одна выше порога), или автор, у которого есть хотя бы ещё одно отклонение
22 статьи: оценка ≥ 0,5 + автор заявил, что не использовал ИИ, или не заполнил декларацию об использовании ИИ
Последний уровень стоит перечитать дважды: 22 статьи были отклонены за оценку детектора ИИ в пятьдесят процентов или выше, когда автор либо заявил, что не использовал ИИ, либо оставил декларацию пустой. Расхождение между оценкой и декларацией само по себе было расценено как доказательство нарушения. Председатели описывают все три группы как отклонения, которые «в обычных обстоятельствах не подлежат апелляции».
123 условно помеченные статьи должны были до 15 июня 2026 года предоставить историю версий или контрольные точки документа, показывающие состояние статьи до и после правок с помощью ИИ. Если авторы не смогли или не сделали этого, статья отклонялась[2]. Окончательные решения по треку были опубликованы 24 сентября 2026 года[1]; по состоянию на 26 сентября результаты по этим 123 случаям так и не опубликованы.
2. Как они пытались калибровать детектор — и что случилось, когда это проверили другие
Председатели действительно пытались провести валидацию. Перед вынесением решений об отклонении они протестировали Pangram на «отрицательном контроле»: статьях с ACM FAccT 2022, конференции, материалы которой предшествуют широкому распространению ChatGPT[2]. На этом корпусе, предшествующем LLM, детектор показал 0,0% ложноположительных срабатываний. Это реальная и разумная проверка на адекватность, и стоит отдать председателям должное за то, что они её провели. Проблема в том, чего она не проверяет: даёт ли детектор те же 0,0% на позиционных статьях 2026 года, написанных в формальном, структурированном, аргументативном стиле, который детекторы ИИ, как известно, путают с текстом LLM.
Один исследователь провёл собственный калибровочный тест, и его результат оказался ещё болезненнее. Sergey Berezin — исследователь ИИ, который в то время переписывался с руководством трека, — прогнал недавние статьи председателей трека через тот же детектор Pangram, прямо оговорив, что это иллюстративная проверка, а не утверждение о том, как эти статьи были написаны. Полученные оценки вероятности ИИ составили 24%, 36%, 45% и 69%[3], и публикация быстро разошлась по ML-сообществу в Reddit и X, вызвав более широкое обсуждение той же проблемы сдвига распределения.
Это была не придирка ради придирки, а калибровочный тест на той самой популяции, к которой применялся инструмент. Если детектор не может надёжно пропустить профессиональные рецензируемые работы тех, кто его выбрал, вопрос не в том, сгенерированы ли эти статьи ИИ (сам Berezin прямо этого не утверждает), а в том, что это говорит о ложных срабатываниях на данной популяции. Вспомним три реальных критерия выше: оценка 0,69 не достигает ни 0,9, ни 0,8, так что первые два уровня неприменимы. Единственный путь к порогу отклонения — третий: оценка 0,5 или выше при заявлении об отказе от ИИ или при отсутствии декларации; именно этот критерий дал 22 из 178 отклонений. Если бы одна из статей председателей была подана с таким заявлением, её оценка 0,69 достигла бы порога этого уровня. При честном указании некоторого использования ИИ ни один из опубликованных критериев её бы не отметил — в этом и суть: на этом уровне оценка сама по себе ничего не решает без декларации, которой она противоречит.
3. Проблема циркулярности
Каждая заявка на NeurIPS включает авторское заявление. Для трека Position Paper авторы заявляли, что их статья в основном написана человеком. Вот как работало правоприменение:
2. Pangram оценивает статью как сгенерированную ИИ.
3. Заявление признаётся несовместимым с оценкой.
4. Несовместимость трактуется как основание для отклонения.
Результат детектора функционировал как истина в последней инстанции. Если он противоречил заявлению, заявление проигрывало. Критики назвали это циркулярностью: собственная оценка инструмента была единственным доказательством, использованным против единственного человека, который действительно знает, как была написана статья[3]. Для 178 прямых отклонений публикация председателей не описывает ни одного этапа, на котором автор мог бы представить контраргументы.
4. Что на самом деле говорят собственные цифры Pangram
Pangram 4, выпущенная в июле 2026 года, заявляет AUROC 0,9916 и частоту ложноположительных срабатываний 0,0041% — примерно 1 из 24 000[4]. В том же отчёте для v3.3.2 указана частота ложноположительных срабатываний 0,0539% на том же наборе из более чем миллиона человеческих текстов. Это цифры, сообщённые самим производителем по его собственным бенчмаркам. Два обстоятельства делают их неприменимыми к решениям NeurIPS:
Во-первых, NeurIPS использовал Pangram 3.3.2, а не версию 4. Улучшенная модель вышла через месяц после того, как решения об отклонении уже были приняты. Какой бы ни была точность Pangram 4, это не точность инструмента, который принимал эти решения.
Во-вторых, даже если бы показатели версии 4 были применимы, «1 из 24 000» — это частота, измеренная на собственном тестовом распределении производителя. Многочисленные независимые исследования обнаружили, что реальная производительность детекторов ИИ на формальном, структурированном академическом тексте — особенно у авторов, для которых английский не родной, — существенно отличается от заявленной точности[5]. «Простота» и формальная строгость письма ESL-авторов статистически напоминает вывод LLM, а инструмент, обученный преимущественно на неформальных веб-текстах, будет видеть закономерности там, где их нет. Председатели трека не опубликовали калибровочное исследование именно на популяции авторов позиционных статей NeurIPS, и мы не смогли найти такого исследования.
5. Что на самом деле утверждали председатели трека
Опубликованное обоснование председателей[2] интереснее, чем можно подумать по реакции критиков. Их центральный аргумент состоял не в том, что сгенерированный ИИ текст по своей природе плох, а в том, что он «перекладывает издержки проверки на рецензентов» — позиционные статьи по замыслу должны быть оригинальными аргументами, и если аргумент сгенерирован LLM, рецензент теперь выполняет ту интеллектуальную работу, которую должен был проделать автор. Они также подняли вопрос об авторстве: если текст написала модель, кто тогда автор?
Они также опубликовали цифру, которая делает проблему реальной. В треке Evaluations and Datasets NeurIPS 2026 число заявок с оценкой Pangram ≥90% выросло более чем в десять раз с 2025 по 2026 год[2]. Это не проблема одного лишь трека Position Paper, а общая тенденция всей конференции, и председатели пытались её опередить.
Это, независимо от того, согласны ли вы с методом правоприменения, реальный аргумент, и это тот же аргумент, что проходит через проблему галлюцинированных цитат, описанную в нашей прошлой Field Note[7]. В обоих случаях автоматизированная система используется для обнаружения того, что человек-рецензент вряд ли заметит в большом масштабе, и в обоих случаях вопрос в том, достаточно ли надёжно обнаружение, чтобы на его основании отклонять статью.
6. Сравнение с проверкой цитат
Это второй механизм отклонения статей NeurIPS в этом цикле, и их легко перепутать. Не стоит. Они проверяют разные вещи, ошибаются по-разному и обладают совершенно разными профилями справедливости.
| Проверка цитат (Field Note 05) | Детектор контента (этот материал) | |
|---|---|---|
| Что проверяется | Существуют ли ссылки в реестрах | Написан ли текст человеком |
| Тип утверждения | Проверяемый факт («этот DOI не существует») | Оценка вероятности («68% вероятно ИИ») |
| Источник ложных срабатываний | Шум PDF, переводы, ещё не проиндексированные препринты | Смещение к ESL, формальный академический стиль, дрейф калибровки |
| Уровни проверки человеком | 3+ (AC → председатели → апелляции) на ICLR | Ноль для 178; окно доказательств для 123 |
| Процедура апелляции | Да, на большинстве площадок | Нет, для прямых отклонений |
| Трек | Основной трек, четыре площадки | Только трек Position Paper |
Самый важный столбец — «Тип утверждения». Проверка цитат, утверждающая «этот DOI не разрешается ни в одну известную работу в Crossref, OpenAlex или DBLP», делает проверяемое фактическое утверждение. Его можно верифицировать. Детектор ИИ, утверждающий «этот абзац с вероятностью 73% сгенерирован ИИ», делает статистическое утверждение о стиле. Его нельзя проверить по реестру, потому что такого реестра не существует. Одно — аудит; другое — мнение с доверительным интервалом.
Ни один из инструментов не является в корне неправильным. Но стандарт для использования любого из них при отклонении статьи без права апелляции должен, как минимум, включать измеренную и опубликованную частоту ошибок инструмента именно на той популяции, к которой он применяется. Для галлюцинированных цитат это подтверждает независимый аудит 48 000 статей, который мы цитировали в предыдущем материале[6]. Для Pangram применительно к позиционным статьям NeurIPS такого эквивалентного исследования не существует.
7. Что должно больше всего беспокоить авторов, для которых английский не родной
В 2023 году исследование Стэнфорда протестировало семь детекторов ИИ на 91 эссе TOEFL, написанных авторами, для которых английский не родной. В среднем 61,22% этих написанных людьми эссе были ошибочно классифицированы как сгенерированные ИИ[8]. Те же детекторы были весьма точны на эссе носителей языка. Механизм структурный: авторы, для которых язык не родной, склонны использовать более простую лексику и более предсказуемый синтаксис — что статистически неотличимо, для модели, измеряющей «перплексию» и «прерывистость», от вывода LLM.
Этому исследованию три года, и Pangram в нём не тестировался. Собственный отчёт Pangram за июль 2026 года проверил v3.3.2 — версию, которую использовал NeurIPS, — на тех же эссе TOEFL и сообщает о 0 ложных срабатываний из 89, а также о 2 из 24 586 по четырём корпусам текстов изучающих английский[4]. Это данные производителя, по эссе и диалогам, а не по научным статьям, и независимого воспроизведения мы не нашли. Председатели не опубликовали калибровочных данных по авторам формальной академической прозы, для которых английский не родной, поэтому переносится ли смещение 2023 года на эту популяцию, не измерено ни в одну сторону.
Ещё одна деталь: каждая заявка передавалась Pangram по корпоративному соглашению о данных, гарантирующему, что «никакие данные из заявок не будут сохранены» поставщиком[2]. Были ли авторы заранее проинформированы о том, что их неопубликованные, анонимизированные исследования будут отправлены стороннему коммерческому сервису, из опубликованных материалов неясно.
8. Если вас отклонили: что происходит на самом деле
Этот раздел существует потому, что наиболее затронутые люди — это именно те, кто, скорее всего, читает эту статью. Вот что мы можем подтвердить о последствиях:
Это описано как стандартное отклонение. В публикации председателей оно названо «a standard desk-rejection»[2]; ни в ней, ни в call for papers[1] оно не описывается как установление научного нарушения.
Вы можете подать статью в другое место. Как только статья больше не рассматривается на NeurIPS, действуют обычные правила подачи на другую площадку; проверьте её собственные правила о двойной подаче и использовании ИИ.
Для этих 178 стандартного канала апелляции нет. Председатели описывают эти отклонения как не подлежащие апелляции в обычных обстоятельствах.
Если вы были среди 123 условных: срок подачи истории версий истёк 15 июня 2026 года. Окончательные решения по треку опубликованы 24 сентября 2026 года. Если вы не предоставили доказательства, то, согласно публикации председателей, статья была отклонена.
Практический совет на будущее: сохраняйте каждый черновик. Используйте режим отслеживания изменений в текстовом редакторе или делайте коммиты в Git, если пишете в LaTeX. Если вы используете любой ИИ-инструмент для чего угодно — даже Grammarly, даже автодополнение, — укажите это в декларации. 22 из 178 отклонений были вызваны не высокими оценками ИИ, а разрывом между умеренной оценкой и заявлением об отказе от ИИ — или отсутствием декларации вовсе. Декларация — не викторина о том, что подумает детектор. Это требование раскрытия информации, и самый безопасный ответ — честный и конкретный.
9. Что это на самом деле значит, если вы подаёте заявку
В этом цикле авторы на одном только NeurIPS сталкиваются с двумя отдельными автоматизированными привратниками ещё до того, как их работу вообще прочтёт человек-рецензент. Один проверяет, реальны ли ваши цитаты. Другой проверяет, «в основном ли написан человеком» ваш текст. Оба могут закончиться отклонением. Ни один не является опциональным.
У проблемы проверки цитат есть, по крайней мере, конкретная защита: проверьте собственную библиографию до подачи. Каждое утверждение фактическое, каждое расхождение проверяемо, а инструмент, показывающий конкретный конфликт на уровне поля — вот что написали вы, вот что говорят три реестра — даёт вам то, на основании чего можно действовать. Именно это мы и создали. Проблема обнаружения контента сложнее, потому что эквивалентной самопроверки не существует: вы не можете прогнать собственную статью через проприетарный детектор, настройки окон которого вам неизвестны, а калибровка на вашей популяции не опубликована. Лучший конкретный совет, который сейчас можно дать: сохраняйте черновики, ведите историю версий, и если вы используете любой ИИ-инструмент для чего угодно, укажите это в заявлении, а не заявляйте нулевое использование — потому что 22 из 178 отклонений произошли из-за разрыва между оценкой детектора и заявлением об отказе от ИИ (или отсутствием декларации), а не из-за одной лишь высокой оценки.
Проверьте библиографию бесплатно на strictcite.com. Что касается другого привратника — пишите свою статью сами, сохраняйте черновики и надейтесь, что детектор согласится.