NeurIPS lehnte 178 Position Papers als “KI-generiert” ab. Der Detektor markierte auch die Track Chairs.

1. Was tatsächlich passiert ist

Der NeurIPS 2026 Position Paper Track, geleitet von David Rügamer (LMU München), Alex X. Lu (Microsoft Research) und Seth Lazar (Johns Hopkins), verlangte, dass alle Einreichungen “im Wesentlichen von Menschen geschrieben” sind, generative KI war nur für “Lektorat oder ähnliche periphere Änderungen” erlaubt^[1]. Das ist strenger als der Haupt-Track, wo die Einschränkung bei halluzinierten Zitationen und nicht offengelegter KI-Nutzung liegt, nicht beim KI-unterstützten Verfassen selbst.

Zur Durchsetzung arbeiteten die Chairs mit Pangram zusammen, einem Unternehmen für KI-Erkennung, und ließen alle 969 Einreichungen des Tracks durch Pangram Version 3.3.2 laufen^[2]. Das Tool teilte jedes Papier in Textfenster und vergab pro Segment einen KI-Wahrscheinlichkeitswert. Bei Pangrams Standardfenstergröße (ca. 250–350 Wörter pro Segment) erreichten 42,7% aller Einreichungen einen Wert im Bereich 90–100% KI-generiert, und 28,2% — 273 von 969 Papieren — erhielten den vollen Wert von 100%^[2].

Die Chairs wiederholten den Lauf anschließend mit einem kleineren “mittleren” Fenster von etwa 100 Wörtern, in der Annahme, dass schmalere Fenster die Übermarkierung von Papieren mit geringfügiger oder beiläufiger KI-Nutzung reduzieren würden. Dadurch sank die 90–100%-Markierungsrate von 42,7% auf 12,7%^[2]. Aus den verfeinerten Ergebnissen teilten die Chairs die Einreichungen in drei Gruppen:

Die 178 Desk Rejections beruhten nicht auf einem einzigen Schwellenwert. Sie ergaben sich aus drei getrennten Kriterien^[2]:

Die letzte Stufe verdient einen zweiten Blick: 22 Papiere wurden abgelehnt, weil sie bei einem KI-Detektor fünfzig Prozent oder mehr erreichten, während der Autor entweder keine KI-Nutzung erklärt oder die Erklärung leer gelassen hatte. Die Lücke zwischen Wert und Erklärung wurde selbst als Beleg für einen Regelverstoß gewertet. Die Chairs bezeichnen alle drei Gruppen als Desk Rejections, die „unter normalen Umständen nicht anfechtbar“ sind.

Die 123 bedingt markierten Papiere hatten bis zum 15. Juni 2026 Zeit, Versionsverläufe oder Dokument-Checkpoints vorzulegen, die den Stand des Papiers vor und nach KI-gestützten Überarbeitungen zeigen. Wer das nicht konnte oder nicht tat, wurde abgelehnt^[2]. Die finalen Entscheidungen des Tracks wurden am 24. September 2026 veröffentlicht^[1]; Stand 26. September ist das Ergebnis dieser 123 Fälle weiterhin nicht veröffentlicht.

2. Wie sie zu kalibrieren versuchten — und was geschah, als andere nachprüften

Die Chairs versuchten durchaus eine Validierung. Vor den Ablehnungen testeten sie Pangram an einer “Negativkontrolle”: Papieren von ACM FAccT 2022, einer Konferenz, deren Beiträge vor der breiten Verfügbarkeit von ChatGPT liegen^[2]. Auf diesem Vor-LLM-Korpus lieferte der Detektor eine Falsch-Positiv-Rate von 0,0%. Das ist ein echter, sinnvoller Plausibilitätstest, und man sollte den Chairs zugutehalten, dass sie ihn durchgeführt haben. Das Problem ist, was er nicht prüft: ob der Detektor auch bei 2026er Position Papers 0,0% liefert, die im formalen, strukturierten, argumentativen Stil geschrieben sind, der bekanntermaßen von KI-Detektoren mit LLM-Output verwechselt wird.

Ein Forscher führte seinen eigenen Kalibrierungstest durch, und der war noch folgenreicher. Sergey Berezin — ein KI-Forscher, der damals mit der Track-Leitung korrespondierte — ließ aktuelle Arbeiten der Track Chairs durch denselben Pangram-Detektor laufen, ausdrücklich als illustrative Prüfung und nicht als Aussage darüber, wie diese Arbeiten geschrieben wurden. Die berichteten KI-Wahrscheinlichkeitswerte lagen bei 24%, 36%, 45% und 69%^[3], und der Beitrag verbreitete sich schnell in der ML-Community auf Reddit und X, wo er eine breitere Diskussion über dasselbe Distribution-Shift-Problem auslöste.

Das war kein Gotcha um seiner selbst willen, sondern ein Kalibrierungstest an genau der Population, auf die das Tool angewendet wurde. Wenn der Detektor die professionelle, begutachtete Arbeit der Menschen, die ihn ausgewählt haben, nicht zuverlässig freigibt, lautet die Frage nicht, ob diese Arbeiten KI-generiert sind (Berezin selbst behauptet das ausdrücklich nicht), sondern was das über das Falsch-Positiv-Verhalten in dieser Population aussagt. Zur Erinnerung an die drei tatsächlichen Kriterien oben: Ein Wert von 0,69 erreicht weder 0,9 noch 0,8, also greift keine der ersten beiden Stufen. Der einzige Weg zu einer Ablehnungsschwelle ist die dritte — ein Wert von 0,5 oder mehr bei einer Erklärung, keine KI genutzt zu haben, oder ganz ohne Erklärung; das Kriterium, auf das 22 der 178 Ablehnungen entfielen. Wäre eines der Papiere der Chairs mit einer solchen Erklärung eingereicht worden, hätte sein Wert von 0,69 die Schwelle dieser Stufe erreicht. Mit einer ehrlichen Angabe einer gewissen KI-Nutzung hätte nichts in den veröffentlichten Kriterien es markiert — und genau darum geht es: Auf dieser Stufe entscheidet der Wert allein nichts, solange es keine Erklärung gibt, der er widersprechen kann.

3. Das Zirkularitätsproblem

Jede NeurIPS-Einreichung enthält eine Autorenerklärung. Für den Position Paper Track erklärten die Autoren, ihr Papier sei im Wesentlichen menschlich verfasst. So funktionierte die Durchsetzung:

Der Output des Detektors fungierte als Tatsachenwahrheit. Widersprach er der Erklärung, verlor die Erklärung. Kritiker nannten das zirkulär: Der eigene Wert des Tools war der einzige Beweis, der gegen die einzige Person verwendet wurde, die tatsächlich weiß, wie das Papier geschrieben wurde^[3]. Für die 178 direkten Ablehnungen beschreibt der Beitrag der Chairs keine Phase, in der Autoren Gegenbeweise vorlegen konnten.

4. Was Pangrams eigene Zahlen tatsächlich sagen

Pangram 4, veröffentlicht im Juli 2026, gibt eine AUROC von 0,9916 und eine Falsch-Positiv-Rate von 0,0041% an — etwa 1 zu 24.000^[4]. Derselbe Bericht gibt für v3.3.2 eine Falsch-Positiv-Rate von 0,0539% auf demselben Satz von über einer Million menschlicher Texte an. Das sind herstellerseitig berichtete Werte aus eigenen Benchmarks. Zwei Dinge machen sie für die NeurIPS-Entscheidungen unanwendbar:

Erstens nutzte NeurIPS Pangram 3.3.2, nicht Version 4. Das verbesserte Modell erschien erst einen Monat nach den bereits erfolgten Desk Rejections. Wie auch immer die Genauigkeit von Pangram 4 aussieht — es ist nicht die Genauigkeit des Tools, das diese Entscheidungen getroffen hat.

Zweitens: Selbst wenn die v4-Werte gälten, ist “1 zu 24.000” eine Rate, gemessen an der eigenen Testverteilung des Herstellers. Mehrere unabhängige Studien haben festgestellt, dass die reale Leistung von KI-Detektoren bei formeller, strukturierter akademischer Prosa — insbesondere von nicht-muttersprachlichen Autoren — erheblich von der behaupteten Genauigkeit abweicht^[5]. Die “Einfachheit” und formale Starrheit von ESL-Schreibstilen ähnelt statistisch LLM-Output, und ein Tool, das hauptsächlich auf informellem Webtext trainiert wurde, erkennt Muster, die dort nicht vorhanden sind. Die Track Chairs haben keine Kalibrierungsstudie speziell zur Population der NeurIPS-Position-Paper-Autoren veröffentlicht, und wir konnten keine finden.

5. Was die Track Chairs tatsächlich argumentierten

Die veröffentlichte Begründung der Chairs^[2] ist interessanter, als der Gegenwind vermuten lässt. Ihr zentrales Argument war nicht, dass KI-generierter Text grundsätzlich schlecht sei, sondern dass er “die Kosten der Überprüfung auf die Gutachter externalisiert” — Position Papers sollen originelle Argumente sein, und wenn das Argument von einem LLM generiert wurde, leistet der Gutachter nun die intellektuelle Arbeit, die eigentlich der Autor hätte leisten sollen. Sie warfen auch die Frage der Autorenschaft auf: Wenn ein Modell es geschrieben hat, wer ist dann der Autor?

Sie veröffentlichten außerdem eine Zahl, die die Dringlichkeit verdeutlicht. Über den gesamten NeurIPS-2026-Track Evaluations and Datasets stieg die Zahl der Einreichungen mit einem Pangram-KI-Wert ≥90% von 2025 auf 2026 um mehr als das Zehnfache^[2]. Das ist kein Problem allein des Position Paper Tracks, sondern ein konferenzweiter Trend, dem die Chairs zuvorzukommen versuchten.

Das ist, unabhängig davon, ob man die Art der Durchsetzung teilt, ein echtes Argument, und es ist dasselbe Argument, das sich durch das Problem halluzinierter Zitationen zieht, das wir in unserer letzten Field Note dokumentiert haben^[7]. In beiden Fällen wird ein automatisiertes System eingesetzt, um etwas zu erkennen, das ein menschlicher Gutachter im großen Maßstab wahrscheinlich nicht bemerken würde, und in beiden Fällen stellt sich die Frage, ob die Erkennung zuverlässig genug ist, um darauf eine Desk Rejection zu stützen.

6. Vergleich mit dem Zitationsprüfer

Dies ist der zweite NeurIPS-Desk-Rejection-Mechanismus dieses Zyklus, und die beiden werden leicht verwechselt. Das sollten sie nicht. Sie prüfen unterschiedliche Dinge, versagen unterschiedlich und haben völlig unterschiedliche Fairness-Profile.

Die wichtigste Spalte ist “Art der Aussage”. Ein Zitationsprüfer, der sagt “diese DOI löst sich zu keinem bekannten Werk in Crossref, OpenAlex oder DBLP auf”, trifft eine überprüfbare Tatsachenaussage. Man kann sie verifizieren. Ein KI-Detektor, der sagt “dieser Absatz ist zu 73% wahrscheinlich KI-generiert”, trifft eine statistische Aussage über Stil. Man kann sie nicht anhand eines Registers überprüfen, weil es kein solches Register gibt. Das eine ist ein Audit, das andere eine Meinung mit Konfidenzintervall.

Keines der beiden Werkzeuge ist grundsätzlich falsch. Aber der Standard für den Einsatz eines Tools zur Desk Rejection eines Papiers ohne Einspruchsmöglichkeit sollte mindestens sein, dass die Fehlerrate des Tools auf der tatsächlich betroffenen Population gemessen und veröffentlicht wurde. Für halluzinierte Zitationen liefert das die unabhängige Auswertung von 48.000 Papieren, die wir in unserem letzten Beitrag zitiert haben^[6]. Für Pangram bei NeurIPS-Position-Papers existiert keine vergleichbare Studie.

7. Was nicht-muttersprachliche Autoren am meisten beunruhigen sollte

2023 testete eine Stanford-Studie sieben KI-Detektoren an 91 TOEFL-Aufsätzen, geschrieben von nicht-muttersprachlichen Englischsprechern. Im Durchschnitt wurden 61,22% dieser von Menschen geschriebenen Aufsätze fälschlich als KI-generiert eingestuft^[8]. Dieselben Detektoren waren bei Aufsätzen von Muttersprachlern sehr genau. Der Mechanismus ist strukturell: Nicht-muttersprachliche Autoren neigen zu einfacherem Vokabular und vorhersehbarerer Syntax — für ein Modell, das “Perplexität” und “Burstiness” misst, statistisch nicht von LLM-Output zu unterscheiden.

Diese Studie ist drei Jahre alt und hat Pangram nicht getestet. Pangrams eigener Bericht vom Juli 2026 testete v3.3.2 — die Version, die NeurIPS verwendete — mit denselben TOEFL-Aufsätzen und meldet 0 Falsch-Positive von 89 sowie 2 von 24.586 über vier Korpora von Englischlernenden^[4]. Das sind Herstellerdaten, zu Aufsätzen und Dialogen statt Fachartikeln, und wir haben keine unabhängige Replikation gefunden. Die Chairs haben keine Kalibrierungsdaten zu nicht-muttersprachlichen Autoren formaler akademischer Texte veröffentlicht; ob die Verzerrung von 2023 auf diese Population übertragbar ist, ist also in keine Richtung gemessen.

Ein weiteres Detail: Jede Einreichung wurde im Rahmen einer Enterprise-Datenvereinbarung mit Pangram geteilt, die garantierte, dass “keine Daten aus den Einreichungen” vom Anbieter gespeichert würden^[2]. Ob die Autoren im Voraus darüber informiert wurden, dass ihre unveröffentlichte, anonymisierte Forschung an einen kommerziellen Drittanbieter geschickt wird, geht aus den veröffentlichten Materialien nicht eindeutig hervor.

8. Wenn du abgelehnt wurdest: Was tatsächlich passiert

Dieser Abschnitt existiert, weil die am stärksten Betroffenen genau diejenigen sind, die diesen Artikel am wahrscheinlichsten lesen. Hier ist, was wir zu den Konsequenzen verifizieren können:

Sie wird als normale Desk Rejection beschrieben. Der Beitrag der Chairs nennt sie „a standard desk-rejection“^[2]; weder dieser Beitrag noch der Call for Papers^[1] beschreibt sie als Feststellung wissenschaftlichen Fehlverhaltens.

Du kannst anderswo einreichen. Sobald das Papier bei NeurIPS nicht mehr begutachtet wird, gelten die üblichen Regeln für eine Einreichung bei einer anderen Konferenz; prüfe deren eigene Regeln zu Doppeleinreichungen und KI-Nutzung.

Für die 178 gibt es keinen regulären Einspruchsweg. Die Chairs bezeichnen diese Ablehnungen als unter normalen Umständen nicht anfechtbar.

Wenn du zur bedingten Gruppe der 123 gehörtest: Die Frist für Versionsverläufe war der 15. Juni 2026. Die finalen Entscheidungen des Tracks wurden am 24. September 2026 veröffentlicht. Wenn du keine Nachweise eingereicht hast, wurde das Papier laut dem Beitrag der Chairs abgelehnt.

Praktischer Rat für das nächste Mal: Bewahre jeden Entwurf auf. Nutze die Änderungsverfolgung deiner Textverarbeitung oder Git-Commits, wenn du in LaTeX schreibst. Wenn du irgendein KI-Tool für irgendetwas nutzt — selbst Grammarly, selbst Autovervollständigung —, gib das in deiner Erklärung an. 22 der 178 Ablehnungen erfolgten nicht wegen hoher KI-Werte, sondern wegen der Lücke zwischen einem mittleren Wert und einer Erklärung, keine KI genutzt zu haben — oder gar keiner Erklärung. Die Erklärung ist kein Quiz darüber, was der Detektor denken wird. Sie ist eine Offenlegungspflicht, und die sicherste Antwort ist eine ehrliche, konkrete.

9. Was das für dich bedeutet, wenn du einreichst

In diesem Zyklus stehen Autoren allein bei NeurIPS zwei getrennten automatisierten Torwächtern gegenüber, bevor ein menschlicher Gutachter ihre Arbeit überhaupt liest. Der eine prüft, ob deine Zitationen echt sind. Der andere prüft, ob deine Prosa “im Wesentlichen menschlich geschrieben” ist. Beide können in einer Desk Rejection enden. Keiner ist optional.

Das Problem der Zitationsprüfung hat immerhin eine konkrete Abwehrmaßnahme: Überprüfe deine eigene Bibliografie, bevor du einreichst. Jede Aussage ist faktisch, jede Abweichung ist überprüfbar, und ein Tool, das dir den konkreten Konflikt auf Feldebene zeigt — das hast du geschrieben, das sagen drei Register —, gibt dir etwas, worauf du reagieren kannst. Genau das haben wir gebaut. Das Problem der Inhaltserkennung ist schwieriger, weil es keine äquivalente Selbstprüfung gibt: Du kannst dein eigenes Papier nicht durch einen proprietären Detektor laufen lassen, dessen Fenstereinstellungen du nicht kennst und dessen Kalibrierung auf deine Population nicht veröffentlicht wurde. Der beste konkrete Rat, den man derzeit geben kann: Bewahre deine Entwürfe auf, speichere deinen Versionsverlauf, und wenn du irgendein KI-Tool für irgendetwas nutzt, gib das in deiner Erklärung an, statt keine Nutzung zu behaupten — denn 22 der 178 Ablehnungen betrafen die Lücke zwischen dem Wert eines Detektors und einer Erklärung ohne KI-Nutzung (oder gar keiner Erklärung), nicht allein einen hohen Wert.

Prüfe eine Bibliografie kostenlos auf strictcite.com. Für den anderen Torwächter: Schreibe dein eigenes Papier, bewahre deine Entwürfe auf, und hoffe, dass der Detektor zustimmt.