1. 実際に何が起きたのか
David Rügamer(ミュンヘン大学)、Alex X. Lu(Microsoft Research)、Seth Lazar(ジョンズ・ホプキンス大学)が議長を務めるNeurIPS 2026 Position Paper Trackは、すべての投稿が“実質的に人間によって書かれている”ことを要求し、生成AIの利用は“校正など周辺的な変更”に限って認めていた[1]。これは、幻覚引用や未開示のAI利用を制約対象とし、AI支援による執筆そのものは対象としない本会議トラックよりも厳しい基準である。
この方針を徹底するため、議長らはAI検出企業Pangramと提携し、トラックの969件すべての投稿をPangramバージョン3.3.2にかけた[2]。このツールは各論文をテキストウィンドウに分割し、各セグメントにAI確率スコアを割り当てる。Pangramの標準ウィンドウ設定(1セグメントあたり約250–350語)では、全投稿の42.7%が90–100%のAI生成レンジのスコアとなり、28.2%—969本中273本—が満点の100%を記録した[2]。
議長らはその後、約100語のより小さな“中間”ウィンドウで検出器を再実行した。ウィンドウを狭めれば、軽微または偶発的なAI利用の論文が過剰に検出される事態を減らせると考えたためだ。これにより90–100%の検出率は42.7%から12.7%まで下がった[2]。この精緻化された結果から、議長らは投稿を3つの区分に分けた:
| 結果 | 論文数 | トラック全体比 |
|---|---|---|
| 即時却下(通常の状況では異議申し立て不可) | 178 | 18.4% |
| 条件付き — 6月15日までに証拠提出 | 123 | 12.7% |
| 通過 | 668 | 68.9% |
178件の即時却下は単一の基準によるものではなく、3つの別個の基準によって決定された[2]:
79本: スコア0.8以上 + 単著論文を複数投稿した著者(うち1本以上が閾値超)、または他にも即時却下を受けた論文がある著者
22本: スコア0.5以上 + 著者がAI不使用と申告、またはAI利用の申告なし
最後の区分は二度読む価値がある。22本は、AI検出器で50%以上のスコアが出たことを理由に却下されたが、著者はAI不使用と申告したか、申告欄を空欄のままにしていた。スコアと申告の食い違いそのものが、方針違反の証拠として扱われた。議長らは3つの区分すべてを「通常の状況では異議申し立ての対象とならない」即時却下と説明している。
条件付きとされた123本は、2026年6月15日までに、AIによる修正の前後の状態を示すバージョン履歴や文書のチェックポイントを提出する必要があった。提出できなかった、あるいはしなかった場合、論文は却下された[2]。トラックの最終判定は2026年9月24日に発表されたが[1]、9月26日時点でこの123件の結果はいまだ公表されていない。
2. どのように較正しようとしたか、そして第三者が検証した結果
議長らは確かに検証を試みた。却下を出す前に、彼らはPangramを“陰性対照”セット — ChatGPTの普及以前の会議であるACM FAccT 2022の論文群 — に対してテストした[2]。このLLM以前のコーパスでは、検出器の偽陽性率は0.0%だった。これは実際に意味のある妥当性確認であり、彼らがそれを実施した点は評価に値する。問題は、それが検証していないことだ。すなわち、AI検出器がLLMの出力と混同しがちな、形式的で構造化された論証スタイルで書かれた2026年のPosition Paperに対しても、検出器が同じく0.0%を返すかどうかである。
ある研究者が独自に較正テストを行い、その結果はさらに痛烈だった。Sergey Berezin — 当時トラック運営側とやり取りしていたAI研究者 — は、トラック議長らの最近の論文を同じPangram検出器にかけた。これは、それらの論文が実際にどう書かれたかについての主張ではなく、あくまで例示的な確認であると明言したうえでのことだ。報告されたAI確率スコアは24%、36%、45%、69%だった[3]。この投稿はRedditやXのMLコミュニティで急速に広まり、同じ分布シフトの問題をめぐるより広い議論を呼んだ。
これは単なる揚げ足取りではなく、ツールが実際に適用された母集団そのものに対する較正テストだった。もし検出器が、それを選んだ本人たちの専門的で査読を経た仕事を確実に通過させられないなら、問うべきはそれらの論文がAI生成かどうか(Berezin自身はその点について何も主張していない)ではなく、それがこの母集団での誤検知の傾向について何を示しているかである。上の3つの実際の基準を思い出してほしい。0.69というスコアは0.9にも0.8にも届かないため、最初の2つの区分は当てはまらない。却下の閾値に達しうる唯一の経路は3つ目 — AI不使用の申告、または申告なしで、スコアが0.5以上の場合 — であり、178件中22件の却下を生んだ基準である。仮に議長らの論文の1本がそうした申告とともに投稿されていたなら、0.69というスコアはこの区分の閾値に達していたことになる。一定のAI利用を正直に申告していれば、公表された基準のどれにも引っかからなかった — まさにそこが要点だ。この区分では、食い違う申告がない限り、スコア単独では何も決まらない。
3. 循環論法の問題
NeurIPSのすべての投稿には著者による誓約が含まれる。Position Paper Trackでは、著者は自分の論文が実質的に人間によって書かれたものであると誓約した。運用は次のように機能した:
2. Pangramがこの論文をAI生成と判定する。
3. 誓約はスコアと矛盾すると見なされる。
4. この矛盾が却下の根拠として扱われる。
検出器の出力が事実上の真実として機能した。誓約と食い違えば、誓約の側が負けた。批評家たちはこれを循環論法だと指摘した。ツール自身のスコアが、論文がどう書かれたかを実際に知っている唯一の人物の申告に反する、唯一の証拠として使われたからだ[3]。178件の即時却下について、議長らの投稿は著者が反証を提示できる段階を何も説明していない。
4. Pangram自身の数字が実際に語ること
2026年7月にリリースされたPangram 4は、AUROC 0.9916、偽陽性率0.0041%(およそ24,000件に1件)を謳っている[4]。同じレポートは、100万件を超える同じ人間の文章のセットで、v3.3.2の偽陽性率を0.0539%としている。これらはベンダーが自社のベンチマークに基づいて報告した数値である。この数値がNeurIPSの判断に当てはまらない理由は二つある。
第一に、NeurIPSが使用したのはPangram 3.3.2であり、バージョン4ではない。改良版モデルがリリースされたのは、即時却下がすでに出された1か月後である。Pangram 4の精度がどうであれ、それはこれらの判断を下したツールの精度ではない。
第二に、仮にv4の数値が当てはまったとしても、“24,000件に1件”はベンダー自身のテスト分布上で測定された比率にすぎない。複数の独立した研究により、AI検出器の実世界における性能は、形式的で構造化された学術的文章 — 特に英語を母語としない著者によるもの — において、公表された精度から大きく乖離することが分かっている[5]。ESL(英語を第二言語とする)著者の文章が持つ“単純さ”や形式的な硬さは統計的にLLMの出力と似ており、主に非公式なウェブテキストで訓練されたツールは、実在しないパターンをそこに見出してしまう。議長らはNeurIPS Position Paper著者という特定の母集団に対する較正研究を公表しておらず、我々もそのような研究を見つけることはできなかった。
5. トラック議長が実際に主張していたこと
議長らが公表した論拠[2]は、反発の大きさから想像されるよりも興味深い。彼らの中心的な主張は、AI生成テキストが本質的に悪いというものではなく、それが“検証のコストを査読者に外部化する”というものだった。Position Paperは本来、独自の論証であるべきであり、その論証がLLMによって生成されたのなら、査読者は本来著者が行うべきだった知的作業を代わりに行っていることになる。彼らはまた著者性の帰属についても問題提起した。モデルが書いたのなら、著者は誰なのか、と。
彼らはまた、事態の緊急性を裏付ける数字も公表した。NeurIPS 2026のEvaluations and Datasetsトラック全体で、Pangramの AIスコアが90%以上の投稿数は、2025年から2026年にかけて10倍以上に増加した[2]。これはPosition Paper Trackだけの問題ではなく、会議全体の傾向であり、議長らはそれに先手を打とうとしていた。
その運用方法に賛同するかどうかにかかわらず、これは正当な論点であり、前回のField Noteで取り上げた幻覚引用の問題[7]を貫くのと同じ論点である。どちらの場合も、人間の査読者が大規模には見抜けないであろうものを検出するために自動化システムが使われており、どちらの場合も、その検出が異議申し立てのない却下の根拠とするに足るほど信頼できるかどうかが問われている。
6. 引用チェッカーとの比較
これは今サイクルにおける2番目のNeurIPS却下メカニズムであり、両者は混同されやすい。しかし混同すべきではない。両者はチェックする対象が異なり、失敗の仕方も異なり、公正性のプロファイルもまったく異なる。
| 引用チェッカー(Field Note 05) | コンテンツ検出器(本稿) | |
|---|---|---|
| チェック対象 | 参考文献がレジストリに存在するか | 文章が人間によって書かれたか |
| 主張の種類 | 検証可能な事実(“このDOIは存在しない”) | 確率的推定(“68%の確率でAI”) |
| 誤検知の原因 | PDFのノイズ、翻訳、未索引のプレプリント | ESLバイアス、形式的な学術文体、較正のずれ |
| 人による確認の層 | ICLRでは3層以上(AC → 議長 → 異議申し立て) | 178件についてはゼロ、123件については証拠提出期間のみ |
| 異議申し立て | ほとんどの学会であり | 即時却下についてはなし |
| 対象トラック | 本会議トラック、4つの学会 | Position Paper Trackのみ |
最も重要な列は“主張の種類”である。“このDOIはCrossref・OpenAlex・DBLPのいずれにも存在しない既知の文献に解決されない”と述べる引用チェッカーは、検証可能な事実的主張を行っている。それは確認できる。“この段落は73%の確率でAI生成である”と述べるAI検出器は、文体についての統計的主張を行っている。それは確認できない。参照すべきレジストリなど存在しないからだ。一方は監査であり、もう一方は信頼区間付きの意見である。
どちらのツールも、ツールとしては本質的に間違っているわけではない。しかし、いずれかを使って異議申し立てのないまま論文を却下する基準は、少なくとも、実際に適用される母集団におけるツールのエラー率が測定・公表されていることであるべきだ。幻覚引用については、前回の記事で引用した独立した48,000本規模の論文監査[6]がそれを提供している。NeurIPSのPosition PaperにおけるPangramについては、同等の研究は存在しない。
7. 英語を母語としない著者が最も懸念すべき点
2023年、スタンフォード大学の研究が7種類のAI検出器を、非ネイティブスピーカーが書いた91本のTOEFLエッセイでテストした。平均して、これら人間が書いたエッセイの61.22%がAI生成と誤って分類された[8]。同じ検出器はネイティブスピーカーによるエッセイでは高い精度を示した。そのメカニズムは構造的なものだ。非ネイティブの書き手はより単純な語彙とより予測可能な構文を使う傾向があり、それは“パープレキシティ”や“バースト性”を測定するモデルにとって、統計的にLLM出力と区別がつかない。
この研究は3年前のもので、Pangramは対象に含まれていない。Pangram自身の2026年7月のレポートは、NeurIPSが使用したv3.3.2を同じTOEFLエッセイで検証し、89件中偽陽性0件、4つの英語学習者コーパス全体では24,586件中2件と報告している[4]。これは論文ではなくエッセイや対話を対象としたベンダーのデータであり、独立した再現は見つからなかった。議長らは英語を母語としない著者による学術的な文章についての較正データを公表していない。したがって、2023年の偏りがこの母集団にも当てはまるかどうかは、どちらの方向にも測定されていない。
もう一点。すべての投稿は、ベンダーが“投稿からのデータは一切保持しない”ことを保証する企業向けデータ契約のもとでPangramと共有された[2]。未発表かつ匿名化された自分の研究が第三者の商用サービスに送られることを、著者が事前に知らされていたかどうかは、公表された資料からは明らかではない。
8. 却下された場合: 実際に何が起こるのか
この節が存在するのは、最も影響を受ける人々こそが、この記事を読んでいる可能性が最も高い人々だからだ。ここでは、その影響について確認できる事実をまとめる。
通常の即時却下として説明されている。議長らの投稿はこれを「a standard desk-rejection」と呼んでいる[2]。その投稿にもCall for Papers[1]にも、これを研究不正の認定とする記述はない。
他の場所に再投稿できる。論文がNeurIPSで審査中でなくなれば、他の学会への投稿には通常のルールが適用される。投稿先の二重投稿やAI利用に関する方針を確認してほしい。
178件には通常の異議申し立て窓口がない。議長らはこれらの却下を、通常の状況では異議申し立ての対象とならないと説明している。
条件付きの123件に該当した場合:バージョン履歴の提出期限は2026年6月15日だった。トラックの最終判定は2026年9月24日に発表された。証拠を提出しなかった場合、議長らの投稿によれば論文は却下された。
次回に向けた実践的な助言:すべての草稿を保存すること。ワープロの変更履歴機能を使うか、LaTeXで書くならGitでコミットを残すこと。どんなAIツールでも何かに使ったなら — Grammarlyでも、自動補完でも — 申告にそう書くこと。178件中22件の却下は高いAIスコアによるものではなく、中程度のスコアとAI不使用の申告(あるいは申告なし)との食い違いによるものだった。申告は検出器がどう判断するかを当てるクイズではない。開示の義務であり、最も安全な答えは正直で具体的な答えである。
9. 投稿する側にとってこれが実際に意味すること
今サイクル、NeurIPSだけでも、著者は人間の査読者に論文が読まれる前に、二つの独立した自動化された関門に直面する。一方は引用が本物かどうかを、もう一方は文章が“実質的に人間によって書かれている”かどうかをチェックする。どちらも却下につながりうる。どちらも任意ではない。
引用チェックの問題には、少なくとも具体的な対抗策がある。投稿前に自分の参考文献リストを検証することだ。すべての主張は事実的であり、すべての食い違いは確認可能であり、あなたが書いたのはこれ、3つのレジストリが述べているのはこれ、というフィールド単位の具体的な矛盾を示すツールは、対処できる何かを与えてくれる。それこそ我々が作ったものだ。コンテンツ検出の問題はより難しい。なぜなら同等の自己チェックが存在しないからだ。自分の論文を、ウィンドウ設定も分からず、自分たちの母集団に対する較正も公表されていない独自の検出器にかけることはできない。今できる最善の具体的助言はこうだ。草稿を保存し、バージョン履歴を残し、何らかのAIツールを少しでも使ったなら、不使用を主張するのではなく誓約書にそう記載すること。178件中22件の却下は、高いスコアだけでなく、検出器のスコアとAI不使用の申告(または申告なし)との食い違いを理由とするものだったからだ。
参考文献はstrictcite.comで無料でチェックできる。もう一つの関門については、自分自身で論文を書き、草稿を保存し、検出器の判定が味方してくれることを祈るしかない。