1. 722本が公開され、719本が残った
10月6日、OpenAIは372件の数学問題への取り組みを報告する原稿722本を公開した。10月7日には3本を取り下げた。OpenAIの改訂履歴によれば、符号誤りによって1つの構成と、それに依存する2本の原稿が無効になった。同じ監査により別の14本が改訂され、さらに13本で参照先の版が更新された。[1] Retraction Watchも取り下げとOpenAIの説明を独自に報じた。[2]
現在、リポジトリに掲載されているのは722本ではなく719本で、問題ファミリーは同じ372件である。また、主要結果300件、約42パーセントが形式化済みであり、未形式化の結果の一部には問題があり得るとも注意書きされている。[3] これがOpenAIの現在の数字である。残る419本が誤りだという証拠ではなく、当初の722本中3本の取り下げを測定された「失敗率」とみなすこともできない。
2. 1つの符号誤りが3本の取り下げになった
3本は無関係な誤記ではなかった。OpenAIによれば、1つの符号誤りが安定化トレースの相殺論証と、依存する2本の原稿で使われた構成を破綻させた。規模が変えるのはこの点である。研究所の外で最初の論文が読まれる前に、1つの節点の誤りが結果ファミリー全体へ伝播し得る。
同じ10月7日の監査では、証明の修復、記述の訂正、仮定や依存関係の明確化、古い引用1件のために別の14本が改訂された。さらに13本が改訂済みの関連論文を参照するよう更新された。訂正は通常の学術活動である。異例なのは、査読すべき範囲が一度に到着したことだ。
3. 形式化は独立した理解と同じではない
現在のリポジトリは、719本の原稿に対して形式化された主要結果300件、約42パーセントと報告し、未形式化の結果には問題があり得ると明記している。[3] 形式成果物は重要な証拠である。明示された形式環境の中で、記述された定理が導かれることをコンピューターで確認できる。しかし、それだけで新規性、帰属、説明の質、あるいは文章から読者が受け取るすべての主張を形式文が捉えているかは確立できない。
そのためAdvisory Group on Mathematics and Artificial Intelligenceは、形式化の状態を、モデル、プロンプト、推論要約、時間、計算量の見積もり、問題選択の過程、同程度の失敗例とともに明示するよう勧告している。[4] これは飾りの開示ではない。何が実際に確認されたのかを査読者が判断するための情報である。
4. 争点は、誰が検証費用を負担するか
公開の9日前、AGMAIは600件を超える回答を踏まえた勧告を公表した。その中心原則は明快だった。研究所が、人間による即時の理解を伴わない大量の数学的成果を公開するなら、その理解が後から実現するよう、相当な資金提供を含めて責任を負わなければならない。[4]
Association for Human Mathematicsはさらに踏み込んだ。Terence Taoが再掲載した10月7日の声明で、700を超えるファイルの一斉公開を学術ではなく力の誇示と表現し、数学者にOpenAIとの協働をやめるよう求めた。[5] これは1団体の立場であり、すべての数学者による投票ではない。声明は、すべての証明が誤りだとも主張していない。批判の対象は手続き、規模、そして評価作業を誰に渡したかである。
その費用は抽象的なものではない。Fields MedalistのHugo Duminil-CopinはLe Mondeに、公開された問題のうち16件が自身の研究に関係し、関連する3,500ページ超を検討する必要があると語った。また、開かれた文化から集めた問題で独自モデルが先行できるなら、研究者は未解決のアイデアを共有しにくくなると懸念した。[6]
5. 最も強い反論：これこそ公開性の姿だ
リポジトリは公開されている。以前の版を保存し、取り下げを記録し、訂正を公開し、多くの結果について機械検証可能な成果物を含む。OpenAIは符号誤りを黙って削除しなかった。依存関係の破綻を文書化し、取り下げた原稿も閲覧可能なままにした。検証不能な発表より実質的に優れている。
AGMAI自身も公開を第一歩と呼ぶ一方、その助言はOpenAIの過程を承認するものではなく、公開は人間による理解の完了ではなく開始だと強調した。[7] 10月15日、OpenAIは具体的な対応を追加した。数学者がAI生成結果を検討し、理解し、発展させるSimons Foundationの新たな取り組みに500万ドルを拠出し、支援対象の研究者にはモデルと計算資源へのアクセスも提供する。[8]
それで十分かどうかは正当な論点である。しかし、事実関係は変わる。単に「OpenAIが722本を投げ込み、立ち去った」という話ではない。より鋭い問いは、1社が問題を選び、量を生み、共同体の検証課題を決めることを、公開後の資金提供で埋め合わせられるかである。
6. すべてのAI生成結果に状態証明が必要だ
PDFで埋まったフォルダーだけでは足りない。この規模の公開では、査読者が本来は自力で復元しなければならない問いに答える、機械可読な状態記録を各原稿に付けるべきである。
形式化の状態と正確な範囲
独立した人間による検証：なし / 一部 / 完了
原稿の上流・下流の依存関係
モデル、プロンプト、推論要約、時間、計算資源
同程度の問題への試行と失敗
過去版を恒久保存した改訂履歴
これで定理の重要性が決まるわけではない。だが検証状態を読み取れるようにし、コンピューターで確認された主張と人間が理解した主張を分け、訂正を依存論文へ波及させるべき時を明らかにできる。
7. StrictCiteが扱う範囲と、その限界
リポジトリの公開BibTeXファイル521個をコミット 1581d4c で監査した。解析項目は13,802件、そのうちDOIフィールド付きは9,824件だった。自動正規化後も15件のファイル横断DOI競合が残ったが、手作業の確認ですべて説明できた。最も誤りらしく見えた事例は、実際には古いarXiv版への正しい引用だった。[9]
この結果はすべての参考文献を保証せず、証明についても何も示さない。検証には根拠が必要であり、疑わしい誤りは手作業の確認を通過して初めて誤りと呼べることを示す。StrictCiteは、識別子、題名、著者、年、版が出典と一致するかという書誌的基盤を確認する。Leanと数学的査読は別の層を扱う。どちらも他方を装うべきではない。
ご自身の参考文献について、合否ラベルだけでなく根拠を確認するには、strictcite.com を利用できる。無料枠にカード登録は不要である。