思考崩壊を克服する——新たなオンポリシー自己精製手法が登場

オンポリシー自己精製における思考崩壊を診断し、新しいアダプティブデュアルペースピヴェルOPSD手法を提案

元記事タイトル: オンポリシー自己精製における思考崩壊の診断と軽減

arXiv cs.CL 2026年07月14日

査読未完了の可能性があります。完成した査読済み論文としてではなく、研究コミュニティ向けの早期共有として読んでください。

RESEARCH 研究論文 / Preprint

Field Note 読む前に確認

3行まとめ

オンポリシー自己精製(OPSD)は大規模言語モデルの強化と調整に重要な役割を果たす
しかし複雑な推論タスクではパフォーマンスが低下する思考崩壊現象がある
新しいアダプティブデュアルペースピヴェルOPSD(AD-OPSD)手法でこの問題に対処

こんな人に関係ある話

AI研究者機械学習エンジニア大規模言語モデルの開発者

信頼度メモ

プレプリント論文（査読前の可能性あり）

記事の読み解き Reading

元記事を材料に、要点、編集視点、良い点と懸念点を読みやすい順に整理しています。

この研究では、大規模言語モデル(LLM)の強化と調整に重要な役割を果たすオンポリシー自己精製(OPSD)において、複雑な推論タスクでパフォーマンスが低下する問題を調査しています。著者らはこの現象を「思考崩壊」と定義し、エントロピーに基づく勾配マスキングとトークンレベルの目標分析を通じて、学生モデルの決定枝における教師勾配による抑制が原因であることを示しました。また、この問題に対処するためのアダプティブデュアルペースピヴェルOPSD(AD-OPSD)を提案し、実験結果でその効果を確認しています。

編集部コメント

この研究は、オンポリシー自己精製(OPSD)における思考崩壊という新たな概念を提唱し、その原因と解決策について詳細な分析を行っています。特に、エントロピーに基づく勾配マスキングとトークンレベルの目標分析を通じて、学生モデルの決定枝における教師勾配による抑制が思考崩壊の原因であることを示しています。また、新しいアダプティブデュアルペースピヴェルOPSD(AD-OPSD)手法を提案し、実験結果でその効果を確認しています。

評価ポイント Assessment

良い点

思考崩壊という新たな概念を提唱
エントロピーに基づく勾配マスキングとトークンレベルの目標分析を使用
新しいアダプティブデュアルペースピヴェルOPSD(AD-OPSD)手法を提案

業界・社会への影響 Impact

この研究は、大規模言語モデル(LLM)の自己精製におけるパフォーマンス低下問題を解決し、より効果的な学習と推論を可能にする可能性があります。これはAI研究コミュニティにとって重要な進歩であり、LLMの開発と応用に大きな影響を与えるでしょう。

参照元 Sources

元記事と、深堀りで参照した情報源です。コミュニティ投稿やプレプリントでは、ここから根拠を確認できます。

オンポリシー自己精製における思考崩壊の診断と軽減

arXiv cs.CL

https://arxiv.org/abs/2607.10805

この記事の見取り図

読む前に確認
記事の読み解き
参照元
AI要約について
関連記事

キーワード

オンポリシー自己精製思考崩壊エントロピーに基づく勾配マスキングアダプティブデュアルペースピヴェルOPSD

AI要約について

本記事の要約・分類・読み解きにはAIを使用しています。内容確認に努めていますが、誤訳・解釈違い・元記事更新の反映漏れを含む可能性があります。重要な判断を行う場合は、必ず元記事もご確認ください。

速報について — 速報は追加調査や本文抽出の結果で内容が更新される場合があります。初期要約には誤りや不足が含まれる可能性があります。

記事データ

Source	プレプリント
Category	研究論文
Status	速報
出典	arXiv cs.CL
公開日	2026-07-14

元記事の説明文

arXiv:2607.10805v1 Announce Type: new Abstract: On-Policy Self-Distillation (OPSD) has emerged as a crucial paradigm for enhancing and aligning Large Language Models (LLMs). However, in complex reasoning tasks, OPSD paradoxically degrades downstream performance. In this paper, we systematically investigate this pathology and identify a severe optimization trap we define as \textbf{Thinking Collapse} -- a sharp decline in the model's native intermediate reasoning behavior, measured by epistemic-token density (ET per 1k). Through entropy-based gradient masking and token-level target analysis, we show that this collapse is triggered by aggressive teacher gradients at high-student-entropy decision forks, where student epistemic tokens are frequently suppressed into teacher non-epistemic targets and are highly concentrated in high pointwise student-teacher divergence regions. To resolve this optimization pathology, we propose \textbf{Adaptive Dual-Perspective OPSD (AD-OPSD)}, a robust control framework that dynamically moderates the self-distillation objective. AD-OPSD selectively anchors high-suppression-risk sandboxed tokens to a reference prior derived from the frozen base model via an asymmetrical pointwise divergence gate, preserving native thinking capacity while retaining OPSD's error-correcting power. Extensive experiments across competitive mathematical benchmarks show that AD-OPSD improves over standard OPSD by up to \textbf{+4.1\%} absolute average accuracy across diverse model scales and datasets. Further analysis demonstrates that AD-OPSD mitigates thinking collapse and generalizes robustly to different post-training paradigms.