← トップへ戻る

プレプリント ·研究論文 ·速報 ·AI要約未精査 ·AIによる読み解き

LLMが信念を操作できるか？非対話型理論心的計画評価

LLMsの非対話型理論心的計画能力を評価

元記事タイトル: LLMによる非対話型理論心的計画と行動: モデルの信念状態誘導能力評価

arXiv cs.CL 2026年07月01日

査読未完了の可能性があります。完成した査読済み論文としてではなく、研究コミュニティ向けの早期共有として読んでください。

RESEARCH 研究論文 / Preprint

Field Note 読む前に確認

3行まとめ

大規模言語モデル(LLMs)が信念状態誘導(NCP-ToM)を行う能力を評価
GPT-5が他のモデルや人間よりも優れたパフォーマンスを示した
誤情報や操作リスクも考慮する必要がある

こんな人に関係ある話

AI研究者機械学習エンジニア教育技術開発者

信頼度メモ

プレプリント論文（査読前の可能性あり）

記事の読み解き Reading

元記事を材料に、要点、編集視点、良い点と懸念点を読みやすい順に整理しています。

この研究では、大規模言語モデル(LLMs)が会話を通じてではなく、直接的な行動や計画を通じて他のエージェントの信念状態を誘導する能力(NCP-ToM: Non-Conversational Planning Theory of Mind)を評価します。GPT-5, Gemini 2.5 Pro, Claude 4シリーズなどの6つの先端モデルと人間参加者を対象に、600以上のタスクで実験を行いました。結果は、GPT-5が他のモデルや人間よりも優れたパフォーマンスを示しましたが、人間の能力を超えることはありませんでした。

編集部コメント

本研究では、従来の会話型評価から脱却し、LLMsが直接的な行動を通じて他のエージェントの信念状態を誘導できるかを検証しています。特にGPT-5の優れたパフォーマンスは注目に値しますが、人間との比較で見るとまだ完全な代替手段とは言えません。

評価ポイント Assessment

良い点

非対話型理論心的計画(NCP-ToM)という新しい評価方法を導入
GPT-5が他のモデルや人間よりも優れたパフォーマンスを示した
真偽の信念状態に対するモデルの反応に違いがあることが確認された

懸念点

NCP-ToM能力は、誤情報や操作リスクも伴う可能性がある
GPT-5以外のモデルが人間と同等以上のパフォーマンスを示していない

業界・社会への影響 Impact

この研究は、LLMsの社会的認識能力について新たな視点を提供し、エージェントベースのシステムや教育的な文脈での応用可能性を探求します。ただし、誤情報や操作リスクも考慮する必要があります。

深堀り Deep Dive

前提知識

理論的観点を持つ心（Theory of Mind: ToM）は、他者の信念や意図を理解し、それに基づいて行動する能力を指します。従来の大規模言語モデル（LLMs）の評価は、質問応答形式に依存しており、エージェントとしての行動や計画に基づく評価はほとんどありませんでした。近年、LLMsがより自律的・エージェント的な形で活用されるようになり、従来の評価方法では対応できない新しい課題が生じています。

何が新しいのか

本研究では、LLMsが会話ではなく直接的な行動や計画を通じて他者の信念状態を誘導する能力（NCP-ToM）を評価する新しいフレームワークを提案しました。従来のToM評価が質問応答に依存していたのに対し、本研究はモデルに具体的な信念状態の目標を提示し、それを達成するためにオブジェクトを動かすなどの行動を要求するタスクを用いました。これにより、LLMsのエージェントとしての能力をより現実的に評価できるようになりました。

今後見るべき論点

NCP-ToMの評価が、LLMsの社会的推理能力や安全性評価にどのように寄与するか
モデルが真の信念状態よりも偽の信念状態を誘導しにくい傾向が、LLMsの倫理的設計に与える影響
GPT-5のようなモデルが人間を上回るパフォーマンスを示したが、文脈によって劣るという結果が、将来的なモデル改善にどのような示唆を与えるか

用語解説

理論的観点を持つ心（ToM）他者の信念や意図を理解し、それに基づいて行動する能力のこと

NCP-ToM 会話ではなく行動や計画を通じて他者の信念状態を誘導する能力のこと

LLMs 大規模言語モデルの略。膨大なデータを学習し、複雑なタスクに応じて文を生成するAIモデル

信念状態他者が持つとされる知識や信念の状態。モデルが誘導する対象となる

参照元 Sources

元記事と、深堀りで参照した情報源です。コミュニティ投稿やプレプリントでは、ここから根拠を確認できます。

LLMによる非対話型理論心的計画と行動: モデルの信念状態誘導能力評価

arXiv cs.CL

https://arxiv.org/abs/2606.31916

この記事の見取り図

読む前に確認
記事の読み解き
深堀り
参照元
AI要約について
関連記事

キーワード

LLM Theory of Mind (ToM) NCP-ToM belief state induction GPT-5 Gemini 2.5 Pro Claude 4 series

AI要約について

本記事の要約・分類・読み解きにはAIを使用しています。内容確認に努めていますが、誤訳・解釈違い・元記事更新の反映漏れを含む可能性があります。重要な判断を行う場合は、必ず元記事もご確認ください。

速報について — 速報は追加調査や本文抽出の結果で内容が更新される場合があります。初期要約には誤りや不足が含まれる可能性があります。

記事データ

Source	プレプリント
Category	研究論文
Status	速報
出典	arXiv cs.CL
公開日	2026-07-01

元記事の説明文

arXiv:2606.31916v1 Announce Type: new Abstract: Theory of Mind (ToM) benchmarks for Large Language Models (LLMs) typically rely on passive question-answering formats, but the deployment of LLMs in increasingly agentic and autonomous forms demands new evaluations. In this paper we evaluate an agent's ability to induce specific belief states in other agents by taking actions rather than using conversational persuasion, a capability we call Non-Conversational Planning ToM (NCP-ToM). NCP-ToM is likely to be essential for many agent use-cases, including within user-assistant interactions and pedagogical contexts, but may also present manipulation or misinformation risks. Using a novel framework, NCP-ExploreToM, we subvert the conventional task structure by providing models with a set of belief state goals and requiring them to move objects or direct characters into rooms to achieve their goals. We evaluated six frontier models, including GPT-5, Gemini 2.5 Pro and the Claude 4 series, and a cohort of human participants, across 600 task instances. GPT-5 was successful on approximately 80% of tasks in the agentic setting, and was the only model to outperform human participants on our task, but was still less robust than humans across contexts. We additionally found that all models, like humans, performed better on tasks inducing true belief states than false belief states, which is a positive signal for alignment efforts. These findings highlight emerging social-reasoning capabilities in LLMs for non-conversational task completion and underscore the necessity of agentic evaluations for understanding the safety and alignment of autonomous social agents.