← トップへ戻る

プレプリント ·研究論文 ·速報 ·AI要約未精査 ·AIによる読み解き

ヘルスケアLLMの安全性と有用性、新たな評価基準が登場

Health-ORSC-Benchは、ヘルスケア分野における大規模言語モデルの安全性と過度な拒否を評価するベンチマーク

元記事タイトル: ヘルスケアにおける大規模言語モデルの安全性と過度な拒否の評価基準：Health-ORSC-Bench

arXiv cs.AI 2026年06月29日

査読未完了の可能性があります。完成した査読済み論文としてではなく、研究コミュニティ向けの早期共有として読んでください。

RESEARCH 研究論文 / Preprint

Field Note 読む前に確認

3行まとめ

Health-ORSC-Benchは、ヘルスケア分野でのLLMの安全性と有用性を評価するための新しいフレームワーク
31,920のプロンプトを使用してモデルが意図の曖昧さに対応する能力を測定
GPT-5やClaude-4などの最新のLLMで実験を行い、安全と有用性のバランスについての洞察を得た

こんな人に関係ある話

AI研究者ヘルスケア分野でのAI技術開発に携わるエンジニア医療情報システムの管理者

信頼度メモ

プレプリント論文（査読前の可能性あり）

記事の読み解き Reading

元記事を材料に、要点、編集視点、良い点と懸念点を読みやすい順に整理しています。

arXivに掲載された論文では、Health-ORSC-Benchという新しいベンチマークが紹介されています。このフレームワークは、大規模言語モデル（LLM）のヘルスケア分野における安全性と過度な拒否を評価するためのもので、自傷や医療誤情報などの7つの健康カテゴリーにまたがる31,920の良性境界プロンプトを使用しています。Health-ORSC-Benchは自動化されたパイプラインと人間による検証を通じて、モデルが意図の曖昧さに対応する能力を評価します。

編集部コメント

Health-ORSC-Benchは、ヘルスケア分野における大規模言語モデルの安全性と有用性を評価するための重要なツールであり、この研究はLLMが医療情報を扱う際のリスク管理に新たな視点を提供します。ただし、ベンチマーク自体も改善の余地があり、今後の研究ではさらなる改良や拡張が期待されます。

評価ポイント Assessment

良い点

ヘルスケア分野におけるLLMの安全性と過度な拒否を評価する初めての大規模ベンチマーク
31,920のプロンプトを使用して、モデルが意図の曖昧さに対応する能力を測定
GPT-5やClaude-4などの最新のLLMを評価し、安全と有用性のバランスについての洞察を提供

懸念点

安全性最適化されたモデルが過度に拒否することによる有用性の損失
ドメイン特異的モデルが安全性を犠牲にして有用性を得る傾向

業界・社会への影響 Impact

Health-ORSC-Benchは、ヘルスケア分野でのLLMの開発と評価において重要な役割を果たし、モデルの安全な操作と有用性のバランスを改善するための研究を促進します。また、このベンチマークを通じて得られた知見は、将来の医療AIシステムの設計に直接影響を与える可能性があります。

深堀り Deep Dive

前提知識

ヘルスケア分野における大規模言語モデル（LLM）の活用は、医療の質や効率向上に寄与する一方で、安全性や倫理的な課題も生じている。特に、LLMが医療誤情報や自傷行為などの有害な内容に適切に対応できるか、また、意図の曖昧な質問に対して過剰に拒否しないかという点が注目されてきた。これまでのベンチマークでは、二元的な拒否基準が用いられており、有益な質問を過剰に拒否する「過度な拒否（Over-Refusal）」や、有害な内容に従う「不安全な従順（Unsafe Compliance）」の評価が不十分だった。

何が新しいのか

本論文では、Health-ORSC-Benchという新しいベンチマークを提案し、医療分野におけるLLMの安全性と過度な拒否を評価するための体系的なフレームワークを構築した。既存のベンチマークが極端なケースに偏るのに対し、本フレームワークは「曖昧な意図」を持つ質問に対して、安全かつ有益な応答を行う「Safe Completion」能力を評価する。31,920の良性境界プロンプトを用いて、7つの医療カテゴリ（例：自傷、医療誤情報）をカバーし、自動化されたパイプラインと人間による検証を組み合わせた評価手法を導入している。

今後見るべき論点

医療分野におけるLLMの安全性と実用性のバランスが今後どのように調整されるか
ベンチマークの拡張や、異なる医療分野への適用可能性
LLMの「Safe Completion」能力を高めるためのトレーニング手法やモデル設計の進展

用語解説

Over-Refusal 意図が曖昧な質問に対して、モデルが過剰に応答を拒否してしまう現象

Safe Completion 有害でないが曖昧な質問に対して、安全かつ有益な応答を生成する能力

Health-ORSC-Bench 医療分野におけるLLMの安全性と過度な拒否を評価するためのベンチマーク

Large Language Model (LLM) 膨大なデータを基に訓練された、自然言語を理解・生成できる人工知能モデル

参照元 Sources

元記事と、深堀りで参照した情報源です。コミュニティ投稿やプレプリントでは、ここから根拠を確認できます。

ヘルスケアにおける大規模言語モデルの安全性と過度な拒否の評価基準：Health-ORSC-Bench

arXiv cs.AI

https://arxiv.org/abs/2601.17642

この記事の見取り図

読む前に確認
記事の読み解き
深堀り
参照元
AI要約について
関連記事

キーワード

Health-ORSC-Bench Over-Refusal and Safe Completion Benchmark Large Language Models ヘルスケア安全性

AI要約について

本記事の要約・分類・読み解きにはAIを使用しています。内容確認に努めていますが、誤訳・解釈違い・元記事更新の反映漏れを含む可能性があります。重要な判断を行う場合は、必ず元記事もご確認ください。

速報について — 速報は追加調査や本文抽出の結果で内容が更新される場合があります。初期要約には誤りや不足が含まれる可能性があります。

記事データ

Source	プレプリント
Category	研究論文
Status	速報
出典	arXiv cs.AI
公開日	2026-06-29

元記事の説明文

arXiv:2601.17642v2 Announce Type: replace Abstract: Safety alignment in Large Language Models is critical for healthcare; however, reliance on binary refusal boundaries often results in over-refusal of benign queries or unsafe compliance with harmful ones. While existing benchmarks measure these extremes, they fail to evaluate Safe Completion: the model's ability to maximise helpfulness on dual-use or borderline queries by providing safe, high-level guidance without crossing into actionable harm. We introduce Health-ORSC-Bench, the first large-scale benchmark designed to systematically measure Over-Refusal and Safe Completion quality in healthcare. Comprising 31,920 benign boundary prompts across seven health categories (e.g., self-harm, medical misinformation), our framework uses an automated pipeline with human validation to test models at varying levels of intent ambiguity. We evaluate 30 state-of-the-art LLMs, including GPT-5 and Claude-4, revealing a significant tension: safety-optimised models frequently refuse up to 80% of "Hard" benign prompts, while domain-specific models often sacrifice safety for utility. Our findings demonstrate that model family and size significantly influence calibration: larger frontier models (e.g., GPT-5, Llama-4) exhibit "safety-pessimism" and higher over-refusal than smaller or MoE-based counterparts (e.g., Qwen-3-Next), highlighting that current LLMs struggle to balance refusal and compliance. Health-ORSC-Bench provides a rigorous standard for calibrating the next generation of medical AI assistants toward nuanced, safe, and helpful completions. Furthermore, our benchmark facilitates reproducible evaluation, encourages safety calibration, and supports development of clinically reliable, context-aware, human-aligned medical AI systems. Our code and data are available at: https://github.com/ZhihaoZhang97/Health-ORSC-Bench. Warning: Some contents may include toxic or undesired contents.