HealthRecordCommunity
FHIR🌏 USA🏛 Boston Children’s Hospital整理済

FHIR-AgentEval:記憶機能拡張型LLMエージェントの臨床ベンチマーク用サンドボックス

FHIR-AgentEval: a modular sandbox for benchmarking clinical LLM agents with memory ...

2026年10月11日Boston Children’s Hospital

サマリー

医療データ交換の基盤となるFHIRの複雑性が課題となる中、LLMエージェントによる自然言語から構造化データへの変換能力の信頼性評価が求められている。本研究では、43のモジュールタスクからなる評価サンドボックス「FHIR-AgentEval」を提案し、長期記憶機能の組み込みがエージェントの成功率を大幅に向上させることを実証した。

詳細

医療データ交換はHL7 FHIRに大きく依存しているが、その実装の複雑さが臨床ワークフローにおける障壁となっている。本研究は、この課題に対し、LLMエージェントが自然言語の要求を構造化されたFHIR操作に変換する能力を検証する評価サンドボックス「FHIR-AgentEval」を開発した。このサンドボックスは、予約管理や遺伝子検査など、43の現実的なモジュールタスクで構成されている。研究チームは、リセット可能なFHIRサーバー上で、エージェントの応答とサーバー状態をカスタムで検証する。アブレーションスタディを通じて、エージェントに提供する長期記憶とFHIR仕様のグラウンディングの有無を比較した結果、記憶機能がタスク成功率の向上と、不適切なツール選択などの戦略的失敗の減少に一貫して貢献することが示された。この結果は、LLMエージェントをより堅牢な臨床現場に展開するための具体的な道筋を提供するものである。

📰
原文を読む
nature.com
→

Original content copyright by respective publishers