HealthRecordCommunity
FHIRHL7🌏 International整理済

FHIR対応LLMエージェントの評価ベンチマーク「FHIR-AgentBench」を発表

FHIR-AgentBench: Benchmarking LLM Agents for Realistic Interoperable EHR Question Answering

2025年11月14日

サマリー

研究者らは、HL7 FHIR標準に対応した大規模言語モデル(LLM)エージェントの性能を評価する新しいベンチマーク「FHIR-AgentBench」を開発しました。本ベンチマークは、実際の臨床現場で発生する複雑な質問に焦点を当てており、従来の構造化データQAの限界を超えることを目指します。

詳細

近年、医療分野でのAI活用が進む中で、LLMエージェントが診断支援や患者ケアの個別化に期待されています。これらのエージェントを実用的なツールとするには、電子カルテ(EHR)システムなどのデータエコシステムとの統合が不可欠です。現在、この業界はデータを共有・照会するための標準としてHL7 FHIRを採用しつつあります。 しかし、既存のベンチマークは、FHIRのような複雑なリソースベースのデータモデルを扱う現実的なシナリオを提供できていませんでした。本研究で提案された「FHIR-AgentBench」は、このギャップを埋めるため、2,931件の実世界の臨床質問をHL7 FHIR標準に基づいてグラウンディング(根拠付け)しました。 このベンチマークを用いることで、データ検索戦略(直接のFHIR APIコールか専門ツールか)、対話パターン(シングルターンかマルチターンか)、推論戦略(自然言語かコード生成か)など、エージェントが直面する多様な課題を体系的に評価できます。研究結果は、複雑なFHIRリソースからのデータ取得やそれに基づく推論の難しさを浮き彫りにしています。 これは、単なるSQLクエリへの翻訳能力を超え、相互運用可能な健康データ資源全体を横断的に理解し、情報を統合する高度な能力が求められることを示唆しています。

技術解説 / AIレコメンド

FHIR(Fast Healthcare Interoperability Resources)は医療データ交換の国際標準。このエントリの関連技術: FHIR

📰
原文を読む
arxiv.org
→

Original content copyright by respective publishers