HealthRecordCommunity
FHIR🌏 International🏛 スタンフォード大学整理済

医療AIエージェントの評価ベンチマーク「MedAgentBench」が発表

Stanford Researchers Introduced MedAgentBench: A Real-World Benchmark for Healthcare ...

スタンフォード大学の研究者が、FHIR標準を用いた医療AIエージェント評価のための実世界ベンチマーク「MedAgentBench」を導入した。

2025年9月16日スタンフォード大学

サマリー

スタンフォード大学の研究チームは、大規模言語モデル(LLM)のエージェント能力を評価するための新しいベンチマーク「MedAgentBench」を発表した。これは、仮想的な電子健康記録(EHR)環境で、AIシステムに多段階の臨床タスクを実行させることで、医療現場での実用性を検証するものである。

関連プレイヤー

Stanford University

詳細

スタンフォード大学の研究者たちは、LLMエージェントを医療分野で評価するためのベンチマークスイート「MedAgentBench」を発表した。従来の質問応答データセットとは異なり、本ベンチマークは仮想EHR環境を提供し、AIシステムが計画立案やツール利用を含む多段階の臨床タスクを実行することを要求する。この進化は、単なる静的な推論テストから、実際の医療ワークフローにおけるエージェント能力の評価へと焦点を移すものである。 MedAgentBenchは、ライセンスを持つ医師によって作成された10カテゴリにわたる300のタスクで構成されており、患者情報検索や検査結果追跡など、入院・外来ケアで遭遇するワークフローを再現している。ベンチマークが利用するのは、スタンフォードのSTARRデータリポジトリから抽出された100名の現実的な患者プロファイルであり、これにはラボデータ、バイタルサイン、診断、処置などが含まれる。 環境はFHIRに準拠しており、EHRデータの取得(GET)と変更(POST)の両方をサポートするため、AIシステムが服薬指示やバイタル記録の文書化といった現実的な臨床相互作用をシミュレートできる。評価では、GPT-4oやClaude 3.5 Sonnetなどの主要なLLMがテストされ、タスク成功率(SR)という指標で測定された。結果として、モデルはクエリタスクには優れていたものの、安全性が求められる多段階の実行型タスクに課題を残すことが明らかになった。

技術解説 / AIレコメンド

FHIR(Fast Healthcare Interoperability Resources)は医療データ交換の国際標準。このエントリの関連技術: FHIR

📰
原文を読む
marktechpost.com
→

Original content copyright by respective publishers