FHIRデータ上のツール呼び出しエージェントのための強化学習の応用
Reinforcement Learning for Tool-Calling Agents in Fast Healthcare Interoperability Resources (FHIR)
サマリー
本研究では、医療データ交換の主要標準であるFHIRにおける複雑な質問応答タスクに対し、強化学習(RL)を用いたツール呼び出しエージェントを提案した。従来のLLMベースのエージェントが抱えるリソース選択やトラバーサル制約違反の問題を解決し、高い精度向上を実現した。
詳細
本論文は、医療データ交換の主要標準であるFast Healthcare Interoperability Resources (FHIR) を対象に、臨床的に意味のある質問応答を行うための新しいアプローチを提案している。FHIRでは電子カルテがリソースの有向グラフとして構成されており、これに対して多段階の推論、フィルタリング、集計が必要となる。先行研究では、ツール拡張されたLLMエージェント(検索、コード実行など)であっても、誤ったリソースを選択したり、トラバーサル制約に違反したりする問題が指摘されていた。 本研究では、この問題をFHIR-AgentBenchという実世界の病院データに基づくベンチマークで検証し、FHIR上での推論をクエリ可能な構造グラフ上の逐次的な意思決定問題として定式化した。具体的には、マルチターンCodeActエージェントを実装し、カスタムハーンとツールを用いて強化学習(RL)によるポストトレーニングを行った。LLM Judgeが実行に基づいた報酬を提供することで、プロンプトベースやクローズドモデルのベースラインと比較し、データ整合性制約を強制しながら性能向上を実現した。 その結果、FHIR-AgentBenchにおいて回答正答率を50%(o4-mini)から77%に改善できることを実証した。このアプローチは、より小さく安価なQwen3-8Bモデルを使用しつつも高い性能を示し、構造化された臨床グラフ上での多段階推論を信頼性高く向上させるエンドツーエンドのポストトレーニングパイプラインを提示している。
Original content copyright by respective publishers