FHIRデータからLLMへのシリアル化戦略:臨床応用におけるベンチマーク研究
Context-Dependent FHIR Serialisation Strategies for Clinical LLM Deployment - medRxiv
サマリー
本研究は、FHIRデータを大規模言語モデル(LLM)に投入する際のシリアル化形式が、臨床的な質に大きな影響を与えることを示した。最適な形式はタスクやモデルの能力によって異なり、「raw_json」「hybrid_adaptive」「structured_markdown」など、目的に応じた選択が必要である。
詳細
本研究では「FHIRBench-UK」というベンチマークを用いて、100名の英国コア(UK Core)データに基づき、5種類のLLMを6つのシリアル化形式で評価した。その結果、単一の最適なフォーマットは存在せず、タスクに応じて適切な戦略を選択する必要があることが判明した。 具体的には、臨床的な質問応答(QA)にはraw_jsonが優れ、臨床的推論にはhybrid_adaptive、要約にはstructured_markdownが最適であると示された。また、モデルの能力差も考慮し、中級レベルのモデルを使用する予算制約下では「adaptive serialisation」(適応型シリアル化)が特に価値を持つことが指摘されている。 さらに、本研究はトークン単位のF1スコアと実際の臨床品質の間には強い逆相関(rho=-0.90)があることを確認し、LLMの評価において単なる技術指標だけでは不十分であることを示唆している。これらの知見は、NHSにおけるFHIRベースのLLM導入において、「タスクに応じたシリアル化ルーティング」をコストゼロの品質改善策として推奨している。
Original content copyright by respective publishers