患者医療記録の質問応答:プライベートなファインチューニングLLMによるアプローチ
Question Answering on Patient Medical Records with Private Fine-Tuned LLMs - ChatPaper
サマリー
スタンフォード大学とGenloop Labsは、電子健康記録(DSE)からの情報抽出のため、プライベートに調整された大規模言語モデル(LLMs)を用いた新しいセマンティックQAアプローチを提案した。この手法は、まず関連するFHIRリソースを特定し、次にそれに基づいて質問に回答することで、高い性能を示した。
詳細
本研究では、電子健康記録(DSE)の複雑なデータから重要な情報を抽出するための課題に取り組んでいる。これらのDSEは通常、Fast Healthcare Interoperability Resources (FHIR) 規格に従って格納されているが、その膨大な量と複雑さゆえに、ユーザーによる情報検索や解釈が困難であるという背景がある。これに対し、大規模言語モデル(LLMs)を活用したセマンティックQAが有効な解決策として注目されている。しかし、医療データを取り扱う上での機密性(コンフィデンシャリティ)と法令遵守の確保は極めて重要であり、そのためにはLLMsをプライベートかつエッジ環境で展開することが必須となる。本論文では、この課題に対し、「関連FHIRリソースの特定」(タスク1)と「特定されたリソースに基づく質問応答」(タスク2)という二段階のアプローチを採用した。開発チームは、自社調整型のLLMsを、GPT-4やGPT-4oといった主要な参照モデルと比較評価した。その結果、サイズが大幅に小さいにもかかわらず、本研究のLLMsがタスク1においてF1スコアで0.55%増、タスク2(Meteorスコア)において42%増という優れた性能を達成したことを報告している。さらに、調整プロセスやデータサイズの影響など、LLMs利用に関する高度な側面も検討されている。本モデルとデータセットは公開されており、研究コミュニティでの検証が期待される。
Original content copyright by respective publishers