エビデンスライブラリ
Cross-SecN=195中品質
公開SNS フォーラム上の患者質問に対する医師と AI チャットボット回答の比較
Comparing Physician and Artificial Intelligence Chatbot Responses to Patient Questions Posted to a Public Social Media Forum
Ayers JW, Poliak A, Dredze M, et al. — JAMA Internal Medicine, 2023
Reddit r/AskDocs の患者質問 195 件で ChatGPT 回答が医師より好まれた率 78.6%、共感性 OR 9.8 倍、品質 OR 3.6 倍。
対象集団Reddit r/AskDocs の患者質問 195 件 (ChatGPT vs 医師回答を盲検評価、評価者は医療従事者 3 名)サンプルサイズN=195
エビデンスの限界
SNS の質問は実臨床より単純、評価者は実患者ではなく医療従事者、ChatGPT-3.5 評価で現在のモデルとは異なる、回答長 (ChatGPT は医師の約 4 倍) が評価に影響した可能性。
読者の方へ
Reddit r/AskDocs に 2022 年 10 月までに投稿された患者質問 195 件をランダム抽出し、同質問への医師の verified 回答と ChatGPT 4 の回答を、医療従事者 3 名が盲検で評価したクロスセクショナル研究です。
