©作者 | 机器之心编辑部来源 | 机器之心
香港中文大学（深圳）和深圳市大数据研究院所在的王本友教授团队训练并开源了一个新的医疗大模型 ——HuatuoGPT（华佗GPT），以使语言模型具备像医生一样的诊断能力和提供有用信息的能力。
基于医生回复和 ChatGPT 回复，让语言模型成为医生提供丰富且准确的问诊。
在医疗领域，大规模语言模型（LLM）具有广阔的应用潜力。尽管像 ChatGPT 这样的语言模型能够生成内容详实、表述流畅、逻辑清晰的回复，但其在回应患者描述症状时，缺乏专业性和对患者输入的精确解读。其回复常常包含多种可能性，并以较高层次的建议形式呈现，但往往缺少深入的上下文理解能力，使得其帮助患者的具体情况有限。相比之下，现实世界中医生与患者的互动数据能够更准确地反映医疗情景的复杂性，并提供准确无误的诊断建议，具有极高的专业性。然而，由于时间的限制，医生的回应常常简洁至不能充分传达信息，甚至有时会显得不连贯。若仅依靠这些数据来训练模型，得到的模型难以流畅地应对多样的指令或对话，其生成的回应也会显得短小、表述不佳，有时信息含糊，这对患者并不友好。香港中文大学（深圳）和深圳市大数据研究院所在的王本友教授团队利用指令微调和强化学习在 ChatGPT 和医生的回复中找到结合点，训练并开源了一个新的医疗大模型 ——HuatuoGPT。HuatuoGPT 致力于通过融合 ChatGPT 生成的 “蒸馏数据” 和真实世界医生回复的数据，以使语言模型具备像医生一样的诊断能力和提供有用信息的能力，同时保持对用户流畅的交互和内容的丰富性，对话更加丝滑。
论文地址：
https://arxiv.org/pdf/2305.15075.pdfGithub 地址：
https://github.com/FreedomIntelligence/HuatuoGPTDemo 地址：
https://www.huatuogpt.cn/
该论文提出的语言模型训练方法可以结合医生和 ChatGPT 的数据，充分发挥它们的互补作用，既保留真实医疗数据的专业性和准确性，又借助 ChatGPT 的多样性和内容丰富性的特点。
HuatuoGPT 使用了四种不同的数据集，分别如下：
蒸馏 ChatGPT 指令数据集（Distilled Instructions from ChatGPT）：这个数据集受到 Alpaca 模型创建指令集的方法启发，从 ChatGPT 中提炼出医疗相关的指令。与之前工作不同的是，本方法还加入了科室和角色信息，根据采样的科室或角色生成符合条件的指令数据集。
真实医生指令数据集（Real-world Instructions from Doctors）：这个数据集来源于真实医生和患者之间的问答。医生的回复通常简洁且口语化，因此本方法通过润色以提高其可读性。
蒸馏 ChatGPT 对话数据集（Distilled Conversations from ChatGPT）：这个数据集通过为两个 ChatGPT 模型提供共享的对话背景，让它们分别模仿医生和患者进行对话。
- 真实医生对话数据集（Real-world Conversations with Doctors）：这个数据集来源于真实医生的对话，但对医生的回复使用模型进行了润色。
这些数据集共同为模型提供了一个统一的语言模式、医生的诊断能力以及指令跟随能力。为了进一步提升模型生成的质量，HuatuoGPT 还应用了基于 AI 反馈的强化学习技术（RLAIF）。使用 ChatGPT 对模型生成的内容进行评分，考虑内容的用户友好程度，并结合医生的回答作为参考，将医生回复的质量纳入考量。利用 PPO 算法将模型的生成偏好调整到医生和用户之间的一致性，从而增强模型生成丰富、详尽且正确的诊断。
实验结果
在评估 HuatuoGPT 的性能表现上，团队成员采用了自动评估和人工评估两种方式相互验证，在单轮问答场景和多轮交互式诊断场景中分别进行了评估。
针对单轮问答场景，团队成员精心收集了涵盖 10 个医疗领域意图的 100 个问题，并利用 GPT-4 进行自动评估。具体来说，团队提供了两个模型对同一问题生成回复，并使用 GPT-4 对每个模型的回复进行分析和打分。最终的测试结果显示，相较于基于 LLaMa 和 ChatGLM 的开源中文医疗模型，HuatuoGPT 表现显著优秀（以 HuatuoGPT 为基准）。这一优势得益于 HuatuoGPT 同时使用了从 ChatGPT 蒸馏的数据和真实世界数据进行训练，并借助来自 ChatGPT 和专业医生的混合反馈进行了优化。此外，HuatuoGPT 在总体性能上甚至超过了 GPT-3.5-turbo。
对于多轮问诊场景，团队成员收集了涵盖 20 个科室的 100 个多轮对话进行了评估。评估结果显示，HuatuoGPT 不仅全面优于目前的开源中文医疗模型，而且在大部分科室的表现上均优于 GPT-3.5-turbo，这为 HuatuoGPT 在处理更加复杂的多轮问诊场景中的优异性能提供了有力的证据。在人工评估方面，团队成员使用了自动评估中的样本进行评估验证。团队成员邀请专业医生为模型的输出结果进行人工评估。下表是单轮问答场景和多轮诊断场景的评估结果。评估结果表明，无论是单轮的人工评测还是多轮的人工评测结果都与自动评估的结果保持了一致，这充分验证了模型性能评估的一致性和可靠性。
▲ 表：多轮问诊场景人工评估结果
访问方式
彩蛋：团队还开放了 HuatuoGPT 的前置工作 Huatuo-26M 医疗问答数据集（并不是 HuatuoGPT 的训练数据）https://github.com/freedomintelligence/huatuo-26m ，总共 2600W 的医疗问答数据全部开源到到了 HuggingFace，如果需要清理好的干净数据请发邮件至 changmiaowang@cuhk.edu.cn ，请注明单位和承诺只用于科研目的。包括 Huatuo-26M 在内的三个公开的医疗问答数据集，HuatuoGPT 的 zero-shot 性能超过 GPT 3.5 turbo（ChatGPT）、ChatGLM 和已有的医疗 GPT，甚至远好于全微调的中等大小的 T5 和 GPT。澄清：HuaTuo 也是哈工大 SCIR 实验室的医疗 GPT 的名字，非常感谢哈工大 SCIR 的开源模型对开源社区的贡献。非常遗憾出现重名，其已经更名为本草（BenTsao）。#投 稿 通 道#
让你的文字被更多人看到
如何才能让更多的优质内容以更短路径到达读者群体，缩短读者寻找优质内容的成本呢？答案就是：你不认识的人。
总有一些你不认识的人，知道你想知道的东西。PaperWeekly 或许可以成为一座桥梁，促使不同背景、不同方向的学者和学术灵感相互碰撞，迸发出更多的可能性。
PaperWeekly 鼓励高校实验室或个人，在我们的平台上分享各类优质内容，可以是最新论文解读，也可以是学术热点剖析、科研心得或竞赛经验讲解等。我们的目的只有一个，让知识真正流动起来。
📝 稿件基本要求：
• 文章确系个人原创作品，未曾在公开渠道发表，如为其他平台已发表或待发表的文章，请明确标注
• 稿件建议以 markdown 格式撰写，文中配图以附件形式发送，要求图片清晰，无版权问题
• PaperWeekly 尊重原作者署名权，并将为每篇被采纳的原创首发稿件，提供业内具有竞争力稿酬，具体依据文章阅读量和文章质量阶梯制结算
📬 投稿通道：
• 投稿邮箱：hr@paperweekly.site
• 来稿请备注即时联系方式（微信），以便我们在稿件选用的第一时间联系作者
• 您也可以直接添加小编微信（pwbot02）快速投稿，备注：姓名-投稿
△长按添加PaperWeekly小编
🔍
现在，在「知乎」也能找到我们了
进入知乎首页搜索「PaperWeekly」
点击「关注」订阅我们的专栏吧