TCM-FTP

标题：微调大型语言模型以预测中医处方

博主点评：我个人觉得这个领域不需要卷到英伟达的人……

发表日期：2024-07-15

摘要：数千年来，中医（Traditional Chinese Medicine, TCM）一直依赖于处方中特定草药组合来治疗各种症状和体征。预测中医处方是一项具有显著实际意义的引人入胜的技术挑战。然而，由于高质量临床数据集的稀缺以及症状与草药之间复杂的关系，这项任务面临着诸多限制。为了解决这些问题，我们推出了DigestDS，这是一个包含来自消化系统疾病领域经验丰富专家实际医疗记录的新型数据集。我们还提出了一种方法，即TCM-FTP（TCM Fine-Tuning Pre-trained），该方法通过在DigestDS上进行有监督的微调来利用预训练的大型语言模型（LLMs）。此外，我们还使用低秩适应技术提高了计算效率。此外，TCM-FTP通过置换处方中的草药来利用其与顺序无关的特性，从而实现了数据增强。令人印象深刻的是，TCM-FTP的F1分数达到了0.8031，显著优于以往的方法。此外，它在剂量预测方面也表现出卓越的准确性，归一化均方误差为0.0604。相比之下，未经微调的LLMs表现不佳。尽管LLMs已展现出广泛的能力，但我们的工作强调了微调对于中医处方预测的必要性，并提出了一种实现这一目标的有效方法。

论文地址：https://arxiv.org/abs/2407.10510v2