介绍：首先在 Ziya-LLaMA-13B-V1基线模型的基础上加入中医教材、中医各类网站数据等语料库，训练出一个具有中医知识理解力的预训练语言模型（pre-trained model），之后在此基础上通过海量的中医古籍指令对话数据及通用指令数据进行有监督微调（SFT），使得模型具备中医古籍知识问答能力。

包含两部分：①中医教材数据：收集“十三五”规划所有中医教材共22本，约17.9MB。②在线中医网站数据：爬取中医世家、民间医学网等在线中医网站及知识库，共收集文本数据约220MB。

Alpaca-GPT4 52k 中文

以《中华医典》数据库为语料来源，约338MB，由两部分组成：①非结构化的“古籍文本”：涵盖了886本标点符号及内容完整的中医古籍。②结构化的“古籍辞典”：包含“名医”、“名言”、“名词”、“名著”等六大类，由中医学界诸多知名学者对中医古籍内容知识进一步系统提炼整理，是中医古籍内容精华最为直接的集中体现。

通过知识引导的指令数据生成和指令数据质量优化两个阶段，最终获得504372个单轮对话数据。
(1)知识引导的指令数据生成
让ChatGPT基于对该段中医古籍的知识内容理解，模拟用户与AI，通过自问自答的方式，生成逻辑关系相关的若干问题和答案，从而保证对话数据的准确性和可靠性。
(2)指令数据质量优化
尽管基于知识引导使得生成的指令数据基于特定领域，并且与所提供的无监督文本内容相关，避免了模型内部“已有知识”的干扰。然而这种方法难以对数据质量进行监督和控制，也难以保证指令数据的多样性和难度，这可能导致大模型对指令数据集的过度拟合。为了解决这个问题，我们在现有指令数据集的基础上，通过指令数据过滤-指令数据整合两个阶段对数据进行二次优化。

本项目由南京大学信息管理学院（黄奇老师课题组）及郑州大学人工智能学院合作完成。

本项目的开放过程中，获得了以下项目的帮助，在此表示感谢。
1.https://huggingface.co/IDEA-CCNL/Ziya-LLaMA-13B-v1
2.https://github.com/ymcui/Chinese-LLaMA-Alpaca
3.https://github.com/huggingface/peft

本项目内容仅供用于学术研究，不得用于其他会对社会带来危害的用途。使用涉及第三方代码的部分时，请严格遵循相应的开源协议。

本项目中使用的数据由ChatGPT生成，未经严格验证，可能会存在错误内容，在使用时请注意甄别。

模型生成的内容受模型计算、随机性和量化精度损失等因素影响，本项目无法对其准确性作出保证。本项目中的模型输出并非专业中医古籍咨询结果，可能会包含错误内容。

如需商业用途可联系：[email protected]

如果您使用了本项目的数据或者代码，或者认为本项目对您的研究有帮助，请引用本项目。

@misc{zhang2023huangdi,
  title={HuangDi: 中医古籍生成式大语言模型的构建研究},
  author={Jundong Zhang and Songhua Yang },
  year={2023},
  url={https://github.com/Zlasejd/HuangDi}
}