ethan-yt / cclue Goto Github PK

CCLUE是一个古文自然语言理解的测评基准，包括代表性任务对应的数据集、基准模型、评测代码，研究人员能够通过几行代码快速测评各种预训练语言模型。

官方网站：https://ethan-yt.github.io/CCLUE/

该基准包含以下几个任务和数据集：

快速测评基于您提交的模型，使用默认的超参数设置微调，得到最终成绩。使用这种方式不需要下载代码本地测评。

1. 将你的模型上传至Huggingface。查看文档
2. 申请测评。链接
3. 测评结果将会在3个工作日内回复

1. 下载数据集和测评代码: git clone https://github.com/Ethan-yt/CCLUE.git
2. 安装所需依赖(Python 3): pip install -r requirements.txt
3. 准备评测模型。支持Hugging Face Models中列出的模型和本地相同格式的模型
4. 评测所有任务
5. 收集测评结果。测评结果位于outputs文件夹。模型的最终得分为几个任务的平均值。

评测代码如下：

# 断句和标点任务
sh run_punctuation.sh seg [Model Name]
sh run_punctuation.sh punc [Model Name]
sh run_punctuation.sh quote [Model Name]

# 命名实体识别任务
sh run_ner.sh [Model Name] crf

# 古文分类任务
sh run_classification.sh [Model Name]

# 古诗情感分类任务
sh run_fspc.sh [Model Name]
sh run_fspc_poem.sh [Model Name]

# 文白检索任务
sh run_retrieval.sh [Model Name]

您可以将测评结果提交至CCLUE排行榜。所有结果必须可以复现，经过认证后可以登陆CCLUE排行榜。提交链接

提交时请注明以下信息：

• 提交单位（个人 / 团队名称）
• 模型名称
• 项目/论文地址（能够描述模型的结构，超参数设置，训练过程，创新点等）
• 模型权重链接（上传至Hugging Face，或国内外其他网盘）
• 评测结果（在outputs文件夹内，包括每个任务的超参数设置，随机数种子等以便复现，不要包括模型权重）