xhyandwyy / chinese-electra Goto Github PK

中文说明 | English

谷歌与斯坦福大学共同研发的最新预训练模型ELECTRA因其小巧的模型体积以及良好的模型性能受到了广泛关注。 为了进一步促进中文预训练模型技术的研究与发展，哈工大讯飞联合实验室基于官方ELECTRA训练代码以及大规模的中文数据训练出中文ELECTRA预训练模型供大家下载使用。 其中ELECTRA-small模型可与BERT-base甚至其他同等规模的模型相媲美，而参数量仅为BERT-base的1/10。

本项目基于谷歌&斯坦福大学官方的ELECTRA：https://github.com/google-research/electra

2020/3/25 Chinese ELECTRA-small/base已发布，请查看模型下载

ELECTRA提出了一套新的预训练框架，其中包括两个部分：Generator和Discriminator。

• Generator: 一个小的MLM，在[MASK]的位置预测原来的词。Generator将用来把输入文本做部分词的替换。
• Discriminator: 判断输入句子中的每个词是否被替换，即使用Replaced Token Detection (RTD)预训练任务，取代了BERT原始的Masked Language Model (MLM)。需要注意的是这里并没有使用Next Sentence Prediction (NSP)任务。

在预训练阶段结束之后，我们只使用Discriminator作为下游任务精调的基模型。

更详细的内容请查阅ELECTRA论文：ELECTRA: Pre-training Text Encoders as Discriminators Rather Than Generators

本目录中包含以下模型，目前仅提供TensorFlow版本权重。

• ELECTRA-base, Chinese：12-layer, 768-hidden, 12-heads, 102M parameters
• ELECTRA-small, Chinese: 12-layer, 256-hidden, 4-heads, 12M parameters

**大陆境内建议使用讯飞云下载点，境外用户建议使用谷歌下载点。 以TensorFlow版ELECTRA-small, Chinese为例，下载完毕后对zip文件进行解压得到：

chinese_electra_small_L-12_H-256_A-4.zip
    |- checkpoint                           # checkpoint信息
    |- electra_small.data-00000-of-00001    # 模型权重
    |- electra_small.meta      	            # 模型meta信息
    |- electra_small.index     	            # 模型index信息
    |- vocab.txt            	            # 词表

我们采用了大规模中文维基以及通用文本训练了ELECTRA模型，总token数达到5.4B，与RoBERTa-wwm-ext系列模型一致。词表方面沿用了谷歌原版BERT的WordPiece词表，包含21128个token。其他细节和超参数如下（未提及的参数保持默认）：

• ELECTRA-base: 12层，隐层768，12个注意力头，学习率2e-4，batch256，最大长度512，训练1M步
• ELECTRA-small: 12层，隐层256，4个注意力头，学习率5e-4，batch1024，最大长度512，训练1M步

我们将ELECTRA-small/base与BERT-base、BERT-wwm、BERT-wwm-ext、RoBERTa-wwm-ext、RBT3进行了效果对比，包括以下六个任务：

• CMRC 2018 (Cui et al., 2019)：篇章片段抽取型阅读理解（简体中文）
• DRCD (Shao et al., 2018)：篇章片段抽取型阅读理解（繁体中文）
• XNLI (Conneau et al., 2018)：自然语言推断
• ChnSentiCorp：情感分析
• LCQMC (Liu et al., 2018)：句对匹配
• BQ Corpus (Chen et al., 2018)：句对匹配

对于ELECTRA-small/base模型，我们使用原论文默认的3e-4和1e-4的学习率。 需要注意的是，我们没有针对任何任务进行参数精调，所以通过调整学习率等超参数可能获得进一步性能提升。 为了保证结果的可靠性，对于同一模型，我们使用不同随机种子训练10遍，汇报模型性能的最大值和平均值（括号内为平均值）。

CMRC 2018数据集是哈工大讯飞联合实验室发布的中文机器阅读理解数据。 根据给定问题，系统需要从篇章中抽取出片段作为答案，形式与SQuAD相同。 评价指标为：EM / F1

DRCD数据集由****台达研究院发布，其形式与SQuAD相同，是基于繁体中文的抽取式阅读理解数据集。 评价指标为：EM / F1

在自然语言推断任务中，我们采用了XNLI数据，需要将文本分成三个类别：entailment，neutral，contradictory。 评价指标为：Accuracy

在情感分析任务中，二分类的情感分类数据集ChnSentiCorp。 评价指标为：Accuracy

以下两个数据集均需要将一个句对进行分类，判断两个句子的语义是否相同（二分类任务）。

LCQMC由哈工大深圳研究生院智能计算研究中心发布。 评价指标为：Accuracy

BQ Corpus由哈工大深圳研究生院智能计算研究中心发布，是面向银行领域的数据集。 评价指标为：Accuracy

用户可以基于已发布的上述中文ELECTRA预训练模型进行下游任务精调。 在这里我们只介绍最基本的用法，更详细的用法请参考ELECTRA官方介绍。

本例中，我们使用ELECTRA-small模型在CMRC 2018任务上进行精调，相关步骤如下。假设，

• data-dir：工作根目录，可按实际情况设置。
• model-name：模型名称，本例中为electra-small。
• task-name：任务名称，本例中为cmrc2018。本目录中的代码已适配了以上六个中文任务，task-name分别为cmrc2018，drcd，xnli，chnsenticorp，lcqmc，bqcorpus。

在模型下载章节中，下载ELECTRA-small模型，并解压至${data-dir}/models/${model-name}。 该目录下应包含electra_model.*，vocab.txt，checkpoint，共计5个文件。

下载CMRC 2018训练集和开发集，并重命名为train.json和dev.json。 将两个文件放到${data-dir}/models/${task-name}。

python run_finetuning.py \
    --data-dir ${data-dir} \
    --model-name ${model-name} \
    --hparams params_cmrc2018.json

其中data-dir和model-name在上面已经介绍。hparams是一个JSON词典，在本例中的params_cmrc2018.json包含了精调相关超参数，例如：

{
    "task_names": ["cmrc2018"],
    "max_seq_length": 512,
    "vocab_size": 21128,
    "model_size": "small",
    "do_train": true,
    "do_eval": true,
    "write_test_outputs": true,
    "num_train_epochs": 2,
    "learning_rate": 3e-4,
    "train_batch_size": 32,
    "eval_batch_size": 32,
}

在上述JSON文件中，我们只列举了最重要的一些参数，完整参数列表请查阅configure_finetuning.py。

运行完毕后，

1. 对于阅读理解任务，生成的预测JSON数据cmrc2018_dev_preds.json保存在${data-dir}/results/${task-name}_qa/。可以调用外部评测脚本来得到最终评测结果，例如：python cmrc2018_drcd_evaluate.py dev.json cmrc2018_dev_preds.json
2. 对于分类任务，相关accuracy信息会直接打印在屏幕，例如：xnli: accuracy: 72.5 - loss: 0.67

Q: 在下游任务精调的时候ELECTRA模型的学习率怎么设置？
A: 我们建议使用原论文使用的学习率作为初始基线（small是3e-4，base是1e-4）然后适当增减学习率进行调试。 需要注意的是，相比BERT、RoBERTa一类的模型来说ELECTRA的学习率要相对大一些。

Q: 有没有PyTorch版权重？
A: 暂时没有，建议等HuggingFace-Transformers更新支持ELECTRA后我们会更新PyTorch版权重以及config文件。或者可以采用 #3的方法进行转换（需搭配beta版的Transformers）。

Q: 预训练用的数据能共享一下吗？
A: 很遗憾，不可以。

Q: 未来计划？
A: 敬请关注。

欢迎关注哈工大讯飞联合实验室官方微信公众号，了解最新的技术动态。

如有问题，请在GitHub Issue中提交。