jinhanlei / transformers_tutorial Goto Github PK

transformers库为我们提供了很好的NLP模型调用范例。然而，随着模型量的增多，其代码越来越复杂和抽象，不利于初学者学习和理解。

本项目旨在脱离transformers库，完全用PyTorch底层实现各个模型的代码，并力求适配transformers库的类、方法和超参。计划中的模型包括：

• Transformer类，如BART、T5等
• BERT类，如BERT、RoBerta、DeBerta等
• GPT类，如GPT2等

将模型结构原原本本展现在您面前，便于您的学习和魔改。

1. 下载本仓库并配置必要环境

git clone https://github.com/JinHanLei/Transformers_tutorial && cd Transformers_tutorial
pip install -r requirements.txt

2. 进入模型各自的文件夹，运行main.py

本仓库正在快速更新中，请关注我或者star本项目，及时获取更新状态！

• python==3.9
• PyTorch==2.0.0
• transformers==4.31.0
• gradio
• sentencepiece
• protobuf
• cpm-kernels

• Jinhanlei: [email protected]