This repo is to implement CaiT using mindspore
模型训练中
Ascend训练
精度调优
性能调优
cait_S24_224模型: 延长epoch_size=50+550 mlp层激活函数GELU(approximate=False) Top_1_Accuracy:81.496
cait_S24_224模型: 使用数据增强use_ema=true,cutmix=1,num_cycles=2, 调整学习率策略lr从0.0005衰减至0.000001,epoch_size=500(40+460) Top_1_Accuracy:81.4
部分全连接层has_bias设置为False,关闭qkv_bias,训练速度提升明显,在V100GPU上以imagenet完整数据为训练集训练一个epoch耗时1小时
修复cait模型结构,iamgenet验证精度接近,动态图和静态图模式训练跑通
{'Top_1_Accuracy': 0.82878, 'Top_5_Accuracy': 0.96392}