Giter VIP home page Giter VIP logo

Comments (17)

yzd-v avatar yzd-v commented on June 16, 2024

我没遇到过这个情况,我只能帮你debug一下。训练中的测试使用的是simple下的self.student.simple_test,你可以试试把这改成self.teacher.simple_test,看看训练中eval是不是老师的精度。或者可以把训练完1轮的model进行transfer后,使用dist_test.sh进行推理一下,看看学生是否正确训练

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

from fgd.

yzd-v avatar yzd-v commented on June 16, 2024

还有两个你可以debug注意的点,1是你可以试试使用蒸馏框架,但不带蒸馏损失看看能不能正常训练。2是可能问题在于学生的初始化self.studnet.init_weights和train.py的model.init_weights(),不同版本mmdet使用的方法是不同的。

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

还有两个你可以debug注意的点,1是你可以试试使用蒸馏框架,但不带蒸馏损失看看能不能正常训练。2是可能问题在于学生的初始化self.studnet.init_weights和train.py的model.init_weights(),不同版本mmdet使用的方法是不同的。

你好,我按照你说的做了2个实验:
1、第一个实验是让teacher去val,val的结果如下图,但是相比于直接预测val精度降低了,并且训练着第2个epoch相比于第一个epoch精度有变化,按理说不是应该没有变化吗;
1665305262308

2、用fgd的框架训练,但是不用fgd的loss,student能正常训练,但是精度依旧为0,下图是这个实验的的loss和结果,不知道什么原因导致的。。。我太菜了,希望能够指点指点,万分感谢;
1665305313489

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

还有两个你可以debug注意的点,1是你可以试试使用蒸馏框架,但不带蒸馏损失看看能不能正常训练。2是可能问题在于学生的初始化self.studnet.init_weights和train.py的model.init_weights(),不同版本mmdet使用的方法是不同的。

这个是用fgd的框架训练,但是不用fgd的loss的log
1665305413952

from fgd.

yzd-v avatar yzd-v commented on June 16, 2024

你试试这个框架蒸馏其他的模型,看看retinanet啥的有没有问题,还不行就重新clone设置代码把

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

你试试这个框架蒸馏其他的模型,看看retinanet啥的有没有问题,还不行就重新clone设置代码把

好的

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

还有两个你可以debug注意的点,1是你可以试试使用蒸馏框架,但不带蒸馏损失看看能不能正常训练。2是可能问题在于学生的初始化self.studnet.init_weights和train.py的model.init_weights(),不同版本mmdet使用的方法是不同的。

你好,我按照你说的做了2个实验: 1、第一个实验是让teacher去val,val的结果如下图,但是相比于直接预测val精度降低了,并且训练着第2个epoch相比于第一个epoch精度有变化,按理说不是应该没有变化吗; 1665305262308

2、用fgd的框架训练,但是不用fgd的loss,student能正常训练,但是精度依旧为0,下图是这个实验的的loss和结果,不知道什么原因导致的。。。我太菜了,希望能够指点指点,万分感谢; 1665305313489

第一个实验精度下降我找到原因了,是因为下面
1665306976344

1665307045172

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

你试试这个框架蒸馏其他的模型,看看retinanet啥的有没有问题,还不行就重新clone设置代码把

你好,我用了retinanet试了fgd,训练正常,下面是前4epoch的结果;
image

from fgd.

yzd-v avatar yzd-v commented on June 16, 2024

我也整不明白了 你来个完整log我看看

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

我也整不明白了 你来个完整log我看看

我的训练在服务器,不能下载才来。。。。

from fgd.

yzd-v avatar yzd-v commented on June 16, 2024

那你自己dubug一下吧,试试学生也像老师那样load一个训练好的模型进行初始化,看看能不能正常eval

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

模型进行初始化

这个我试过,也是0

from fgd.

yzd-v avatar yzd-v commented on June 16, 2024

我看issue其他同学是可以正常跑出来的,你从头整一下代码把,对齐mmdet和mmcv-full版本

from fgd.

baibaidedongdong avatar baibaidedongdong commented on June 16, 2024

我看issue其他同学是可以正常跑出来的,你从头整一下代码把,对齐mmdet和mmcv-full版本

好的,非常感谢

from fgd.

yingwenmingzi123 avatar yingwenmingzi123 commented on June 16, 2024

这个我试过,也是0
嗨,你最后改出来了吗,你用的哪个版本的mmdet和mmcv-full啊,用低版本的mmdet的话里面没有yolox算法,高版本的话会报sgd optimizer错误

from fgd.

Related Issues (20)

Recommend Projects

  • React photo React

    A declarative, efficient, and flexible JavaScript library for building user interfaces.

  • Vue.js photo Vue.js

    🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.

  • Typescript photo Typescript

    TypeScript is a superset of JavaScript that compiles to clean JavaScript output.

  • TensorFlow photo TensorFlow

    An Open Source Machine Learning Framework for Everyone

  • Django photo Django

    The Web framework for perfectionists with deadlines.

  • D3 photo D3

    Bring data to life with SVG, Canvas and HTML. 📊📈🎉

Recommend Topics

  • javascript

    JavaScript (JS) is a lightweight interpreted programming language with first-class functions.

  • web

    Some thing interesting about web. New door for the world.

  • server

    A server is a program made to process requests and deliver data to clients.

  • Machine learning

    Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.

  • Game

    Some thing interesting about game, make everyone happy.

Recommend Org

  • Facebook photo Facebook

    We are working to build community through open source technology. NB: members must have two-factor auth.

  • Microsoft photo Microsoft

    Open source projects and samples from Microsoft.

  • Google photo Google

    Google ❤️ Open Source for everyone.

  • D3 photo D3

    Data-Driven Documents codes.