Loss较大，并且一直在震荡 about mobilenet HOT 8 CLOSED

说实话我不知道你这样做的意义哦，为什么不直接用mobilenet呢？

1. hyper-params不好说，肯定要调的
2. 你给的信息比较有限， loss震荡可能原因很多，可能是lr大了。

from mobilenet.

@Zehaos 因为我这个网络不是用于分类，用作人体关键点检测，这个网络其实是一个级联的结构，分为多个stage，每个stage中包含7个convlayer，stage其实是一样的，只不过下一个stage会用到本次stage的结果，类似一个残差学习的过程。我这样做的目的是想看看mobileconv这种方式能否很好的逼近原始conv的结果，而且我觉得这样从后向前改动，比直接把所有的conv全部改成mobileconv的形式容易训练。这个网络的底座是vgg，之后级联3个stage。您觉得我是可以直接把vgg改成mobilenet，然后把所有stage都改成mobileconv直接scratch训练吗？

from mobilenet.

@sunguanxiong 噢噢，mobilenet网络设计上跟vgg是一个套路，应该可以直接把vgg换成mobilenet。
另外，关键点检测需要比较fine的特征，你可以加一些skip-connection或者deconv（或者直接跑多几个stage）。

from mobilenet.

@sunguanxiong 有tf版本的realtime pose estimation？

from mobilenet.

@Zehaos 我用的caffe版本的，mobilenet也是caffe版本的

from mobilenet.

刚好在 YOLO 上做了几个实验：
1.将 tiny-yolo-voc 前10层保持不变，后面的卷积用 depthwise conv 替换，训练 6W 轮，batchsize 64；
Recall 下降 6%，卷积层速度提升：CPU 8x 左右，GPU 感觉不到提升。模型9M，原64M。
2.将tiny-yolo-voc 卷积层全部换成DWConv，没pre-trained model，直接训练，LOSS一直震荡，
看到生成的model 才 800K，遂弃。

from mobilenet.

@Sunmyfong detection 这些应用，还是要用pretrained model才行

from mobilenet.

@Sunmyfong 可以先小lr warm up 一两个epoch，再train，不会震荡就是好事情。

from mobilenet.