关于ncnn2int8量化 about ultra-light-fast-generic-face-detector-1mb HOT 16 CLOSED

@Dreamgang ,ncnn目前还没量化测试过，有空测试下。这几天加入人脸五点关键点，加入后一并量化测试下。

from ultra-light-fast-generic-face-detector-1mb.

The same is true of my problem. After quantification, there is an error. Excuse me, have you solved it?

from ultra-light-fast-generic-face-detector-1mb.

你好，我用ncnn提供的量化工具，将您给的模型ncnn.bin.ncnn.param进行量化，再用量化后的模型，用ncnn调用预测，结果出错了，请问您能否提供一下量化后的模型，谢谢！

我也遇到相同的问题，请问您解决了吗？

from ultra-light-fast-generic-face-detector-1mb.

@zxb-caffe MNN量化模型 ，测试正常。

from ultra-light-fast-generic-face-detector-1mb.

请问：int8和float32的模型运行时间有区别吗？我感觉几乎没变化。

from ultra-light-fast-generic-face-detector-1mb.

在arm上效果蛮明显的，特别是多核。

from ultra-light-fast-generic-face-detector-1mb.

刚开始的几次检测不会很稳定，时间会有波动，后面就逐渐稳定了。你可以for循环推理部分测一下。

from ultra-light-fast-generic-face-detector-1mb.

我是在笔记本上跑的，几乎没什么效果。您知道是为什么吗？

from ultra-light-fast-generic-face-detector-1mb.

MNN和NCNN这种移动端推理框架一般不针对PC架构处理器优化的，所以int8反而会比fp32慢的。

from ultra-light-fast-generic-face-detector-1mb.

树莓派4B MNN 320x240 ,1~4核推理时间(ms) FP32为38.57/26.35/22.66/19.68, int8为35.56/19.63/14.5/10.8， 加速效果还是很明显的。

from ultra-light-fast-generic-face-detector-1mb.

树莓派4B是只有cpu吗？没有带GPU吗？

from ultra-light-fast-generic-face-detector-1mb.

有，不过只是用来处理视频编解码的，不能用来做通用加速。

from ultra-light-fast-generic-face-detector-1mb.

好的，非常感谢。

from ultra-light-fast-generic-face-detector-1mb.

请问，量化后的准确度是怎么样的？

from ultra-light-fast-generic-face-detector-1mb.

我测试了一些图，检测结果几乎没区别。有空我单独测试下widerface的验证集结果看看区别，差别应该不大。

from ultra-light-fast-generic-face-detector-1mb.

好的。谢谢。

from ultra-light-fast-generic-face-detector-1mb.