论文阅读《Adaptive Batch Norm》 - 天辰的博客 | Tianchen's Blog about a-suozhang.github.io HOT 6 OPEN

在tensorflow中怎么实现呢？

from a-suozhang.github.io.

在tensorflow中怎么实现呢？

@chentianguang
您好，我个人不是很清楚tensorflow的接口，在pytorch中的batchnorm层是有一个running_mean/var的arg可以配置的，在新domain上可以手动修改，重新积累running_mean/var；此外，pytorch的默认behaviour是在model在train mode的时候依据输入数据，用momentum值滑动平均积累running mean/var，在eval模式时，则使用之前存储的running mean/var

from a-suozhang.github.io.

from a-suozhang.github.io.

from a-suozhang.github.io.

我使用tensorflow在训练集上得到训练好的模型，然后通过这行语句 for i in range(2000): model(x_demo,training=True)，#此行语句是对x_demo进行预测，x_demo为测试集上的部分数据，测试集与训练集是不同源的数据。 ，使用测试集上的部分数据多次在训练好的模型上预测，最后发现模型在测试集上的效果有所提升，请问AdaBN表达的是这个意思吗？ 发送自 Windows 10 版邮件<https://go.microsoft.com/fwlink/?LinkId=550986>应用 发件人: tianchenmailto:[email protected] 发送时间: 2020年9月10日 23:21 收件人: A-suozhang/A-suozhang.github.iomailto:[email protected] 抄送: chentianguangmailto:[email protected]; Commentmailto:[email protected] 主题: Re: [A-suozhang/A-suozhang.github.io] 论文阅读《Adaptive Batch Norm》 - 天辰的博客 | Tianchen's Blog (#39) 在tensorflow中怎么实现呢？ 您好，我个人不是很清楚tensorflow的接口，在pytorch中的batchnorm层是有一个running_mean/var的arg可以配置的，在新domain上可以手动修改，重新积累running_mean/var；此外，pytorch的默认behaviour是在model在train mode的时候依据输入数据，用momentum值滑动平均积累running mean/var，在eval模式时，则使用之前存储的running mean/var ― You are receiving this because you commented. Reply to this email directly, view it on GitHub<#39 (comment)>, or unsubscribehttps://github.com/notifications/unsubscribe-auth/AQ6FC63BZAJINBSIU6N6I2LSFDVIRANCNFSM4JCH7SVQ.

感觉大致是这个意思…就是在eval的时候在valid集合上独立积累BN的running_mean/var去做inference……(不过我自己测试的话感觉效果比较一般)

from a-suozhang.github.io.

你好，请问一下，这个adabn是怎么实现的啊？

from a-suozhang.github.io.