请问 是怎么防止过拟合的？

[epoch8260]

Total params: 102.552034M，难道显著性检测的结果都是过拟合来的嘛

[MathLee]

Total params: 102.552034M，难道显著性检测的结果都是过拟合来的嘛

参数量大不意味是过拟合。我们有用数据扩充和深层监督来防止过拟合。

[epoch8260]

能否展示一下你们的训练和验证loss曲线，师弟一直复现不出来，托我咨询一下。

…

---- 回复的原邮件 ---- | 发件人 | Gongyang ***@***.***> | | 日期 | 2022年05月13日 21:09 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.******@***.***> | | 主题 | Re: [MathLee/ACCoNet] 请问 是怎么防止过拟合的？ (Issue #1) | 参数量大不意味是过拟合。我们有用数据扩充和深层监督来防止过拟合。 在 2022-05-13 20:54:41，"epoch8260" ***@***.***> 写道： Total params: 102.552034M，难道显著性检测的结果都是过拟合来的嘛 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: ***@***.***> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[epoch8260]

深监督是不能防止过拟合的，深监督是为了更好地梯度回传，加不加深监督，对于256✖️256的输入，意义不大

…

---- 回复的原邮件 ---- | 发件人 | Gongyang ***@***.***> | | 日期 | 2022年05月13日 21:07 | | 收件人 | ***@***.***> | | 抄送至 | ***@***.******@***.***> | | 主题 | Re: [MathLee/ACCoNet] 请问 是怎么防止过拟合的？ (Issue #1) | Total params: 102.552034M，难道显著性检测的结果都是过拟合来的嘛 参数量大不意味是过拟合。我们有用数据扩充和深层监督来防治过拟合。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: ***@***.***>

[MathLee]

深监督是不能防止过拟合的，深监督是为了更好地梯度回传，加不加深监督，对于256✖️256的输入，意义不大
…
---- 回复的原邮件 ---- | 发件人 | Gongyang @.> | | 日期 | 2022年05月13日 21:07 | | 收件人 | @.> | | 抄送至 | @.@.> | | 主题 | Re: [MathLee/ACCoNet] 请问 是怎么防止过拟合的？ (Issue #1) | Total params: 102.552034M，难道显著性检测的结果都是过拟合来的嘛 参数量大不意味是过拟合。我们有用数据扩充和深层监督来防治过拟合。 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

深监督在最早提出的论文中是有防止过拟合这一说法的，曾经在另外文章审稿意见中遇到过，查阅过相关文献。这也是SOD中常用的trick.

[MathLee]

能否展示一下你们的训练和验证loss曲线，师弟一直复现不出来，托我咨询一下。
…
---- 回复的原邮件 ---- | 发件人 | Gongyang @.> | | 日期 | 2022年05月13日 21:09 | | 收件人 | @.> | | 抄送至 | @.@.> | | 主题 | Re: [MathLee/ACCoNet] 请问 是怎么防止过拟合的？ (Issue #1) | 参数量大不意味是过拟合。我们有用数据扩充和深层监督来防止过拟合。 在 2022-05-13 20:54:41，"epoch8260" @.> 写道： Total params: 102.552034M，难道显著性检测的结果都是过拟合来的嘛 — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you are subscribed to this thread.Message ID: @.> — Reply to this email directly, view it on GitHub, or unsubscribe. You are receiving this because you authored the thread.Message ID: @.***>

这个工作完成的比较早，录用的比较晚，我们在服务器上仅保留了一个比较好的结果，并公布了权重。真是抱歉。