ResNet可能是白痴?DeepMind给神经网络们集体测智商(18)
辅助训练的效果
然后,我们通过使用符号元目标训练我们的模型来探索辅助训练对抽象推理和概括的影响。在中立状态下,我们发现辅助训练使测试精度提高了13.9%。重要的是,模型捕获数据的整体能力的改进也适用于其他泛化机制。在将模型的三元组重新组合成新组合的情况下,差异最为明显。因此,代表抽象语义原则的压力使得它们可以简单地解码成离散的符号解释,似乎提高了模型有效地组成其知识的能力。这一发现与先前关于
离散通道
(discrete channel)对知识表示的优势的观察结果一致。
辅助训练分析
除了提高性能之外,使用
元标记
(meta-targets)进行培训还可以提供一种方法来衡量模型在给定PGM的情况下存在哪些形状,属性和关系,从而深入了解模型的策略。 使用这些预测,WReN模型在其元目标预测正确时达到了87.4%的测试准确率,而在预测不正确时仅达到34.8%。
- 它是前列腺的“一线生机”,男人常吃,炎症可能会“仓皇而逃”
- 男人房事中的“3不要”,可能既伤身体又伤感情,尽量别忽视
- 医生:脖子上出现3个症状,癌症可能已临近
- 45岁后,还能有这4个共性,恭喜你,可能与长寿有缘
- 你一直吃的面条竟然是你胖的罪魁祸首?你可能是减了一个假肥
- 恩爱夫妻需注意,身体此部位切不可深吻,可能会影响健康
- 男人过了45岁,若还有这4个表现,恭喜,你的寿命可能会更长!
- 脖子上若发现3个“信号”,可能癌细胞想“苏醒”,早知道早受益
- 常感疲劳,脱发严重?可能是这不好!5样“黑色食物”滋阴补肾,
- 每天“这个”时间排便的人,可能是“长寿”体质,不妨自测一下