问如何缩小训练与验证错误之间的差距？
EN

Data Science用户

提问于 2019-07-17 11:45:42

回答 1查看 2.1K关注 0票数 1

我一直在执行一个开源的文本到语音系统奥斯辛.它使用前馈DNN进行声学建模。运行声学模型后得到的错误图如下所示：

以下是一些相关信息：

数据大小:7个小时的语音数据(4000个句子)
一些超参数:
- batch_size ：128
- training_epochs ：15
- L2_regularization: 0.003

有人能指点我改进这个模型的方向吗？我想是因为身体不适吧？我该怎么做才能避免这种情况？增加数据？还是改变批次大小/时间/正则化参数？提前谢谢。

deep-learning

回答 1

Data Science用户

发布于 2019-08-22 06:11:43

正如学习是一团糟的指出，更多的信息将有助于提出有用的建议。模型的大小(就可训练参数而言)是多少？另外，你有多少培训数据？但是，您可以尝试这样的方法: a.辍学--这是一种正则化方法，它是集合学习的一种代理。不知道你是不是在用这个。b.较小的批次: 8/16/32 -从经验上看，在测试/验证集上，较小的批次在泛化意义上找到了更好的最小值。见https://arxiv.org/pdf/1609.04836.pdf。c.保持相同的参数数，更深的模型(更多的层)被发现能更好地推广。见https://arxiv.org/abs/1706.10239。

票数 2

页面原文内容由Data Science提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://datascience.stackexchange.com/questions/55828

复制

相似问题

问如何缩小训练与验证错误之间的差距？
EN

回答 1

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何缩小训练与验证错误之间的差距？EN

回答 1

Data Science用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问如何缩小训练与验证错误之间的差距？
EN