我想为我的模型找到最好的超参数,但是在总共486个排列和200k个文档上调优6个元参数需要一段时间。这就是为什么我考虑在AWS上使用免费积分的原因。理想情况下,我希望运行我的脚本并获得一个.csv文件作为输出。
vector_size = [100, 200, 300]
window = [2, 5, 10]
epochs = [10, 20, 30]
count =[2, 5, 10]
dm = [0,1]
sample = [10e-4, 10e-5, 10e-6 ]问题是我从来没有使用过AWS,而且各种服务的数量是压倒性的。你们能给我一个提示,哪种服务适合我的问题吗?
发布于 2021-03-26 08:44:12
EC2是最初的核心服务之一,它在云中为您提供了一个虚拟系统,具有各种CPU/内存选项,可以运行您想要的任何东西。您可以通过努力启动468个节点来并行训练和评估每个模型,将结果保存在一边,并在每个节点运行结束时立即关闭它。
(可能有一个较新的更高级别的服务,它提供一些其他类型的作业管理帮助,但EC2是最初的通用云中节点。)
关于元优化的另一个想法:
过度使用epochs应该不会有什么坏处--它只会是浪费。因此,您可以只使用最大的值epochs=30进行大型测试,并相当有信心地认为,使用最大值的其他参数在较少的epochs下不会有太大的改善。
(但是,特别是如果您需要经常重新运行作业,30可能只比一些较小的纪元计数略好一些-因此您可以单独运行测试,以平衡时间/成本和评估质量。)
https://stackoverflow.com/questions/66808720
复制相似问题