首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >在亚马逊网络服务上运行doc2vec的服务是什么?

在亚马逊网络服务上运行doc2vec的服务是什么?
EN

Stack Overflow用户
提问于 2021-03-26 06:56:34
回答 1查看 51关注 0票数 0

我想为我的模型找到最好的超参数,但是在总共486个排列和200k个文档上调优6个元参数需要一段时间。这就是为什么我考虑在AWS上使用免费积分的原因。理想情况下,我希望运行我的脚本并获得一个.csv文件作为输出。

代码语言:javascript
复制
vector_size = [100, 200, 300]
window = [2, 5, 10]
epochs = [10, 20, 30]
count =[2, 5, 10] 
dm = [0,1]
sample = [10e-4, 10e-5, 10e-6 ]

问题是我从来没有使用过AWS,而且各种服务的数量是压倒性的。你们能给我一个提示,哪种服务适合我的问题吗?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2021-03-26 08:44:12

EC2是最初的核心服务之一,它在云中为您提供了一个虚拟系统,具有各种CPU/内存选项,可以运行您想要的任何东西。您可以通过努力启动468个节点来并行训练和评估每个模型,将结果保存在一边,并在每个节点运行结束时立即关闭它。

(可能有一个较新的更高级别的服务,它提供一些其他类型的作业管理帮助,但EC2是最初的通用云中节点。)

关于元优化的另一个想法:

过度使用epochs应该不会有什么坏处--它只会是浪费。因此,您可以只使用最大的值epochs=30进行大型测试,并相当有信心地认为,使用最大值的其他参数在较少的epochs下不会有太大的改善。

(但是,特别是如果您需要经常重新运行作业,30可能只比一些较小的纪元计数略好一些-因此您可以单独运行测试,以平衡时间/成本和评估质量。)

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/66808720

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档