替代Google功能
替代Google功能
提问于 2020-05-18 07:13:30
我正在使用Google函数来运行ETL：
- 从JSON获取数据
- 使用另一个API丰富该数据的每一行。
- 写入云存储
云调度程序cron任务每晚运行以触发云功能。我还可以手动运行管道来查询特定日期。云函数是用Python编写的。
这份工作一直持续到9分钟左右，但在几个月内效果很好。不幸的是，现在我遇到了Google函数的9分钟硬限制，我想知道我最好的选择是：
- 建立计算引擎
- 设置一个应用程序引擎
- 对云函数进行工作，使其并行化并节省时间。
还有更好的选择吗？什么样的GCP服务非常适合这个任务？你有什么最佳做法吗？我非常喜欢云功能的简单性，但这当然需要权衡一下.
回答 1
Stack Overflow用户
回答已采纳
发布于 2020-05-18 12:01:01
我建议您使用云运行。
- 超时时间是今天的15分钟，很快就多4次了！这对你的处理来说就足够了。
- 如果您的代码可以利用多个CPU，那么您可以使用Cloud拥有2个CPU。
- 但是，如果可以同时进行多个处理，云运行可以在同一个实例上处理多达80个并发请求，而Cloud函数只能处理一个。如果在实例上执行高计算，最好避免并发性。如果具有与云函数完全相同的行为，则将--并发参数设置为1。
我在写一篇文章中将一个简单的函数打包到一个云运行服务中。几行代码，一个额外的导入(烧瓶)，仅此而已！放置一个python标准Dockerfile并部署！
使用新的Buildpack特性，您甚至可以避免创建Dockerfile！Buildpack安装在Cloud上，如果您使用云构建，如果您需要，我有一个工作示例(请告诉我！)
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/61864243
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号