使用云函数(替代函数？)从云存储将数据加载到BigQuery中。
使用云函数(替代函数？)从云存储将数据加载到BigQuery中。
提问于 2019-04-13 02:33:10
我目前正在使用云函数将数据从云存储中的csv文件加载到BigQuery。
然而，云函数有一个超时限制，我希望这些文件在会引起问题的地方变得足够大。
此外，插入大查询仅限于10mb/insert_rows。
我还能用什么代替云函数来实现这个功能呢？需要在文件放入云存储时触发。
回答 1
Stack Overflow用户
回答已采纳
发布于 2019-04-13 03:02:05
如果要从.CSV插入文件，请使用批处理加载作业。请求BigQuery加载文件是一项次秒任务，BigQuery将以异步模式继续加载它们。
这些负载是免费的，您的云功能不需要等待它完成。
您将能够设置一个通知，在每次将一个新文件放到GCS桶中时调用云函数。
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接：
https://stackoverflow.com/questions/55661484
复制相关文章
相似问题
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号