问如何从不断上传的Kafka文本文件到Google云存储中在Google BigQuery中创建表格
EN

Stack Overflow用户

提问于 2020-07-31 12:16:18

回答 1查看 55关注 0票数 0

我想从云存储创建bigquery表。Kafka steam以文本文件的形式每隔5分钟上传到云存储。我想创建Bigquery表使用的是每5分钟更新一次，从更新的文件到bigquery。做这件事最好的方法是什么？请给我一些建议

发布于 2020-08-01 13:32:51

您可以使用google-cloud-functions来检测文件何时被上传，然后执行一些代码来索引该文件。

或者，我相信已经存在一个GCS连接器，所以你可以跳过BigQuery，除非你需要原始数据。(注意:存储二进制文件比存储纯文本更便宜，而且BigQuery支持读取各种格式)

票数 2

页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持

原文链接：

https://stackoverflow.com/questions/63185720

复制

相似问题

问如何从不断上传的Kafka文本文件到Google云存储中在Google BigQuery中创建表格EN