我是新来的红移和AWS生态系统。我正在寻找从Oracle EBS表到Redshift的流媒体数据更改的选项或最佳实践。
Oracle是on,有大量的表要流。我刚接触过Redshift,但熟悉Oracle、SQL Server、PG。如果我完全被打败了,很抱歉。
请帮助:)任何想法和/或参考将不胜感激.
发布于 2017-05-12 15:58:40
根据docs 这里,1和2本质上是相同的。你不能通过使用消防水管绕过S3,只是遮掩它。如果您在多个集群上有很多表,则Firehose目前是无用的。当然,除非您计划将向AWS支持发送支持请求的过程自动化以增加限制(我正在考虑这个问题,不要笑)。
我会使用来自S3命令进行加载。
插入当前是缓慢的,我指的是慢速。不要使用会在外壳下生成insert语句的方法。
我的用例:到Redshift,使用S3作为临时区域。每个表每天可以处理数十万个事件,每个数据库有几十个表,每个集群有几个数据库,还有几个集群。我们使用、AWS和S3作为第二个进程的暂存区。对于每天数以万计的事件,几个不同的集群,每个集群上的几个数据库,在每个数据库中以这种方式加载一个表,都同样有效。
理论上,您可以使用SSH发出COPY命令,但随后必须准备清单文件(等待).S3。因此,我不知道您为什么不使用S3来暂存数据存储。
至于从现场甲骨文到S3的数据流,这是一个完全不同的话题,你应该从精通甲骨文的人那里寻找答案。我会去看疾控中心,但我不是甲骨文专家,所以我无法判断这是否是一个好方法。
我希望这能帮到你。
https://stackoverflow.com/questions/43647184
复制相似问题