首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从Oracle表到Redshift的流

从Oracle表到Redshift的流
EN

Stack Overflow用户
提问于 2017-04-27 01:32:49
回答 1查看 1.1K关注 0票数 2

我是新来的红移和AWS生态系统。我正在寻找从Oracle EBS表到Redshift的流媒体数据更改的选项或最佳实践。

  1. 应该使用S3作为分期区域吗?因此,甲骨文->S3->红移?这对实时将Oracle表流到Redshift有好处吗?
  2. 有什么方法可以绕过S3阶段,让Oracle->AWS (消防软管)->Redshift吗?如果是这样的话,我能读懂这些情景吗?
  3. 用卡夫卡代替AWS激酶怎么样?
  4. AWS动态或卡夫卡能直接从一个前提下的Oracle实例中提取吗?
  5. 是否有其他替代/组件、ETL工具可用于几乎实时或几乎实时的数据加载到Redshift?

Oracle是on,有大量的表要流。我刚接触过Redshift,但熟悉Oracle、SQL Server、PG。如果我完全被打败了,很抱歉。

请帮助:)任何想法和/或参考将不胜感激.

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-05-12 15:58:40

根据docs 这里,1和2本质上是相同的。你不能通过使用消防水管绕过S3,只是遮掩它。如果您在多个集群上有很多表,则Firehose目前是无用的。当然,除非您计划将向AWS支持发送支持请求的过程自动化以增加限制(我正在考虑这个问题,不要笑)。

我会使用来自S3命令进行加载。

插入当前是缓慢的,我指的是慢速。不要使用会在外壳下生成insert语句的方法。

我的用例:到Redshift,使用S3作为临时区域。每个表每天可以处理数十万个事件,每个数据库有几十个表,每个集群有几个数据库,还有几个集群。我们使用、AWS和S3作为第二个进程的暂存区。对于每天数以万计的事件,几个不同的集群,每个集群上的几个数据库,在每个数据库中以这种方式加载一个表,都同样有效。

理论上,您可以使用SSH发出COPY命令,但随后必须准备清单文件(等待).S3。因此,我不知道您为什么不使用S3来暂存数据存储。

至于从现场甲骨文到S3的数据流,这是一个完全不同的话题,你应该从精通甲骨文的人那里寻找答案。我会去看疾控中心,但我不是甲骨文专家,所以我无法判断这是否是一个好方法。

我希望这能帮到你。

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43647184

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档