首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >从AWS RDS到Azure SQL数据仓库的数据迁移

问从AWS RDS到Azure SQL数据仓库的数据迁移
EN

Stack Overflow用户
提问于 2017-04-25 21:24:35
回答 2查看 1.1K关注 0票数 0

我的应用程序数据库在AWS RDS (postgresql)中运行。我需要将数据从AWS迁移到Azure SQL数据仓库。

这是一种ETL过程,我需要对Postgresql中的数据进行一些计算/计算/聚合,并将其放入Azure SQL数据仓库中的不同模式中,以便进行报告。此外,我需要定期同步数据,而不是重复。

我是数据迁移概念的新手,请告诉我实现此任务的最佳可能方法是什么?

谢谢!

EN

回答 2

Stack Overflow用户

发布于 2017-04-25 23:06:31

Azure数据工厂是您的选择。它是一种云数据集成服务,将数据存储、移动和处理服务组合到自动化数据管道中。

请在下面找到Postgresql连接器。

https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-postgresql-connector

在转换部分,您可能需要添加一些自定义的中间步骤来进行数据传递。

票数 0
EN

Stack Overflow用户

发布于 2017-07-31 17:34:27

您尝试过Azure数据工厂建议吗?它解决了你的问题吗?

如果没有,您可以尝试使用Alooma。该解决方案可以近乎实时地将托管在Amazon RDS上的PostgreSQL数据库复制到Azure SQL数据仓库。(https://www.alooma.com/integrations/postgresql/)

按照以下步骤从RDS迁移到Azure SQL:

验证您的主机配置

在RDS仪表板上的参数组下,导航到与您的instance.

  • Verify关联的组,将hot_standby和hot_standby_feedback设置为1。

  • 验证max_standby_archive_delay和max_standby_streaming_delay是否大于0(建议为30000)。

  • 如果需要更改任何参数值,请单击编辑参数。

连接到Alooma

  1. 您可以通过SSH服务器(https://support.alooma.com/hc/en-us/articles/214021869-Connecting-to-an-input-via-SSH)连接或加入白名单访问Alooma的IP地址。

52.35.19.31/32

52.88.52.130/32

52.26.47.1/32

52.24.172.83/32

  1. 从管道屏幕添加并命名您的PostreSQL输入,然后输入以下详细信息: PostgreSQL服务器的主机名或IP地址(默认端口为5432)用户名和密码数据库名称
  2. 选择要用于PostgreSQL数据库复制的复制方法对于完全转储/加载复制,请提供:

要复制的表名称的空格或逗号分隔列表。您希望复制表的频率。频率越高,您的数据就越新,但也会给PostgreSQL数据库带来更多的负载。

用于增量转储/加载复制的,提供:

要复制的每个表的表/更新指示符列对。没有更新指示符列吗?让我们知道!我们仍然可以让增量加载为您工作。

如果希望Alooma自动将所有PostgreSQL表精确地映射到目标数据仓库,请将映射模式保留为默认值OneClick。否则,必须从Mapper屏幕手动映射它们。

票数 0
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/43611964

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档