我的应用程序数据库在AWS RDS (postgresql)中运行。我需要将数据从AWS迁移到Azure SQL数据仓库。
这是一种ETL过程,我需要对Postgresql中的数据进行一些计算/计算/聚合,并将其放入Azure SQL数据仓库中的不同模式中,以便进行报告。此外,我需要定期同步数据,而不是重复。
我是数据迁移概念的新手,请告诉我实现此任务的最佳可能方法是什么?
谢谢!
发布于 2017-04-25 23:06:31
Azure数据工厂是您的选择。它是一种云数据集成服务,将数据存储、移动和处理服务组合到自动化数据管道中。
请在下面找到Postgresql连接器。
https://docs.microsoft.com/en-us/azure/data-factory/data-factory-onprem-postgresql-connector
在转换部分,您可能需要添加一些自定义的中间步骤来进行数据传递。
发布于 2017-07-31 17:34:27
您尝试过Azure数据工厂建议吗?它解决了你的问题吗?
如果没有,您可以尝试使用Alooma。该解决方案可以近乎实时地将托管在Amazon RDS上的PostgreSQL数据库复制到Azure SQL数据仓库。(https://www.alooma.com/integrations/postgresql/)
按照以下步骤从RDS迁移到Azure SQL:
验证您的主机配置
在RDS仪表板上的参数组下,导航到与您的instance.
连接到Alooma
52.35.19.31/32
52.88.52.130/32
52.26.47.1/32
52.24.172.83/32
要复制的表名称的空格或逗号分隔列表。您希望复制表的频率。频率越高,您的数据就越新,但也会给PostgreSQL数据库带来更多的负载。
用于增量转储/加载复制的,提供:
要复制的每个表的表/更新指示符列对。没有更新指示符列吗?让我们知道!我们仍然可以让增量加载为您工作。
如果希望Alooma自动将所有PostgreSQL表精确地映射到目标数据仓库,请将映射模式保留为默认值OneClick。否则,必须从Mapper屏幕手动映射它们。
https://stackoverflow.com/questions/43611964
复制相似问题