背景:我们在一个数据仓库实例(Version6.4.1,并运行在一个dataproc集群上)中有工作管道,它连接到postgres。在这种情况下,一切都正常。
问题:我们在新创建的dataproc集群上创建了一个新的数据收集实例(Version6.7.1)。我们安装了必要的构件(CloudSQL PostgreSQL JDBC驱动程序,CloudSQL PostgreSQL Plugins),并在名称空间管理页面中添加了数据库连接,并成功地测试了连接(因此,我们可以连接到cloudsql实例?)。但是,当部署管道(具有与连接中使用的凭证相同的凭据)并运行它时,我们会遇到以下错误:
Exception while trying to validate schema of database table "<table_name>" for connection jdbc:postgresql:///<db_name>?cloudSqlInstance=<cloud-sql-instance-name>&socketFactory=com.google.cloud.sql.postgres.SocketFactory.这是原始日志中的错误:
PSQLException : “Connection to :5432 refused. Check that the hostname and port are correct and that the postmaster is accepting TCP/IP connections.”旧的(6.4.1)和新的(6.7.1) DF实例几乎是相同的(使用相同的服务帐户,dataproc服务帐户,指向同一个云sql实例)
如有任何建议,将不胜感激。
发布于 2022-09-22 05:08:40
也许值得检查几件事
。
对于新集群的设置,请确保遵循https://datafusion.atlassian.net/wiki/spaces/KB/pages/32276578/Configurations+for+a+static+Dataproc+cluster
https://stackoverflow.com/questions/73790490
复制相似问题