我知道Apache Kafka的极端基础知识。但是,我对Kafka API一无所知。
假设我有一个应用程序,它从源系统获取数据(通过SQL查询),处理数据(通过Java Code),然后将处理后的数据插入/更新到目标系统(通过SQL查询)。
这是一个每隔几个小时运行一次的计划作业&仅提取在上次成功运行后在源系统中更新的数据。例如:-最后一次成功运行是在下午6点,下一次运行安排在晚上11点,因此将仅从源系统获取在下午6点到11点之间更新的数据。
如果我想要使用Apache Kafka & Java / Spring实现这样的系统,那么应该研究和使用什么建议的Kafka API呢?
此外,建议的API上的任何教程或Java / Spring示例代码链接都将不胜感激。
提前感谢!
发布于 2021-06-18 10:07:23
我们在这里讨论的是哪个数据库。在KAFKA世界中,有100种方法可以实现这一点,但最好的实现是Database Sink/Source Connector。它只是一个插件,我们只需要进行最低限度的配置,而且您还可以进行数据转换和丰富。
对于您的基本理解,请参阅
https://dzone.com/articles/kafka-connectors-without-kafka https://dzone.com/articles/data-ingestion-from-rdbms-by-leveraging-confluents
https://stackoverflow.com/questions/68013382
复制相似问题