[alibaba/canal]请问,canal目前支持AWS的RDS MySQL吗?

2023-12-19 630 views
9

请问,canal目前支持AWS的RDS MySQL吗?

回答

4

@qiaohongbo 我正好在用,innodb 引擎的话一点问题都没有

1

我也在用,但是有一次canal服务停了,AWS的binlog又被清除了 所以丢了一些数据。这种情况你是怎么处理的/或者AWS有配置保存binlog的时间?

4

@qiaohongbo 我们是设置监视canal的ack delay,只要确定有delay异常就报错,可以保证正常运行, AWS的binlog默认保存7天,不建议改,因为7天完全够了

7

我们是用go连的canal服务,只要连不上也会报错、报警。 当时的场景是: 外出吃晚餐时收到报警,晚餐回来后发现 canal 服务异常,中间大概隔 2 小时左右重新启动了canal服务,但是发现一直订阅不到新的binlog,最后生产环境查aws rds的binlog才发现,在canal异常时记录的binlog已经被rds清除了,最后把 meta.dat和h2.mv.db删除就可以订阅到新的binlog,所以中间丢了一些数据

5

@qiaohongbo 我不是很清楚你们的设定和数据规模, 但我听上去感觉是你们数据太少,所以binlog没有分开导致你们本来在读的binlog被删除了, 你们可以考虑设置max_binlog_size为较小的值,保证2-3天以内100%换文件,这样会比较保险

max_binlog_size = 1024M #defaule
4

@qiaohongbo 我们应该是设置成128M的样子

3

@zherenyu831 aws 的 该怎么设置呢?过段时间会有找不到binlog位置的错误

2

请问aws的my.cnf怎么配置呢,按照教程配置,客户端链接canal服务端报 Operation timed out