https://code0xff.org/tags/canal/ Recent content in Canal on 记录每个瞬间 Hugo -- gohugo.io Tue, 22 Oct 2024 09:08:07 +0800 https://code0xff.org/post/2024/10/datax_canal/ Tue, 22 Oct 2024 09:08:07 +0800 https://code0xff.org/post/2024/10/datax_canal/ DataX：读写插件，Job任务拆分，Task和Task Group，transform(filter，substr，replace，可自定义)，流控，脏数据，数据库冥等写入，ETL架构。Canal：Server（服务端-客户端模式，嵌入式模式），多个instance，包括：eventParser (数据源接入，模拟slave协议和master进行交互，协议解析)、eventSink (Parser和Store链接器，进行数据过滤，加工，分发的工作)、eventStore (数据存储)、metaManager (增量订阅&消费信息管理器)