博客
关于我
NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
阅读量:793 次
发布时间:2023-02-16

本文共 333 字,大约阅读时间需要 1 分钟。

然后我们来看如何把mysql数据实时同步到hive中去

可以看到,其实就是使用

CaptureChangeMySql来获取mysql中变化的数据,具体就是增删改数据

然后再用RouteOnAttribute通过属性,也就是根据是增删改的话,根据这个属性进行路由

把数据路由到不同的位置

然后再用EvaluateJsonPath这个处理器,利用jsonpath表达式,将json中的属性数据提取出来,然后

再用ReplaceText处理器,将对应的属性数据进行替换,然后把替换后的hive的sql语句进行

把数据插入到hive中去就可以了.

 

首先我们去创建一个hive表,有id name day_time字段

 这里是因为nifi,现在已经是支持2版本的hive了,因

转载地址:http://ebjfk.baihongyu.com/

你可能感兴趣的文章