NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
本文共 333 字，大约阅读时间需要 1 分钟。
然后我们来看如何把mysql数据实时同步到hive中去
可以看到,其实就是使用
CaptureChangeMySql来获取mysql中变化的数据,具体就是增删改数据
然后再用RouteOnAttribute通过属性,也就是根据是增删改的话,根据这个属性进行路由
把数据路由到不同的位置
然后再用EvaluateJsonPath这个处理器,利用jsonpath表达式,将json中的属性数据提取出来,然后
再用ReplaceText处理器,将对应的属性数据进行替换,然后把替换后的hive的sql语句进行
把数据插入到hive中去就可以了.
首先我们去创建一个hive表,有id name day_time字段
这里是因为nifi,现在已经是支持2版本的hive了,因
转载地址：http://ebjfk.baihongyu.com/
你可能感兴趣的文章
Netty源码—7.ByteBuf原理四
查看>>
Netty源码—8.编解码原理一
查看>>
Netty源码—8.编解码原理二
查看>>
Netty源码解读
查看>>
netty的HelloWorld演示
查看>>
Netty的Socket编程详解-搭建服务端与客户端并进行数据传输
查看>>
Netty的网络框架差点让我一夜秃头，哭了
查看>>
Netty相关
查看>>
Netty简介
查看>>
Netty线程模型理解
查看>>
netty解决tcp粘包和拆包问题
查看>>
Netty速成：基础+入门+中级+高级+源码架构+行业应用
查看>>
Netty遇到TCP发送缓冲区满了 写半包操作该如何处理
查看>>
netty（1）：NIO 基础之三大组件和ByteBuffer
查看>>
Netty：ChannelPipeline和ChannelHandler为什么会鬼混在一起？
查看>>
Netty：原理架构解析
查看>>
Network Dissection:Quantifying Interpretability of Deep Visual Representations（深层视觉表征的量化解释）
查看>>
Network Sniffer and Connection Analyzer
查看>>
Network 灰鸽宝典【目录】
查看>>
Networkx写入Shape文件
查看>>