NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
本文共 333 字，大约阅读时间需要 1 分钟。
然后我们来看如何把mysql数据实时同步到hive中去
可以看到,其实就是使用
CaptureChangeMySql来获取mysql中变化的数据,具体就是增删改数据
然后再用RouteOnAttribute通过属性,也就是根据是增删改的话,根据这个属性进行路由
把数据路由到不同的位置
然后再用EvaluateJsonPath这个处理器,利用jsonpath表达式,将json中的属性数据提取出来,然后
再用ReplaceText处理器,将对应的属性数据进行替换,然后把替换后的hive的sql语句进行
把数据插入到hive中去就可以了.
首先我们去创建一个hive表,有id name day_time字段
这里是因为nifi,现在已经是支持2版本的hive了,因
转载地址：http://ebjfk.baihongyu.com/
你可能感兴趣的文章
Nginx 利用代理转发请求示例
查看>>
Nginx 动静分离与负载均衡的实现
查看>>
Nginx 反向代理 MinIO 及 ruoyi-vue-pro 配置 MinIO 详解
查看>>
nginx 反向代理 转发请求时，有时好有时没反应，产生原因及解决
查看>>
Nginx 反向代理+负载均衡
查看>>
Nginx 反向代理解决跨域问题
查看>>
Nginx 反向代理配置去除前缀
查看>>
nginx 后端获取真实ip
查看>>
Nginx 多端口配置和访问异常问题的排查与优化
查看>>
Nginx 如何代理转发传递真实 ip 地址？
查看>>
Nginx 学习总结（16）—— 动静分离、压缩、缓存、黑白名单、性能等内容温习
查看>>
Nginx 学习总结（17）—— 8 个免费开源 Nginx 管理系统，轻松管理 Nginx 站点配置
查看>>
Nginx 学习（一）：Nginx 下载和启动
查看>>
nginx 常用指令配置总结
查看>>
Nginx 常用配置清单
查看>>
nginx 常用配置记录
查看>>
nginx 开启ssl模块 [emerg] the “ssl“ parameter requires ngx_http_ssl_module in /usr/local/nginx
查看>>
Nginx 我们必须知道的那些事
查看>>
Nginx 源码完全注释（11）ngx_spinlock
查看>>
Nginx 的 proxy_pass 使用简介
查看>>