NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
本文共 333 字，大约阅读时间需要 1 分钟。
然后我们来看如何把mysql数据实时同步到hive中去
可以看到,其实就是使用
CaptureChangeMySql来获取mysql中变化的数据,具体就是增删改数据
然后再用RouteOnAttribute通过属性,也就是根据是增删改的话,根据这个属性进行路由
把数据路由到不同的位置
然后再用EvaluateJsonPath这个处理器,利用jsonpath表达式,将json中的属性数据提取出来,然后
再用ReplaceText处理器,将对应的属性数据进行替换,然后把替换后的hive的sql语句进行
把数据插入到hive中去就可以了.
首先我们去创建一个hive表,有id name day_time字段
这里是因为nifi,现在已经是支持2版本的hive了,因
转载地址：http://ebjfk.baihongyu.com/
你可能感兴趣的文章
nginx启动脚本
查看>>
Nginx在Windows上和Linux上(Docker启动)分别配置基本身份认证示例
查看>>
Nginx在Windows下载安装启动与配置前后端请求代理
查看>>
Nginx多域名，多证书，多服务配置，实用版
查看>>
nginx如何实现图片防盗链
查看>>
Nginx学习总结（12）——Nginx各项配置总结
查看>>
Nginx学习总结（13）——Nginx 重要知识点回顾
查看>>
Nginx学习总结（14）——Nginx配置参数详细说明与整理
查看>>
Nginx学习总结（15）—— 提升 Web 应用性能的十个步骤
查看>>
Nginx学习总结（8）——Nginx服务器详解
查看>>
nginx学习笔记002---Nginx代理配置_案例1_实现了对前端代码的方向代理_并且配置了后端api接口的访问地址
查看>>
Nginx安装SSL模块 nginx: the “ssl” parameter requires ngx_http_ssl_module in /usr/local/nginx/conf/nginx
查看>>
nginx安装stream模块配置tcp/udp端口转发
查看>>
nginx安装Stream模块配置tcp/udp端口转发
查看>>
Nginx安装与常见命令
查看>>
nginx安装与配置
查看>>
Nginx安装及配置详解
查看>>
nginx安装并配置实现端口转发
查看>>
nginx安装配置
查看>>
Nginx实战之1.1-1.6 Nginx介绍，安装及配置文件详解
查看>>