NIFI大数据进阶_实时同步MySql的数据到Hive中去_可增量同步_实时监控MySql数据库变化_操作方法说明_01---大数据之Nifi工作笔记0033
本文共 333 字，大约阅读时间需要 1 分钟。
然后我们来看如何把mysql数据实时同步到hive中去
可以看到,其实就是使用
CaptureChangeMySql来获取mysql中变化的数据,具体就是增删改数据
然后再用RouteOnAttribute通过属性,也就是根据是增删改的话,根据这个属性进行路由
把数据路由到不同的位置
然后再用EvaluateJsonPath这个处理器,利用jsonpath表达式,将json中的属性数据提取出来,然后
再用ReplaceText处理器,将对应的属性数据进行替换,然后把替换后的hive的sql语句进行
把数据插入到hive中去就可以了.
首先我们去创建一个hive表,有id name day_time字段
这里是因为nifi,现在已经是支持2版本的hive了,因
转载地址：http://ebjfk.baihongyu.com/
你可能感兴趣的文章
nginx负载均衡和反相代理的配置
查看>>
nginx负载均衡器处理session共享的几种方法（转）
查看>>
nginx负载均衡的5种策略
查看>>
nginx负载均衡的5种策略（转载）
查看>>
nginx负载均衡的五种算法
查看>>
Nginx负载均衡详解
查看>>
Nginx负载均衡（upstream）
查看>>
nginx转发端口时与导致websocket不生效
查看>>
Nginx运维与实战（二）-Https配置
查看>>
Nginx部署_mysql代理_redis代理_phoenix代理_xxljob代理_websocket代理_Nacos代理_内网穿透代理_多系统转发---记录021_大数据工作笔记0181
查看>>
nginx部署本地项目如何让异地公网访问？服务器端口映射配置！
查看>>
Nginx配置HTTPS服务
查看>>
Nginx配置Https证书
查看>>
Nginx配置http跳转https
查看>>
Nginx配置ssl实现https
查看>>
nginx配置ssl证书https解决公网ip可以访问但是域名不行的问题
查看>>
Nginx配置TCP代理指南
查看>>
NGINX配置TCP连接双向SSL
查看>>
Nginx配置——不记录指定文件类型日志
查看>>
nginx配置一、二级域名、多域名对应(api接口、前端网站、后台管理网站)
查看>>