优艾设计网

elasticsearch写入去重的问题?

优艾设计网 https://www.uibq.com 2023-06-17 07:50 出处:网络 作者:在线设计
我有一些数据,可能有很多重复的,比如username,ip,UA等等,这些数据是实时产生的,也就是说可能是产生的时间是不一样的。 目前是用logstash来实时写数据进elasticsearch的,我想问的是 如何确保写入elasticsearch的

我有一些数据,可能有很多重复的,比如username,ip,UA等等,这些数据是实时产生的,也就是说可能是产生的时间是不一样的。

目前是用logstash来实时写数据进elasticsearch的,我想问的是

如何确保写入elasticsearch的数据是不重复的。

logstash在写数据之前,是否可以先到e优艾设计网_设计百科lasticsearch查询一下然后在决定写入不写入呢?


0

精彩评论

暂无评论...
验证码 换一张
取 消