我有一些数据,可能有很多重复的,比如username,ip,UA等等,这些数据是实时产生的,也就是说可能是产生的时间是不一样的。
目前是用logstash来实时写数据进elasticsearch的,我想问的是
如何确保写入elasticsearch的数据是不重复的。
logstash在写数据之前,是否可以先到e优艾设计网_设计百科lasticsearch查询一下然后在决定写入不写入呢?
我有一些数据,可能有很多重复的,比如username,ip,UA等等,这些数据是实时产生的,也就是说可能是产生的时间是不一样的。
目前是用logstash来实时写数据进elasticsearch的,我想问的是
如何确保写入elasticsearch的数据是不重复的。
logstash在写数据之前,是否可以先到e优艾设计网_设计百科lasticsearch查询一下然后在决定写入不写入呢?
上一篇:无精症可以用人工授精吗?
精彩评论