“如何在 Tableau Prep 中删除重复记录” – Josh Milligan 分享了另一个篇有用的帖子,讲述了如何轻松删除 Prep 中的重复项,并在最后介绍了 LOD 计算。

00-Clones.png

这里会介绍三种删除重复数据的方法,当然,后一种总比前一种更难一点。

一、完全重复的数据 Exact Duplicate Records in Tableau Prep

对于像上面的完全相同的两行数据,可以直接通过聚合功能删除——添加聚合步骤,然后全部添加到「分组字段」,没有「聚合字段」,这样完全相同的数据就会仅保留一条。

二、相似但并不完全相同的数据Similar, but not exactly, Duplicate Records

对于像上面部分数据一致,部分字段不同的数据,我们仅要保留最近的数据(上面中最后一次被雇佣的数据),还是使用聚合功能,不过需要「聚合字段」——把相同的字段拖入「分组字段」,而把想要去重的字段拖到「聚合字段」,并根据需要修改聚合的方式,在这里,我们把默认的求和,改为求最大值(max),就会保留最后一次记录。

去重-聚合函数.png

三、相似的延伸数据Extended Near Duplicate Records

在这个数据中,我们知道不同的date hired是因为不同的职位position,我们依然想要保留最近的数据,上面的两个方法就不行了。如果使用第二种方法,第三条和第四条数据都会被保留,因为position字段是不同的,如何处理?先处理Date Hired,再关联position。如下:

1、首先执行上面第二步,把employee ID和Name拖入「分组字段」,把Date Hired拖入「聚合字段」并改为max,这样就会保留四行数据——不要拖入Position。Max Date步骤就是上面第二种方法。

2、把上面的结果,和原数据做联结,把position数据联结到上面的结果中。如下图:

去重-聚合函数 与联结.png

四、奖励:Prep中的LOD计算 Bonus: LOD Calculation in Tableau Prep

在上面的Max Date,其实就是一个Lod操作,类似于我们在desktop中的 {FIXED [Employee ID] : MAX([Date Hired]}

Prep不支持LOD操作,但是我们可以通过图形化的方式,实现LOD的逻辑和结果。

 

原文:

How to remove duplicate records in Tableau Prep

 

2 Sep 2018 Healee