Tableau Prep正式发布于2018年4月,当月我就在工作环境中使用它,一直到年底才有了中文版本。那时恰逢因为Desktop无法胜任复杂的数据清理,我感到无能为力放弃一小段时间之际,因此可以说Tableau Prep在最关键的时候,让我重拾了对“大数据可视化分析”的信息,之后顺利推广到公司的IT和大数据部门。

一年三个月之后的今天,我给很多人反复推荐了Prep的强大和魅力,自己也几乎逢项目必用Prep开启分析之旅。这几天为一家上市医药公司做了三天的高强度培训,按照朋友@纪杨老师的建议,我把此前最后讲解的Prep穿插到了Desktop可视化分析之前,后来感觉效果确实不错。Prep缓解了大家“数据整理恐惧症”的压力,从而为Desktop的可视化分析提前清理了道路。

晚上又回答了上海一家客户的Prep问题咨询,我想有必要总结自己一年多的使用经历,为正在使用和准备使用prep的朋友拨开前面的不确定和云雾。

说明:2019年开始,Tableau Prep调整为两个产品分支,Prep Builder复杂前端的数据可视化整理和输出,Prep Conductor负责Server端的数据流管理和运行部分。

一、何时使用Tableau Prep

可以说,Tableau Desktop中的数据整理功能,Prep全部都能完成,而且往往效果会更好;反之则不行。在以下的情形下,推荐优先甚至只能使用Tableau Prep整理:

1、数据整理过程,需要对数据做深度处理,比如非常多的错误值需要清理,大量的0值或者null需要排除——关键是,所需要清理的数据量非常大时。

这些功能desktop亦能完成,但是Prep更有效率,可以避免大量的清理运算对desktop可视化造成的性能压力,体现到Server端就是提高了数据访问者的流畅性。昨天在客户那里,500M的Excel表格,12列转置后相当于增加了11倍数据,然后清除0值,输出的hyper文件却只有80M,输出耗时大约5分钟。如果同样的操作放在desktop中完成,再发布到Server中提供共享访问,因为数据清理所带来的时间浪费,随着访问用户的增加,可以理解为是倍数级别的。

谨记:从效率和性能方面看,区分数据整理和数据可视化两个环节,几乎总是有意义的。

2、为了提高可视化的性能,需要大幅度调整数据源的聚合级别并选择部分数据字段

在这里,Prep担当了搭建临时的数据仓库(或者理解为数据缓存)的作用。我们知道数据是有详细级别的,不是每次数据聚合(比如过去各月各区域贡献的销售额)都要从最细的数据粒度来计算求和,这样会影响数据加载和分析性能。

比如我们要做零售终端的贡献分析,我们的很多报表都可以从一个临时表来生成——各零售终端在每个月在每个商品的贡献,我们可以把这个详细级别标记为:终端月份商品。为此,我们可以使用prep的聚合功能,提前创建一个临时聚合表,把最细的数据详细级别数据(比如:终端精确时间商品批次会员)提前聚合到想要的级别(精确时间——> 月份,不保留会员和批次信息)。这样每个月的数据量很可能压缩到之前的1/10,并且可以删除不用的无关字段,这样的数据会非常显著地提高数据可视化过程中的效率。

3、涉及到多次数据连接,并且是在不同阶段做数据连接

数据联结是数据整理必备的技能,简单的联结可以直接在desktop中完成,但是如果要多个数据源多次联结,特别是在一个数据源整理的不同阶段做联结,desktop就束手无策了,这正是Prep大放光彩的时刻。

Prep在此方面有几个地方绝对让人过目不让:

  • 直观查看连接结果,包括各部分的连接记录数和连接明细;并可基于结果立刻整理;
  • 通过拖拽轻松实现多次连接,更有效率。
  • 连接和整理过程通过流程保存,过程可以重复使用。

屏幕快照 2019-07-14 下午4.00.48.png

4、需要使用行转列功能,或者列转行两次及以上(嵌套表头)

数据整理阶段总会遇到很多不符合“数据库范式”的数据,这需要结构上的整理,比如把很多的列转为行显示——特别是所谓的“宽表”,经常用一列代表一个月份或者一个同类的主题。

而在少数情况下,我们还需要行转为列——主要是报表展示的需要。Desktop在数据源的层面仅能执行一次列转行操作,而多次转置和行转列是Prep独有的功能,加上Prep可以在一个流程的多个地方执行转置,在转置方面就更加强大。

 

二、如何优雅的使用Tableau Prep

作为Prep最早的一批粉丝和深度用户,说明一下几个关键点。

1、 把筛选操作尽可能提前

在任何时候,减少数据的大小都是有意义的。在新版本的Tableau Prep中,进一步增加了“数据筛选”的功能,可以直接通过计算字段保留数据,或者通过多选轻松清除数据。(Tableau Prep Builder 2019.2.3超级棒新功能

不过这里提供一个预防性的建议:尽可能不要在数据源的层面隐藏数据字段,而是放到下一次清理环节中使用“移除”字段来代替。为什么呢?我和我的客户都遇到过类似的情境:可能是bug或者数据源支持的问题,当你的数据源字段增加时,Prep往往不能自动加入这些新字段,相当于只在原来的框架中增量更新,不会自动扩展字段的多少。这种情况下,刷新数据源无效果,只能重建数据源连接,重建的代价就是第一个环节的设置会消失,此前手动隐藏的字段就会重现天日,不得不重新点击一遍。

2、多使用数据聚合,分层看需求,分层准备数据,养成建立数据仓库的习惯

数据聚合是提高性能的核心操作,养成根据分析需要建立数据仓库的概念,会帮助分析师理清数据的层次性、提高可视化过程的效率、减少可视化过程中的复杂运算(LODs)。这也是tableau Prep数据整理的核心落脚点。

“数据是有层次性的”,每个层次代表的是一种视角、一种高度和一种业务场景。数据可视化帮助我们建立全览视角,数据聚合帮助我们从数据层面清晰化。完美搭配~

屏幕快照 2019-07-16 下午12.30.14.png

3、建议:每个流程只做一种操作及其相关操作

虽然Tableau倡导“在任何步骤中应用清理操作”,但是我想同时给出的建议是“不要滥用Tableau软件的易用性”,否则只会增加混乱。从设计的角度看,从使用的经验总结看,尽可能只在一个环节执行一种操作及其紧密关联的整理。比如数据转置环节,那就仅仅做转置和转置后的字段重命名;数据聚合环节,仅仅做数据聚合,除非是聚合的需要,不要在这个环节更改字段名称。

Prep的功能只有几大类:数据整理、数据连接Join、数据并集Union、数据聚合、数据转置,努力让每个环节都具有实质性的意义。

屏幕快照 2019-07-16 下午12.16.27.png
爱因斯坦说,“凡事要追求简单,但不要过于简单”,这句话可以作为数据清理环节的理念。

4、使用颜色和说明,记录流程,便于复盘

在prep中,有几个特别主要的指示牌:流程标题、说明和颜色。在数据连接、数据并集中,颜色是最好的指示牌,我们甚至不需要记住两侧数据的名字了。

一定要善加使用Prep的流程标题和说明,于己于人,都是好处多多。每个流程的“名称”可以说明重点,而“说明”则阐述制作过程和注意点。

 

爱上PREP,整个世界都会美好。

​快速提高分析效率想要立竿见影?推荐Tableau Prep ​

 

Jul 14, 2019 from石家庄to山东
Jul 16, 2019 update