搜索 | 会员  
数仓缓慢变化维深度讲解
来源: 简书   作者:大数据老哥  日期:2021/3/23  类别:大数据  主题:Hadoop  编辑:被水淹死的鱼
为解决缓慢变化维问题的几种办法:保留原始值改写属性值增加维度新行增加维度新列添加历史表

举例说明

一、SCD问题的几种解决方案

以下为解决缓慢变化维问题的几种办法:

  • 保留原始值

  • 改写属性值

  • 增加维度新行

  • 增加维度新列

  • 添加历史表

1.1 保留原始值

某一个属性值绝不会变化。事实表始终按照该原始值进行分组。例如:出生日期的数据,始终按照用户第一次填写的数据为准

1.2 改变属性值

  • 对其相应需要重写维度行中的旧值,以当前值替换。因此其始终反映最近的情况

  • 当一个维度值的数据源发生变化,并且不需要在维度表中保留变化历史时,通常用新数据来覆盖旧数据。这样的处理使属性所反映的中是最新的赋值。

用户维度表

修改前:

修改后:

  • 这种方法有个前提,用户不关心这个数据的变化

  • 这样处理,易于实现,但是没有保留历史数据,无法分析历史变化信息

1.3 增加维度新行

         数据仓库系统的目标之一是正确地表示历史。典型代表就是拉链表        

          保留历史的数据,并插入新的数据

用户维度表

修改前:

修改后:

1.4 增加维度新列

         用不同的字段来保存不同的值,就是在表中增加一个字段,这个字段用来保存变化后的当前值,而原来的值则被称为变化前的值。总的来说,这种方法通过添加字段来保存变化后的痕迹。

用户维度表

修改前:

修改后

1.5 使用历史表

         另外建一个表来保存历史记录,这种方式就是将历史数据与当前数据完全分开来,在维度中只保存当前最新的数据。用户维度表

用户维度历史表

这种方式的优点是可以同时分析当前及前一次变化的属性值,缺点是只保留了最后一次变化信息。

思考

         我在这里给大家提个场景题,比如我们在淘宝上购买一件商品,从下单-支付-发货-配送-确认收货这个几步流。需求:统计出在发送到配置过程中转了几次?



作者:大数据老哥
链接:https://www.jianshu.com/p/58b875c186bd
来源:简书
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。


德仔网尊重行业规范,每篇文章都注明有明确的作者和来源;德仔网的原创文章,请转载时务必注明文章作者和来源:德仔网;
头条那些事
大家在关注
我们的推荐
也许感兴趣的
干货
了解一下吧