基于改良字典的大数据多维剖析减速通常

OLAP场景是大数据运行中十分关键的一环，能够极速、灵敏地满足业务各种剖析需求，提供复杂的剖析操作和决策允许。B站干流湖仓经常使用Iceberg存储，经过建表优化可以成功惯例千万级的目的统计秒级查问，这样就能极速搭建可视化报表，但当数据量到达亿级、须要交叉剖析维度复杂多表状况下，想要允许秒级就变得艰巨。因此B站数据剖析或许数据开发同窗为了能有秒级照应的报表，须要经过ETL grouping sets 提早设计要介入多维剖析的维度和目的，而后在ADS层离线计算好对应的数据cube。这有点相似Kylin的估量算形式，区别是查问效率和查问SQL复杂度要更高，毕竟Kylin底层是KV存储并且做了SQL解释器，而原始grouping sets形式得让下游自己选cube切片。比如Push业务DWB表几十亿数据量，想要极速允许十几个维度和十几个目的秒级交叉剖析，只能开发提早性能好要介入剖析的维度组合，在可视化界面也须要提早说明只允许这几个维度组合。