世界好小,
原来都是“八杆子”打得着的关系
-
昨天朋友⭕️点个赞
然后弹出好多屋主大大的点赞提醒⏰
-
有同事、有闺蜜、也有朋友的表弟
哈哈哈哈哈哈
-
是不是圈子做大了就会变小
大家都会彼此认识呢?
-
#独立设计师[话题]##广州室内设计师##家装##私宅设计##精装房改造# https://t.cn/RJL1d49
原来都是“八杆子”打得着的关系
-
昨天朋友⭕️点个赞
然后弹出好多屋主大大的点赞提醒⏰
-
有同事、有闺蜜、也有朋友的表弟
哈哈哈哈哈哈
-
是不是圈子做大了就会变小
大家都会彼此认识呢?
-
#独立设计师[话题]##广州室内设计师##家装##私宅设计##精装房改造# https://t.cn/RJL1d49
#数据仓库# 业界通用的 五层 数据仓库分层设计:
1⃣️数据引入层 ODS(Operational Data Store)
2⃣️明细数据层 DWD(Data Warehouse Detail)
3⃣️汇总数据层 DWS(Data Warehouse Summary)
4⃣️应用数据层 ADS(Application Data Service)
5⃣️公共维度层 DIM(Dimension)
名字有点儿绕,英文缩写也不是很好记,我们来简单理解一下。
⭕ODS
就是原始日志。
⭕DWD
从原始日志中提取明细数据,提取过程就是把一行日志按照规则切分为多个字段,再对这些字段(值)进行过滤、转换等操作,俗称:ETL。
从一份或多份原始日志可以提取出一张或多张明细表。
⭕DWS
数据分析大多数时候是基于宏观统计数据实现的,不需要使用微观明细数据,可以结合产品和业务的分析需求,把明细表聚合成 汇总表。
聚合可以从时间和维度两个地方着手:
时间:把每秒的数据按五分钟、小时或者天粒度进行聚合。
维度:把地点的数据按国家、省份、城市或者区域进行聚合。
从物理角度看,聚合的目的是大幅度减少数据量,聚合的时间粒度越大、维度数目越少,数据量就越小。从逻辑角度看,聚合的目的是公共和复用,是能够尽可能更多地覆盖分析需求,聚合的维度数目越多,数据越通用。选取聚合的维度时,要综合考虑数据量和通用性。
从一张或多张明细表可以聚合出一张或多张汇总表。
⭕ADS
汇总表间接服务于产品和业务需求,讲究的是通用性; 明细表直接服务于产品和业务需求,讲究的是个性化。一张明细表直接对应着产品和业务的一个或几个相互关联的需求,相对于汇总表,明细表维度数目更少,数据量也更小。
从一张或多张汇总表可以计算出一张或多张明细表。
⭕DIM
相当于数据字典。明确给出数仓中有哪些维度,维度名称是什么,维度含义是什么,维度值有哪些等信息,确保分析过程中逻辑认知一致、数据口径统一。
明细表、汇总表和应用表中的维度数据需要和维度表中的维度数据保持一致。
可以看出,数据仓库的分层本质就是从原始日志 -> 明细表 -> 汇总表 -> 应用表的过程。
1⃣️数据引入层 ODS(Operational Data Store)
2⃣️明细数据层 DWD(Data Warehouse Detail)
3⃣️汇总数据层 DWS(Data Warehouse Summary)
4⃣️应用数据层 ADS(Application Data Service)
5⃣️公共维度层 DIM(Dimension)
名字有点儿绕,英文缩写也不是很好记,我们来简单理解一下。
⭕ODS
就是原始日志。
⭕DWD
从原始日志中提取明细数据,提取过程就是把一行日志按照规则切分为多个字段,再对这些字段(值)进行过滤、转换等操作,俗称:ETL。
从一份或多份原始日志可以提取出一张或多张明细表。
⭕DWS
数据分析大多数时候是基于宏观统计数据实现的,不需要使用微观明细数据,可以结合产品和业务的分析需求,把明细表聚合成 汇总表。
聚合可以从时间和维度两个地方着手:
时间:把每秒的数据按五分钟、小时或者天粒度进行聚合。
维度:把地点的数据按国家、省份、城市或者区域进行聚合。
从物理角度看,聚合的目的是大幅度减少数据量,聚合的时间粒度越大、维度数目越少,数据量就越小。从逻辑角度看,聚合的目的是公共和复用,是能够尽可能更多地覆盖分析需求,聚合的维度数目越多,数据越通用。选取聚合的维度时,要综合考虑数据量和通用性。
从一张或多张明细表可以聚合出一张或多张汇总表。
⭕ADS
汇总表间接服务于产品和业务需求,讲究的是通用性; 明细表直接服务于产品和业务需求,讲究的是个性化。一张明细表直接对应着产品和业务的一个或几个相互关联的需求,相对于汇总表,明细表维度数目更少,数据量也更小。
从一张或多张汇总表可以计算出一张或多张明细表。
⭕DIM
相当于数据字典。明确给出数仓中有哪些维度,维度名称是什么,维度含义是什么,维度值有哪些等信息,确保分析过程中逻辑认知一致、数据口径统一。
明细表、汇总表和应用表中的维度数据需要和维度表中的维度数据保持一致。
可以看出,数据仓库的分层本质就是从原始日志 -> 明细表 -> 汇总表 -> 应用表的过程。
小曾日记之⭕️
和朋友见面还是非常开心
如果俊俊不发她的阿展给她吹头发的语音的话就更高兴(少惹有男朋友的女的
和圆圆真的一周能见八次面她要是周末不去杭州的话我也不知道下次妈妈问我去哪里我要怎么和她解释圆圆怎么还没有去杭州
和圆圆总是因为各种各样的原因在大街上发笑
笑到所有人都觉得我们两个有点毛病
其实最近有许许多多很难很难的事情
希望都变简单!
圆圆给我买了烤和糖炒栗子和提神的西洋参片(把话放在这里:粒上皇不如金粒门哈[哇]
然后吃饭的功夫给33打电话要33骗钱带我们去吃好吃的
在秋天觉得时间是很好的东西!
十分感激每一个把我拉到正轨上的朋友!
和朋友见面还是非常开心
如果俊俊不发她的阿展给她吹头发的语音的话就更高兴(少惹有男朋友的女的
和圆圆真的一周能见八次面她要是周末不去杭州的话我也不知道下次妈妈问我去哪里我要怎么和她解释圆圆怎么还没有去杭州
和圆圆总是因为各种各样的原因在大街上发笑
笑到所有人都觉得我们两个有点毛病
其实最近有许许多多很难很难的事情
希望都变简单!
圆圆给我买了烤和糖炒栗子和提神的西洋参片(把话放在这里:粒上皇不如金粒门哈[哇]
然后吃饭的功夫给33打电话要33骗钱带我们去吃好吃的
在秋天觉得时间是很好的东西!
十分感激每一个把我拉到正轨上的朋友!
✋热门推荐