演讲：鲁昊 美团点评高级技术专家
更多大数据架构、实战经验，欢迎关注【大数据每日哔哔】，期待与你一起成长！
实时计算演进与业务实践
基于Flink的实时数仓平台
传统数仓：（业务、日志）数据存储在 HDFS 上，一般分这几层：ods/dwd/dws/dm，其中dm层的数据会导出到 olap、rds、kv数据库中供业务方使用。ad-hoc查询的数据来源一般来自 ods层或dw层，ad-hoc的查询引擎为 hive/spark/presto。
实时数仓：也是基于分层的模型ods/dwd/dws/，业务数据和日志数据,事实数据存储在 kafka中，维度数据存储在 Hbase/Tair 中，dm层的数据最终导出到 mq/olap/rds/kv中。ad-hoc 查询基于 Flink 来做。（都是流动的数据）
在前两者之间，还有一种准实时的数仓模型。准实时也就是不那么实时
ods 层的数据放在 kafka 中，dws/dwd/dm 都是在 olap 中来做，基于olap的计算能力进一步加工。dim表存储在 Hbase 中。ad-hoc查询基于 olap 来做。
未来发展与思考
本文来自投稿，不代表本人立场，如若转载，请注明出处：http://www.souzhinan.com/kj/230651.html
赞 (112)
打赏
跨链纪事：供应链管理六大场景（四）
« 上一篇2019-12-15 09:25:44
细数生物医药领域“灯塔”级AI项目，有望照亮行业发展之路吗？
下一篇 »2019-12-15 09:25:47