学习笔记 / 大数据技术五阶段学习路线
OLAP 与列式存储
正在读取学习记录…
本页目录
#先分清三个概念
- OLAP 是分析型工作负载:按维度筛选、聚合、钻取和生成报表。
- 列式存储 是数据的组织方式:同一列连续存放,读取少量字段并进行聚合时通常更合适。
- MPP 是分布式执行架构:把查询拆分到多个节点并行处理。
这三者不是互斥的数据库类别。Greenplum、Doris 和 StarRocks 都能承担分析查询;Doris 和 StarRocks 的查询引擎也采用 MPP 架构。具体选型还要看数据写入方式、查询延迟、并发、复杂关联及运维成本。
#建议的学习顺序
- Greenplum:结合 PostgreSQL 风格的 SQL,理解分布键、Segment 与并行查询。
- Doris:学习实时分析、列式存储、表模型、分区分桶与物化视图。
- StarRocks:在已有基础上学习存算一体、存算分离、表模型及数据分布。
#建表时先看什么
- 常用筛选字段和数据分布方式:决定分区、分桶与排序策略。
- 明细查询还是聚合查询:决定表模型和预聚合方式。
- 数据新鲜度、更新频率与查询并发:决定导入链路及资源规划。
正在读取学习记录…