数据工程学习笔记

搜索学习笔记

输入关键词,搜索全部文章的标题与正文

大数据技术目录

学习笔记 / 大数据技术五阶段学习路线

OLAP 与列式存储

正在读取学习记录…

本页目录

#先分清三个概念

  • OLAP 是分析型工作负载:按维度筛选、聚合、钻取和生成报表。
  • 列式存储 是数据的组织方式:同一列连续存放,读取少量字段并进行聚合时通常更合适。
  • MPP 是分布式执行架构:把查询拆分到多个节点并行处理。

这三者不是互斥的数据库类别。Greenplum、Doris 和 StarRocks 都能承担分析查询;Doris 和 StarRocks 的查询引擎也采用 MPP 架构。具体选型还要看数据写入方式、查询延迟、并发、复杂关联及运维成本。

#建议的学习顺序

  1. Greenplum:结合 PostgreSQL 风格的 SQL,理解分布键、Segment 与并行查询。
  2. Doris:学习实时分析、列式存储、表模型、分区分桶与物化视图。
  3. StarRocks:在已有基础上学习存算一体、存算分离、表模型及数据分布。

#建表时先看什么

  • 常用筛选字段和数据分布方式:决定分区、分桶与排序策略。
  • 明细查询还是聚合查询:决定表模型和预聚合方式。
  • 数据新鲜度、更新频率与查询并发:决定导入链路及资源规划。

接下来依次阅读 Greenplum、Doris 和 StarRocks。

正在读取学习记录…