数据开发概览

数据从业务库到报表经历了什么：采集、存储、计算、调度、治理。

#数据链路全景

业务库 / 日志 / 埋点
      │  数据同步（全量、增量、CDC）
      ▼
  ODS 贴源层 ──► DWD 明细层 ──► DWS 汇总层 ──► ADS 应用层 ──► 报表 / 看板 / 接口
      │              计算引擎：Hive / Spark / MPP
      └──────────── 调度编排：Airflow（依赖、重试、回填）
                    治理保障：数据质量、血缘、告警与恢复

#数据开发工程师日常做什么

• 需求开发：理解指标口径，写 SQL 建模，产出表和看板
• 链路运维：处理任务失败、数据延迟、数据异常
• 治理优化：调优慢任务、治理小文件、下线无用表、完善质量规则

#学习路径

1. JavaSE 基础核心：Java、SQL 和 JDBC，先能编写程序并访问数据库。
2. Hadoop 生态体系：Maven、Linux 与 Shell、Hadoop、Hive、协调与消息组件、集群部署和数仓建模。
3. Spark 生态体系：Spark 编程与调优，再理解 OLAP、Greenplum 和 Doris 的分析场景。
4. Flink 生态体系：流处理、窗口、水位线、状态、容错和 Flink SQL。
5. 前沿技术：结合已有基础学习 StarRocks。数据湖等尚未收录的内容，取得完整资料后再加入目录。

完成技术学习后，进入项目实战路线；也可以从技术、项目和面试题中组合自定义学习路线。