AI Pulse
📡 X 信号

AI 数据工程师完整学习路线图

完整 AI 数据工程路线图

1. 编程基础
- Python
- SQL
- Bash 与 Shell 脚本
- 数据结构与算法
- 面向对象编程
- 函数式编程
- Git 与 GitHub
- Linux 基础

2. 数学与数据基础
- 线性代数
- 概率论与统计学
- 描述性统计
- 数据类型与结构
- 数据建模
- 数据质量
- 数据剖析
- 探索性数据分析

3. 数据库工程
- 关系型数据库
- PostgreSQL
- MySQL
- SQL Server
- Oracle
- NoSQL 数据库
- MongoDB
- Cassandra
- DynamoDB
- Redis
- 数据库索引
- 事务与 ACID
- 查询优化
- 复制与分片
- 数据库管理

4. 数据仓库
- 数据仓库概念
- OLTP 与 OLAP 对比
- 星型模型
- 雪花模型
- 事实表与维度表
- 缓慢变化维度
- 数据集市
- 数据保险库建模
- Amazon Redshift
- Google BigQuery
- Snowflake
- Azure Synapse Analytics

5. 数据工程基础
- ETL 与 ELT
- 批处理
- 流处理
- 数据摄入
- 数据转换
- 数据集成
- 数据管道
- 增量加载
- 变更数据捕获(CDC)
- 模式演进
- 数据血缘
- 数据编排

6. 数据处理框架
- Apache Spark
- PySpark
- Spark SQL
- Spark Streaming
- Spark 优化
- Apache Flink
- Apache Beam
- Dask
- Ray
- Polars
- Pandas
- DuckDB

7. 大数据工程
- 分布式计算
- Hadoop 生态系统
- HDFS
- YARN
- MapReduce
- 数据分区
- 数据混洗
- 并行处理
- 分布式存储
- 大规模数据处理

8. 数据湖与湖仓架构
- 数据湖基础
- 湖仓一体
- 数据湖与数据仓库对比
- Amazon S3
- Azure Data Lake Storage
- Google Cloud Storage
- Apache Iceberg
- Delta Lake
- Apache Hudi
- Parquet
- Avro
- ORC

9. 工作流编排
- Apache Airflow
- Dagster
- Prefect
- Luigi
- Argo Workflows
- DAG 设计
- 任务调度
- 依赖管理
- 重试与恢复
- 工作流监控

10. 流处理与实时数据
- Apache Kafka
- Apache Flink
- Apache Pulsar
- RabbitMQ
- Amazon Kinesis
- Google Pub/Sub
- Azure Event Hubs
- 事件驱动架构
- 事件时间处理
- 窗口与水位线
- 模式注册表
- 精确一次处理概念

11. 现代数据转换
- dbt Core
- dbt Cloud
- SQL 转换
- 数据建模
- 可复用数据模型
- 增量模型
- 数据测试

本文由 AI 翻译自英文原帖,技术名词保留英文。

查看 X 原帖

订阅 AI Pulse

每天 08:00 · 12:30 · 18:30 · 23:50 更新