AI 人工智能学院
AI 数据工程师班
20 周数据工程训练营。把混乱数据整理成模型真正用得上的可靠资产，让你从会写查询，进阶到能搭建支撑 AI 产品的数据底座。
课程亮点
- 从批处理到流式，从数仓到向量库，一条链路讲透
- 数据质量与血缘贯穿全程：管道不是跑通就算完，是要能被信任
- AI 场景专属模块：文档解析、切分与嵌入，直接对接 RAG 系统
课程大纲
- 模块一 · 数据工程基础：批处理与流处理的取舍、SQL 进阶、数据建模入门
- 模块二 · 管道与编排：ETL / ELT、Airflow 调度、依赖与重跑、幂等设计
- 模块三 · 数据仓库与湖仓：维度建模、分层与分区、dbt 转换与测试
- 模块四 · 流式数据：Kafka、增量同步与 CDC、迟到数据与窗口
- 模块五 · 大规模处理：Spark、分区与倾斜、查询与成本优化
- 模块六 · AI 数据准备：文档解析与清洗、切分策略、嵌入生成与向量库写入
- 模块七 · 检索与特征服务：向量检索调优、特征存储、离线与在线一致性
- 模块八 · 数据质量与治理：校验规则、血缘追踪、监控告警与 SLA
- 模块九 · 云上部署与成本：容器化、云数仓、存储分层与成本治理
- 模块十 · 项目实战：搭一条端到端的 AI 数据管道并交付 Demo
核心技术栈
语言
Python
SQL
Bash
编排与转换
Airflow
dbt
Dagster
存储与仓库
PostgreSQL
Snowflake
BigQuery
S3 / 对象存储
流式与计算
Kafka
Spark
CDC
AI 数据
Embeddings
pgvector
文档解析
RAG 数据链路
云与交付
Docker
AWS
CI/CD
监控告警