AI 人工智能學院
AI 資料工程師班
20 週資料工程訓練營。把雜亂的原始資料變成可信、可重現、可被模型直接使用的資料資產 —— 這是每個 AI 系統真正的地基。
課程亮點
- 從批次到串流，從資料倉儲到向量庫，一條鏈路講透
- 資料品質與血緣貫穿全程：管線不是跑通就算完，是要能被信任
- AI 場景專屬模組：文件解析、切分與嵌入，直接對接 RAG 系統
課程大綱
- 模組一 · 資料工程基礎：批次與串流的取捨、SQL 進階、資料建模入門
- 模組二 · 管線與編排：ETL / ELT、Airflow 排程、相依與重跑、冪等設計
- 模組三 · 資料倉儲與湖倉：維度建模、分層與分區、dbt 轉換與測試
- 模組四 · 串流資料：Kafka、增量同步與 CDC、遲到資料與視窗
- 模組五 · 大規模處理：Spark、分區與傾斜、查詢與成本優化
- 模組六 · AI 資料準備：文件解析與清洗、切分策略、嵌入生成與向量庫寫入
- 模組七 · 檢索與特徵服務：向量檢索調優、特徵儲存、離線與線上一致性
- 模組八 · 資料品質與治理：校驗規則、血緣追蹤、監控告警與 SLA
- 模組九 · 雲端部署與成本：容器化、雲端資料倉儲、儲存分層與成本治理
- 模組十 · 專案實戰：搭一條端到端的 AI 資料管線並交付 Demo
核心技術棧
語言
Python
SQL
Bash
編排與轉換
Airflow
dbt
Dagster
儲存與倉儲
PostgreSQL
Snowflake
BigQuery
S3 / 对象存储
串流與計算
Kafka
Spark
CDC
AI 資料
Embeddings
pgvector
文档解析
RAG 数据链路
雲端與交付
Docker
AWS
CI/CD
监控告警