数据工程新手项目 - 云服务 Astro、Databricks、S3
使用 Astro 托管的 Airflow、Databricks 与 Amazon S3 搭建云端数据工程练习环境,记录配置步骤、数据处理流程与问题排查。
分类
共 4 篇文章
使用 Astro 托管的 Airflow、Databricks 与 Amazon S3 搭建云端数据工程练习环境,记录配置步骤、数据处理流程与问题排查。
数据工程新手项目 - 流处理版本 - Kafka、RisingWave、Superset、Qwen3 练习记录
基于本地数据湖仓进行批处理入门项目的练习,使用 MinIO、PySpark、DuckDB、Airflow 和 Superset 完成数据处理与展示。
使用开源技术栈在本地搭建离线 Data Lakehouse 实验环境,记录从基础组件部署到湖仓连通性验证的过程。