spark SQL核心内核大数据离线统计开发
课程详情
课程标题
Spark SQL核心内核大数据离线统计开发
适合人群
- 想入行大数据离线开发
- 数仓工程师
- 量化分析师
- 数据分析师
- 毕业设计需要大数据数仓项目
- 做业务开发，需要处理海量日志、交易数据
- 自学离线批量计算
你将会学到
- Spark SQL 架构体系：Catalyst 优化器、Tungsten 内存管理、执行计划生成逻辑
- DataFrame/Dataset/RDD 三者底层差异、互相转换实操
- 逻辑计划、物理计划解析，谓词下推、列裁剪、常量折叠核心优化机制
- Spark SQL 执行树查看、Explain 执行计划分析调优手段
- Spark SQL 标准 SQL 语法
- 复杂业务指标统计
课程简介
本课程针对大数据行业离线数仓岗位需求，深入讲解Spark SQL底层内核，帮助学员掌握亿级数据离线统计全流程开发，打通大数据与金融量化建模的数据链路，提升求职竞争力与线上问题处理能力。
课程特点
- 原理 + 业务双主线：深入拆解底层内核，做到知其然更知其所以然
- 独家金融量化融合案例：结合Spark离线统计和量化因子开发，演示批量生成股p估值、动量因子
- 企业真实线上调优方案：采用真实集群场景，落地数据倾斜、小文件、大表Join全套解决方案
- 双语种全覆盖：提供Python、Scala两套实操代码，适配数据分析、大数据开发两类人群
- 完整工程化闭环：从数据分层开发、任务编码、定时调度到数据校验、监控上线一站式教学
主体大纲 & 设计思路
课程分为五大模块，遵循「内核原理→语法开发→存储交互→性能调优→行业综合项目」递进式逻辑框架，循序渐进搭建完整离线大数据知识体系。
授课风格
讲师具备华为认证讲师、微软 MVP、Oracle 认证专家资质，授课摒弃晦涩学术话术，用通俗类比拆解复杂底层原理，案例全部来自真实企业业务，讲解过程同步拆解面试高频考点。
配套福利
- 全套课程配套课件、完整可运行 Python/Scala 源码
- 分阶段课后练习题 + 亿级模拟数据集
- 独家 Spark SQL 执行计划分析速查表、线上调优参数配置手册
- 金融量化离线因子开发完整项目源码与回测配套脚本
课程目录
01 OLAP 01 2.OLAP介绍.mp4 02 3.数据类型.mp4 03 4.SQL作业.mp4 04 5.MergeTree表引擎.mp4 05 6.MergeTree目录结构.mp4 06 7.MergeTree的一级索引.mp4 07 8.布置作业.mp4 08 8.需求1-会话切割.mp4 09 9.ReplacingMergeTree.mp4 10 9.需求1-需求描述.mp4 02 spark项目 01 1.生成模拟测试数据.mp4 02 2.spark环境问题.mp4 03 3.加载数据到ODS层.mp4 04 4.SQL题目.mp4 05 5.需求1-需求描述.mp4 06 6.需求1-需求描述.mp4 07 7.需求1-数据清洗.mp4 08 8.需求1-会话切割.mp4 09 9.需求1-需求描述.mp4 10 10.需求1-动态分区.mp4 11 11.需求1-高德接口调用.mp4 12 12.需求1-地理位置数据解析.mp4 13 13.需求1-解析经纬度.mp4 14 14.需求1-地理位置基础信息表.mp4 15 15.需求1-GeoHash介绍.mp4 16 16.需求1-梳理逻辑.mp4 17 17.需求1-自连接查询省市.mp4 18 18.需求1-计算geohash的值.mp4 19 19.需求1-生成geohash的值.mp4 20 20.需求1-计算省市区.mp4 21 21.需求1-优化经纬度解析.mp4 22 22.需求1-复习累加器.mp4 23 23.需求1-自定义累加器需求.mp4 24 24.需求1-完善经纬度解析需求.mp4 25 25.需求1-完善经纬度解析需求.mp4 26 26.回顾.mp4 27 27.复习.mp4 28 28.复习.mp4 29 29.项目回顾.mp4 03 项目流程分析 01 30.调用ai大模型.mp4 02 31.用户活跃度分析.mp4 03 32.连续活跃区间表.mp4 04 33.连续活跃区间表应用.mp4 05 34.保证数据的正确性.mp4 06 35.连续活跃区间表开发.mp4 07 36.连续活跃区间表开发测试.mp4 08 37.dolphinscheduler部署项目.mp4 09 38.dolphin测试.mp4 04 项目数据分析 01 39.流量多维分析.mp4 02 40.流量多维分析难点分析.mp4 03 41.开发会话聚合表.mp4 04 42.流量会话报表开发.mp4 05 43.withcube多维开发.mp4 06 43.用户新增主题分析.mp4 07 44.用户留存率指标分析.mp4 08 45.留存率开发逻辑.mp4 09 46.留存率相关表设计.mp4 10 47.三日留存.mp4 11 48.留存率指标开发.mp4 12 49.简单漏斗开发.mp4 13 50.漏斗开发问题.mp4 14 51.漏斗dws层开发.mp4 15 52.漏斗开发回顾.mp4 16 53.漏洞开发dws层.mp4 17 54.漏洞报表应用层开发.mp4 18 55.动态漏斗需求描述.mp4 05 大数据项目分析 01 56.动态SQL开发逻辑.mp4 02 57.归因事件分析.mp4 03 58.归因事件指标分析.mp4 04 59.归因分析指标开发.mp4 05 60.归因分析指标开发.mp4 06 61.归因分析flatMap.mp4 07 62.数数科技数据看板.mp4 08 63.用户留存数据看板接口开发.mp4 09 64.接口代码生成.mp4 10 65.业务域数据开发思路.mp4 11 66.用户画像.mp4 12 67.项目总结.mp4
