奈学课程顾问
课程简介/Course Introduction
适合人群/Suitable For People
1-5年大数据工作经验,想要
深挖大数据技术的工程师。
3-5年开发经验想寻找大数
据解决方案的Java工程师。
期望更好主导公司技术体系
的技术负责人。
职业发展前景/Career Development Prospects
岗位年薪对比
人才缺口
前沿技术
岗位拓展职位
师资团队/Faculty Team
肖秋平毕业于复旦大学
前巴分巴秒信息科技创始人&CEO, 前阿里巴巴架构师, 10+年大型世界500强外企和IT互联网工作经验,参与并负责日活百万级音乐交易、直播类移动APP的整体分布式架构设计,中台建设; 前阿吉豆IT副总裁 CIO ,负责AJIDOU阿吉豆全国800多家零售连锁门店企业信息化战略与规划,IT产品技术创新与组织管理。
李奡毕业于北京邮电大学
前电信公司部门大数据团队负责人,推动部门大数据中台能力建设,主导并参与多个大数据项目,擅长Hadoop,HBase,Hive等大数据技术,具有丰富的大数据研发和集群运维经验。多年电信行业从业经验。
李希沅毕业于河北工程大学
前转转公司大数据资深架构师,Hadoop平台负责人,带头研发了公司任务调度平台,即席查询平台等核心平台,曾任东方国信大数据架构师,大数据技术经理,负责《联通全流量查询平台》《联通IP溯源平台》等多个PB级数据知名项目,曾架构管理联通10000+台机器大数据集群,并为中国平安,中国移动等多家企业内训,有丰富的授课经验。
马中华毕业于湖北师范大学
前Oracle数据开发技术组负责人,动批网数据运营系统负责人,阿里云/腾讯云全球第一位认证金牌讲师,阿里云栖大会特邀演讲嘉宾,具备多年大数据技术研发和项目管理经验,精通Hadoop,Spark,Flink等大数据技术,在机器学习,自然语言处理方向有深入研究。有丰富的企业技术培训和技术讲座的实战经验,历史受训学员2000+。
肖秋平
李奡
李希沅
马中华
课程大纲/Syllabus
课程时长(月)
单元(个)
知识点(个)
第一阶段:分布式协调组件
第一单元 | 掌握ZooKeeper的核心设计 | 1. ZooKeeper生态体系结构 2. ZooKeeper总体架构设计 3. ZooKeeper读写请求流程深度剖析 |
第二单元 | 掌握ZooKeeper服务端源码流程 | 1. ZooKeeper启动流程源码深度剖析 2. Master选举算法源码深度剖析 3. 服务端通信模型源码深度剖析 |
第三单元 | 掌握ZooKeeper客户端源码流程 | 1. 客户端启动流程源码剖析 2. 客户端通信模型源码剖析 3. Session管理机制源码剖析 |
第四单元 | 掌握ZooKeeper企业应用 | 1. ZooKeeper写数据流程源码剖析 2. ZooKeeper企业级应用 3. ZooKeeper调优 |
第二阶段:大数据基础平台
第五单元 | 掌握HDFS的核心架构设计 | 1. HDFS架构优势 2. Hadoop RPC原理剖析 |
第六单元 | 掌握HDFS集群启动流程 | 1. NameNode启动流程源码剖析 2. NameNode核心服务启动源码深度剖析 3. DataNode启动流程源码深度剖析 4. DataNode注册流程源码深度剖析 5. DataNode心跳流程源码深度剖析 |
第七单元 | 掌握HDFS元数据管理流程 | 1. HDFS元数据管理流程源码深度剖析 2. HDFS支持亿级流量的秘密源码深度剖析 |
第八单元 | 掌握HDFS数据读写流程 | 1. HDFS写数据流程源码剖析源码深度剖析 2. HDFS读数据流程源码剖析源码深度剖析 |
第九单元 | 掌握MapReduce的核心架构设计 | 1. MapReduce核心架构设计 2. Map端源码深度剖析 |
第十单元 | 掌握MapReduce的核心源码流程 | 1. Shuffle源码深度剖析 2. Reducer端源码深度剖析 |
第十一单元 | 掌握YARN核心架构设计原理 | 1. YARN架构设计 2. YARN运行流程深度剖析 3. YARN核心组件源码深度剖析 |
第三阶段:分布式数据仓库
第十二单元 | 掌握Hive核心组件以及调优技巧 | 1. Hive运行流程深度剖析 2. Hive核心组件源码深度剖析 3. Hive企业级调优 |
第四阶段:分布式列式数据库
第十三单元 | 掌握HBase核心架构设计原理 | 1. HBase架构设计优势 2. HBase核心组件源码剖析 3. HBase企业级案例应用 |
第五阶段:分布式消息系统
第十四单元 | 掌握Kafka架构设计优势 | 1. Kafka架构设计优势 2. Kafka消费者源码深度剖析 |
第十五单元 | 掌握服务端源码核心设计 | 1. Kafka服务端源码之集群启动源码深度剖析 2. Kafka服务端源码之副本同步源码深度剖析 3. Kafka服务端源码之网络架构设计源码深度剖析 |
第十六单元 | 掌握Kafka企业级调优技巧 | 1. Kafka服务端源码之请求处理源码深度剖析 2. Kafka企业级调优 |
第六阶段:分布式日志采集系统
第十七单元 | 掌握Flume/Canal核心组件原理 | 1. Flume核心组件源码深度剖析 2. Canal核心原理深度剖析 |
第七阶段:快速通用的分布式计算引擎
第十八单元 | 掌握Spark内核任务执行流程 | 1. Spark核心架构原理 2. Spark任务执行流程深度剖析 3. SparkCore源码深度剖析 |
第十九单元 | 掌握Spark内核企业级调优 | 1. SparkCore源码深度剖析 2. SparkCore企业级调优 |
第二十单元 | 掌握SparkSQL核心组件原理 | 1. SparkSQL核心组件深度剖析 2. SparkSQL企业案例实践 |
第二十一单元 | 掌握SparkStreaming核心流程 | 1. SparkStreaming核心流程深度剖析 2. SparkStreaming核心组件源码剖析 3. SparkStreaming企业案例实践 |
第二十二单元 | 掌握Spark核心开发原理 | 1. Spark企业案例实践 |
第八阶段:新一代的分布式计算引擎
第二十三单元 | 掌握Flink核心运行流程 | 1.Flink核心流程深度剖析 2.Flink核心知识点梳理 3.Flink核心源码深度剖析 |
第二十四单元 | 掌握Flink核心源码流程 | 1.Flink核心源码深度剖析 |
第二十五单元 | 掌握Flink核心技术实践 | 1.Flink核心流程深度剖析 2.Flink企业案例实践 |
第九阶段:大数据全局架构设计
第二十六单元 | 掌握大数据全局架构设计思想 | 1.Lambda架构原理深度剖析 2.Kappa架构设计原理深度剖析 3.架构选型深度剖析 |
第二十七单元 | 掌握大数据中台落地实践方案 | 1.大数据中台原理深度剖析 2.大数据中台IaaS层落地 3.大数据中台PaaS层落地 |
第二十八单元 | 掌握大数据中台企业案例实践 | 1.大数据中台数据采集流程案例实践 2.大数据中台数据处理流程案例实践 3.大数据中台可视化层流程案例实践 |
第十阶段:企业级大型项目落地
第二十九单元 | 掌握千亿级数仓库架构设计 | 1.数仓分层设计 2.数仓维度建模设计 3.数仓事实表设计 4.数仓主题设计 5.数仓数据集市设计 |
第三十单元 | 掌握千亿级数仓库方案落地 | 1.数据采集案例实践 2.数仓落地案例实践 3.数据质量管理 |
第三十一单元 | 掌握企业级Hadoop平台源码二次开发 | 1.企业级Hadoop平台稳定性痛点剖析 2.企业级Hadoop平台稳定性提升 |
第三十二单元 | 掌握企业级Hadoop平台源码二次开发 | 1.企业级Hadoop平台稳定性痛点剖析 2.企业级Hadoop平台稳定性提升 |
第三十三单元 | 掌握PB级X2C电商用户画像系统架构设计 | 1.用户画像系统需求分析 2.用户画像系统指标统计 3.用户画像系统报表开发 |
第三十四单元 | 掌握PB级X3C电商用户画像系统方案实践 | 1.用户画像系统标签合并 |
第三十五单元 | 掌握千亿级广告统一数据流分析平台痛点方案设计 | 1.数据流分析平台需求分析 2.数据流分析系统架构方案设计 3.场景痛点深度剖析 |
第三十六单元 | 掌握千亿级广告统一数据流分析平台方案实践 | 1.数据流分析系统架构方案落地 |
第三十七单元 | 掌握企业级分布式内存对象缓存系统数据中心架构设计 | 1.高复用逻辑封装与高可用数据存取服务设计 2.多站点数据同步架构设计 3.数据中心数据缓存失效机制设计 |
第三十八单元 | 掌握企业级分布式内存对象缓存系统数据中心方案实践 | 1.企业级分布式内存对象缓存系统代码落地 |
实战课程案例/Practical Course Cases
课程学习安排/Curriculum Arrangement
学习时长:4个月
1月28日晚上20:00(3小时)
名师大V倾囊授课;班主任全程解答,辅导
学业,5A级专业服务;线上社群互动;线
下沙龙交流;促学习、优人脉。
直播大课为主,实时在线互动,老师实时解答;录播课程为辅,协助时间不足或希望反复学习同学;分享预习资料、课程PPT、笔记、源码等资料。
教学服务体系/Teaching Service System
学员反馈/Student Feedback
课程收获/Lessons Learned
大数据技术生态源码阅读能力
架构设计企业级数据中台能力
架构设计千亿级数仓能力
架构设计PB级大数据项目能力