-
-
奈学课程顾问
-
大数据架构师 8期
授课时间：2021年4月29日
抢先预订名额
- +
已报名学员
- 2021-04-01
报名截止/开课时间
课程版本
课程简介/Course Introduction
- 深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技 术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打 造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项 目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线 架构和实时架构，带领大家构建PB级的大数据中台，真正落地“企业千亿级的数据仓库中台”，实现 “企业级数据中心平台”，搞定“企业千亿级广告统一数据流智能分析平台”，掌握“企业级Hadoop平 台全方位二次源码开发”，让学员面对企业各种海量复杂业务场景，给出优雅的大数据架构设计方 案，从而真正成为企业级大数据架构师!
适合人群/Suitable For People
-
1-5年大数据工作经验，想要
深挖大数据技术的工程师。 -
3-5年开发经验想寻找大数
据解决方案的Java工程师。 -
期望更好主导公司技术体系
的技术负责人。
职业发展前景/Career Development Prospects
-
岗位年薪对比
人才缺口
前沿技术
岗位拓展职位
师资团队/Faculty Team
肖秋平毕业于复旦大学
前巴分巴秒信息科技创始人&CEO， 前阿里巴巴架构师， 10+年大型世界500强外企和IT互联网工作经验，参与并负责日活百万级音乐交易、直播类移动APP的整体分布式架构设计，中台建设； 前阿吉豆IT副总裁 CIO ，负责AJIDOU阿吉豆全国800多家零售连锁门店企业信息化战略与规划，IT产品技术创新与组织管理。
李奡毕业于北京邮电大学
前电信公司部门大数据团队负责人，推动部门大数据中台能力建设，主导并参与多个大数据项目，擅长Hadoop,HBase,Hive等大数据技术，具有丰富的大数据研发和集群运维经验。多年电信行业从业经验。
李希沅毕业于河北工程大学
前转转公司大数据资深架构师，Hadoop平台负责人，带头研发了公司任务调度平台，即席查询平台等核心平台，曾任东方国信大数据架构师，大数据技术经理，负责《联通全流量查询平台》《联通IP溯源平台》等多个PB级数据知名项目，曾架构管理联通10000+台机器大数据集群，并为中国平安，中国移动等多家企业内训，有丰富的授课经验。
马中华毕业于湖北师范大学
前Oracle数据开发技术组负责人，动批网数据运营系统负责人，阿里云/腾讯云全球第一位认证金牌讲师，阿里云栖大会特邀演讲嘉宾，具备多年大数据技术研发和项目管理经验，精通Hadoop,Spark,Flink等大数据技术，在机器学习，自然语言处理方向有深入研究。有丰富的企业技术培训和技术讲座的实战经验，历史受训学员2000+。
肖秋平
李奡
李希沅
马中华
课程大纲/Syllabus
- 4
课程时长(月)
- 38
单元(个)
- 95
知识点(个)
第一阶段：分布式协调组件
| 第一单元 | 掌握ZooKeeper的核心设计 | 1. ZooKeeper生态体系结构 2. ZooKeeper总体架构设计 3. ZooKeeper读写请求流程深度剖析 |
| 第二单元 | 掌握ZooKeeper服务端源码流程 | 1. ZooKeeper启动流程源码深度剖析 2. Master选举算法源码深度剖析 3. 服务端通信模型源码深度剖析 |
| 第三单元 | 掌握ZooKeeper客户端源码流程 | 1. 客户端启动流程源码剖析 2. 客户端通信模型源码剖析 3. Session管理机制源码剖析 |
| 第四单元 | 掌握ZooKeeper企业应用 | 1. ZooKeeper写数据流程源码剖析 2. ZooKeeper企业级应用 3. ZooKeeper调优 |
第二阶段：大数据基础平台
| 第五单元 | 掌握HDFS的核心架构设计 | 1. HDFS架构优势 2. Hadoop RPC原理剖析 |
| 第六单元 | 掌握HDFS集群启动流程 | 1. NameNode启动流程源码剖析 2. NameNode核心服务启动源码深度剖析 3. DataNode启动流程源码深度剖析 4. DataNode注册流程源码深度剖析 5. DataNode心跳流程源码深度剖析 |
| 第七单元 | 掌握HDFS元数据管理流程 | 1. HDFS元数据管理流程源码深度剖析 2. HDFS支持亿级流量的秘密源码深度剖析 |
| 第八单元 | 掌握HDFS数据读写流程 | 1. HDFS写数据流程源码剖析源码深度剖析 2. HDFS读数据流程源码剖析源码深度剖析 |
| 第九单元 | 掌握MapReduce的核心架构设计 | 1. MapReduce核心架构设计 2. Map端源码深度剖析 |
| 第十单元 | 掌握MapReduce的核心源码流程 | 1. Shuffle源码深度剖析 2. Reducer端源码深度剖析 |
| 第十一单元 | 掌握YARN核心架构设计原理 | 1. YARN架构设计 2. YARN运行流程深度剖析 3. YARN核心组件源码深度剖析 |
第三阶段：分布式数据仓库
| 第十二单元 | 掌握Hive核心组件以及调优技巧 | 1. Hive运行流程深度剖析 2. Hive核心组件源码深度剖析 3. Hive企业级调优 |
第四阶段：分布式列式数据库
| 第十三单元 | 掌握HBase核心架构设计原理 | 1. HBase架构设计优势 2. HBase核心组件源码剖析 3. HBase企业级案例应用 |
第五阶段：分布式消息系统
| 第十四单元 | 掌握Kafka架构设计优势 | 1. Kafka架构设计优势 2. Kafka消费者源码深度剖析 |
| 第十五单元 | 掌握服务端源码核心设计 | 1. Kafka服务端源码之集群启动源码深度剖析 2. Kafka服务端源码之副本同步源码深度剖析 3. Kafka服务端源码之网络架构设计源码深度剖析 |
| 第十六单元 | 掌握Kafka企业级调优技巧 | 1. Kafka服务端源码之请求处理源码深度剖析 2. Kafka企业级调优 |
第六阶段：分布式日志采集系统
| 第十七单元 | 掌握Flume/Canal核心组件原理 | 1. Flume核心组件源码深度剖析 2. Canal核心原理深度剖析 |
第七阶段：快速通用的分布式计算引擎
| 第十八单元 | 掌握Spark内核任务执行流程 | 1. Spark核心架构原理 2. Spark任务执行流程深度剖析 3. SparkCore源码深度剖析 |
| 第十九单元 | 掌握Spark内核企业级调优 | 1. SparkCore源码深度剖析 2. SparkCore企业级调优 |
| 第二十单元 | 掌握SparkSQL核心组件原理 | 1. SparkSQL核心组件深度剖析 2. SparkSQL企业案例实践 |
| 第二十一单元 | 掌握SparkStreaming核心流程 | 1. SparkStreaming核心流程深度剖析 2. SparkStreaming核心组件源码剖析 3. SparkStreaming企业案例实践 |
| 第二十二单元 | 掌握Spark核心开发原理 | 1. Spark企业案例实践 |
第八阶段：新一代的分布式计算引擎
| 第二十三单元 | 掌握Flink核心运行流程 | 1.Flink核心流程深度剖析 2.Flink核心知识点梳理 3.Flink核心源码深度剖析 |
| 第二十四单元 | 掌握Flink核心源码流程 | 1.Flink核心源码深度剖析 |
| 第二十五单元 | 掌握Flink核心技术实践 | 1.Flink核心流程深度剖析 2.Flink企业案例实践 |
第九阶段：大数据全局架构设计
| 第二十六单元 | 掌握大数据全局架构设计思想 | 1.Lambda架构原理深度剖析 2.Kappa架构设计原理深度剖析 3.架构选型深度剖析 |
| 第二十七单元 | 掌握大数据中台落地实践方案 | 1.大数据中台原理深度剖析 2.大数据中台IaaS层落地 3.大数据中台PaaS层落地 |
| 第二十八单元 | 掌握大数据中台企业案例实践 | 1.大数据中台数据采集流程案例实践 2.大数据中台数据处理流程案例实践 3.大数据中台可视化层流程案例实践 |
第十阶段：企业级大型项目落地
| 第二十九单元 | 掌握千亿级数仓库架构设计 | 1.数仓分层设计 2.数仓维度建模设计 3.数仓事实表设计 4.数仓主题设计 5.数仓数据集市设计 |
| 第三十单元 | 掌握千亿级数仓库方案落地 | 1.数据采集案例实践 2.数仓落地案例实践 3.数据质量管理 |
| 第三十一单元 | 掌握企业级Hadoop平台源码二次开发 | 1.企业级Hadoop平台稳定性痛点剖析 2.企业级Hadoop平台稳定性提升 |
| 第三十二单元 | 掌握企业级Hadoop平台源码二次开发 | 1.企业级Hadoop平台稳定性痛点剖析 2.企业级Hadoop平台稳定性提升 |
| 第三十三单元 | 掌握PB级X2C电商用户画像系统架构设计 | 1.用户画像系统需求分析 2.用户画像系统指标统计 3.用户画像系统报表开发 |
| 第三十四单元 | 掌握PB级X3C电商用户画像系统方案实践 | 1.用户画像系统标签合并 |
| 第三十五单元 | 掌握千亿级广告统一数据流分析平台痛点方案设计 | 1.数据流分析平台需求分析 2.数据流分析系统架构方案设计 3.场景痛点深度剖析 |
| 第三十六单元 | 掌握千亿级广告统一数据流分析平台方案实践 | 1.数据流分析系统架构方案落地 |
| 第三十七单元 | 掌握企业级分布式内存对象缓存系统数据中心架构设计 | 1.高复用逻辑封装与高可用数据存取服务设计 2.多站点数据同步架构设计 3.数据中心数据缓存失效机制设计 |
| 第三十八单元 | 掌握企业级分布式内存对象缓存系统数据中心方案实践 | 1.企业级分布式内存对象缓存系统代码落地 |
实战课程案例/Practical Course Cases
-
电商
PB级大数据中台：汇聚企业大数据，打破数据孤岛，打造企业级的数据中台，升级普通的大数据平台，为企业赋能。
-
电商
千亿级数仓库架构设计：在日益激烈的商业竞争中，企业迫切需要更加准确的战略决策信息，提供战略决策信息需要大量的企业数据，需要建立高效，合理的数据仓库。
-
千亿级广告统一数据流分析平台：（头条项目案例）
为了实时统计广告效果数据，实时关联曝光和点击日志。需要开发一个广告实时数据处理平台，项目依托于Flink强大的实时处理能力，以Druid作为存储查询引擎，采用Lambda架构，构建了一套高性能，高可用性，高可扩展性的实时数据处理平台，支撑商业化广告效果数据的处理和计算。
课程学习安排/Curriculum Arrangement
学习时长：4个月
2021年4月29日 （3小时）
名师大V倾囊授课；班主任全程解答，辅导
学业，5A级专业服务；线上社群互动；线
下沙龙交流；促学习、优人脉。
直播大课为主，实时在线互动，老师实时解答；录播课程为辅，协助时间不足或希望反复学习同学；分享预习资料、课程PPT、笔记、源码等资料。
教学服务体系/Teaching Service System
- 课前
- 课中
- 课后
- 课程结业
- 终身学员服务
- · 学员能力评估，职业规划辅导
- · 1对1班主任贴心服务
· 课程视频录像长期有效
· 真实大项目实战，助教老师辅导 - · 期期作业测试，督促学习
- · 简历修改优惠，面试辅导
· 内推岗位 - · 定期线下交流，行业人脉拓展
· 新课程，学员大优惠
学员反馈/Student Feedback
课程收获/Lessons Learned
-
大数据技术生态源码阅读能力
- · 针对HDFS/MapReduce/Spark/Kafka/Flink等大数据核心技术，业内首次深入源码级别讲解，并全程画图辅助理解。
- · 直击核心技术，针对源码二次开发
- · 提升源码阅读能力
-
架构设计企业级数据中台能力
- · 打破数据孤岛，将数据用起来
- · 独立落地数据中台 Iass 层 / Pass 层
- · 基于数据中台打造企业级项目
-
架构设计千亿级数仓能力
- · 掌握数仓核心知识
- · 掌握企业级数仓建模方法论
- · 掌握数据治理
-
架构设计PB级大数据项目能力
- · 全面掌握数据采集、数据存储、数据处理等各环节
- · 掌握企业级离线开发/实时开发常用技术
- · 掌握大数据常见场景的架构设计方案
