大数据架构师 10期

授课时间：7月30日，周一周五，20点到23点

抢先预订名额

  • +

    已报名学员

  • 2021-06-09

    报名截止/开课时间

  • 课程版本

课程简介/Course Introduction

  • 深度剖析了各个基础技术的源码(ZooKeeper、Hive、Spark、Flink、Hadoop等)，对这些基础技 术知识动态的排列组合，形成大数据全局架构观，并深入讲述大数据全局架构设计的方方面面，打 造真正满足企业万亿级海量数据规模的数据中台，真正赋能前台业务。同时，在企业万亿级真实项 目落地环节，采用高性能、高可用、高扩展的架构设计原则，技术上更是融合了企业级主流的离线 架构和实时架构，带领大家构建PB级的大数据中台，真正落地“企业千亿级的数据仓库中台”，实现 “企业级数据中心平台”，搞定“企业千亿级广告统一数据流智能分析平台”，掌握“企业级Hadoop平 台全方位二次源码开发”，让学员面对企业各种海量复杂业务场景，给出优雅的大数据架构设计方 案，从而真正成为企业级大数据架构师!

适合人群/Suitable For People

  • 1-5年大数据工作经验，想要
    深挖大数据技术的工程师。

  • 3-5年开发经验想寻找大数
    据解决方案的Java工程师。

  • 期望更好主导公司技术体系
    的技术负责人。

职业发展前景/Career Development Prospects

  • 岗位年薪对比

  • 人才缺口

  • 前沿技术

  • 岗位拓展职位

师资团队/Faculty Team

肖秋平

肖秋平毕业于复旦大学

前巴分巴秒信息科技创始人&CEO， 前阿里巴巴架构师， 10+年大型世界500强外企和IT互联网工作经验，参与并负责日活百万级音乐交易、直播类移动APP的整体分布式架构设计，中台建设； 前阿吉豆IT副总裁 CIO ，负责AJIDOU阿吉豆全国800多家零售连锁门店企业信息化战略与规划，IT产品技术创新与组织管理。

李奡

李奡毕业于北京邮电大学

前电信公司部门大数据团队负责人，推动部门大数据中台能力建设，主导并参与多个大数据项目，擅长Hadoop,HBase,Hive等大数据技术，具有丰富的大数据研发和集群运维经验。多年电信行业从业经验。

李希沅

李希沅毕业于河北工程大学

前转转公司大数据资深架构师，Hadoop平台负责人，带头研发了公司任务调度平台，即席查询平台等核心平台，曾任东方国信大数据架构师，大数据技术经理，负责《联通全流量查询平台》《联通IP溯源平台》等多个PB级数据知名项目，曾架构管理联通10000+台机器大数据集群，并为中国平安，中国移动等多家企业内训，有丰富的授课经验。

马中华

马中华毕业于湖北师范大学

前Oracle数据开发技术组负责人，动批网数据运营系统负责人，阿里云/腾讯云全球第一位认证金牌讲师，阿里云栖大会特邀演讲嘉宾，具备多年大数据技术研发和项目管理经验，精通Hadoop,Spark,Flink等大数据技术，在机器学习，自然语言处理方向有深入研究。有丰富的企业技术培训和技术讲座的实战经验，历史受训学员2000+。

  • 肖秋平

    肖秋平

  • 李奡

    李奡

  • 李希沅

    李希沅

  • 马中华

    马中华

课程大纲/Syllabus

  • 4

    课程时长(月)

  • 38

    单元(个)

  • 95

    知识点(个)

第一阶段：分布式协调组件

第一单元 掌握ZooKeeper的核心设计 1. ZooKeeper生态体系结构
2. ZooKeeper总体架构设计
3. ZooKeeper读写请求流程深度剖析
第二单元 掌握ZooKeeper服务端源码流程 1. ZooKeeper启动流程源码深度剖析
2. Master选举算法源码深度剖析
3. 服务端通信模型源码深度剖析
第三单元 掌握ZooKeeper客户端源码流程 1. 客户端启动流程源码剖析
2. 客户端通信模型源码剖析
3. Session管理机制源码剖析
第四单元 掌握ZooKeeper企业应用 1. ZooKeeper写数据流程源码剖析
2. ZooKeeper企业级应用
3. ZooKeeper调优

第二阶段：大数据基础平台

第五单元 掌握HDFS的核心架构设计 1. HDFS架构优势
2. Hadoop RPC原理剖析
第六单元 掌握HDFS集群启动流程 1. NameNode启动流程源码剖析
2. NameNode核心服务启动源码深度剖析
3. DataNode启动流程源码深度剖析
4. DataNode注册流程源码深度剖析
5. DataNode心跳流程源码深度剖析
第七单元 掌握HDFS元数据管理流程 1. HDFS元数据管理流程源码深度剖析
2. HDFS支持亿级流量的秘密源码深度剖析
第八单元 掌握HDFS数据读写流程 1. HDFS写数据流程源码剖析源码深度剖析
2. HDFS读数据流程源码剖析源码深度剖析
第九单元 掌握MapReduce的核心架构设计 1. MapReduce核心架构设计
2. Map端源码深度剖析
第十单元 掌握MapReduce的核心源码流程 1. Shuffle源码深度剖析
2. Reducer端源码深度剖析
第十一单元 掌握YARN核心架构设计原理 1. YARN架构设计
2. YARN运行流程深度剖析
3. YARN核心组件源码深度剖析

第三阶段：分布式数据仓库

第十二单元 掌握Hive核心组件以及调优技巧 1. Hive运行流程深度剖析
2. Hive核心组件源码深度剖析
3. Hive企业级调优

第四阶段：分布式列式数据库

第十三单元 掌握HBase核心架构设计原理 1. HBase架构设计优势
2. HBase核心组件源码剖析
3. HBase企业级案例应用

第五阶段：分布式消息系统

第十四单元 掌握Kafka架构设计优势 1. Kafka架构设计优势
2. Kafka消费者源码深度剖析
第十五单元 掌握服务端源码核心设计 1. Kafka服务端源码之集群启动源码深度剖析
2. Kafka服务端源码之副本同步源码深度剖析
3. Kafka服务端源码之网络架构设计源码深度剖析
第十六单元 掌握Kafka企业级调优技巧 1. Kafka服务端源码之请求处理源码深度剖析
2. Kafka企业级调优

第六阶段：分布式日志采集系统

第十七单元 掌握Flume/Canal核心组件原理 1. Flume核心组件源码深度剖析
2. Canal核心原理深度剖析

第七阶段：快速通用的分布式计算引擎

第十八单元 掌握Spark内核任务执行流程 1. Spark核心架构原理
2. Spark任务执行流程深度剖析
3. SparkCore源码深度剖析
第十九单元 掌握Spark内核企业级调优 1. SparkCore源码深度剖析
2. SparkCore企业级调优
第二十单元 掌握SparkSQL核心组件原理 1. SparkSQL核心组件深度剖析
2. SparkSQL企业案例实践
第二十一单元 掌握SparkStreaming核心流程 1. SparkStreaming核心流程深度剖析
2. SparkStreaming核心组件源码剖析
3. SparkStreaming企业案例实践
第二十二单元 掌握Spark核心开发原理 1. Spark企业案例实践

第八阶段：新一代的分布式计算引擎

第二十三单元 掌握Flink核心运行流程 1.Flink核心流程深度剖析
2.Flink核心知识点梳理
3.Flink核心源码深度剖析
第二十四单元 掌握Flink核心源码流程 1.Flink核心源码深度剖析
第二十五单元 掌握Flink核心技术实践 1.Flink核心流程深度剖析
2.Flink企业案例实践

第九阶段：大数据全局架构设计

第二十六单元 掌握大数据全局架构设计思想 1.Lambda架构原理深度剖析
2.Kappa架构设计原理深度剖析
3.架构选型深度剖析
第二十七单元 掌握大数据中台落地实践方案 1.大数据中台原理深度剖析
2.大数据中台IaaS层落地
3.大数据中台PaaS层落地
第二十八单元 掌握大数据中台企业案例实践 1.大数据中台数据采集流程案例实践
2.大数据中台数据处理流程案例实践
3.大数据中台可视化层流程案例实践

第十阶段：企业级大型项目落地

第二十九单元 掌握千亿级数仓库架构设计 1.数仓分层设计
2.数仓维度建模设计
3.数仓事实表设计
4.数仓主题设计
5.数仓数据集市设计
第三十单元 掌握千亿级数仓库方案落地 1.数据采集案例实践
2.数仓落地案例实践
3.数据质量管理
第三十一单元 掌握企业级Hadoop平台源码二次开发 1.企业级Hadoop平台稳定性痛点剖析
2.企业级Hadoop平台稳定性提升
第三十二单元 掌握企业级Hadoop平台源码二次开发 1.企业级Hadoop平台稳定性痛点剖析
2.企业级Hadoop平台稳定性提升
第三十三单元 掌握PB级X2C电商用户画像系统架构设计 1.用户画像系统需求分析
2.用户画像系统指标统计
3.用户画像系统报表开发
第三十四单元 掌握PB级X3C电商用户画像系统方案实践 1.用户画像系统标签合并
第三十五单元 掌握千亿级广告统一数据流分析平台痛点方案设计 1.数据流分析平台需求分析
2.数据流分析系统架构方案设计
3.场景痛点深度剖析
第三十六单元 掌握千亿级广告统一数据流分析平台方案实践 1.数据流分析系统架构方案落地
第三十七单元 掌握企业级分布式内存对象缓存系统数据中心架构设计 1.高复用逻辑封装与高可用数据存取服务设计
2.多站点数据同步架构设计
3.数据中心数据缓存失效机制设计
第三十八单元 掌握企业级分布式内存对象缓存系统数据中心方案实践 1.企业级分布式内存对象缓存系统代码落地

实战课程案例/Practical Course Cases

  • 电商

  • 电商

    PB级大数据中台：汇聚企业大数据，打破数据孤岛，打造企业级的数据中台，升级普通的大数据平台，为企业赋能。

    立即咨询

  • 电商

  • 电商

    千亿级数仓库架构设计：在日益激烈的商业竞争中，企业迫切需要更加准确的战略决策信息，提供战略决策信息需要大量的企业数据，需要建立高效，合理的数据仓库。

    立即咨询

  • 千亿级广告统一数据流分析平台：（头条项目案例）

  • 千亿级广告统一数据流分析平台：（头条项目案例）

    为了实时统计广告效果数据，实时关联曝光和点击日志。需要开发一个广告实时数据处理平台，项目依托于Flink强大的实时处理能力，以Druid作为存储查询引擎，采用Lambda架构，构建了一套高性能，高可用性，高可扩展性的实时数据处理平台，支撑商业化广告效果数据的处理和计算。

    立即咨询

课程学习安排/Curriculum Arrangement

学习时长：4个月
7月30日，周一周五，20点到23点（3小时）

名师大V倾囊授课；班主任全程解答，辅导
学业，5A级专业服务；线上社群互动；线
下沙龙交流；促学习、优人脉。

直播大课为主，实时在线互动，老师实时解答；录播课程为辅，协助时间不足或希望反复学习同学；分享预习资料、课程PPT、笔记、源码等资料。

教学服务体系/Teaching Service System

  • 课前
  • 课中
  • 课后
  • 课程结业
  • 终身学员服务
  • · 学员能力评估，职业规划辅导
  • · 1对1班主任贴心服务
    · 课程视频录像长期有效
    · 真实大项目实战，助教老师辅导
  • · 期期作业测试，督促学习
  • · 简历修改优惠，面试辅导
    · 内推岗位
  • · 定期线下交流，行业人脉拓展
    · 新课程，学员大优惠

学员反馈/Student Feedback

课程收获/Lessons Learned

  • 大数据技术生态源码阅读能力

    1. · 针对HDFS/MapReduce/Spark/Kafka/Flink等大数据核心技术，业内首次深入源码级别讲解，并全程画图辅助理解。
    2. · 直击核心技术，针对源码二次开发
    3. · 提升源码阅读能力

  • 架构设计企业级数据中台能力

    1. · 打破数据孤岛，将数据用起来
    2. · 独立落地数据中台 Iass 层 / Pass 层
    3. · 基于数据中台打造企业级项目

  • 架构设计千亿级数仓能力

    1. · 掌握数仓核心知识
    2. · 掌握企业级数仓建模方法论
    3. · 掌握数据治理

  • 架构设计PB级大数据项目能力

    1. · 全面掌握数据采集、数据存储、数据处理等各环节
    2. · 掌握企业级离线开发/实时开发常用技术
    3. · 掌握大数据常见场景的架构设计方案

大数据架构师：权威系统课

学习时长：4个月   课程单元：38个   精讲知识点：95个

报名价格：¥18999

剩余优惠名额：0

预约试听

· 分期购买：全程无压力      · 试听不满：全额退款（前2次课）     · 报名优惠：每期前50名报名优惠1000元