课程目录

• 1

  初识Hadoop

•   课时 1 1.1 Hadoop概述 可试学
•   课时 2 1.2 Hadoop核心组件 可试学
•   课时 3 1.4 Hadoop的应用场景
• 2

  Hadoop的安装与配置

•   课时 4 2.1 Hadoop的三种安装方式
•   课时 5 2.2.1 安装前的准备工作
•   课时 6 2.2.2 安装与配置
•   课时 7 2.2.3 启动与停止Hadoop
•   课时 8 2.3.1 Hadoop集群规划
•   课时 9 2.3.3 安装与配置
•   课时 10 2.3.5 集群节点的添加与删除
• 3

  高可用与联邦

•   课时 11 3.1 高可用概述
•   课时 12 3.2.1 HDFS高可用的运行流程
•   课时 13 3.2.2 HDFS高可用的环境搭建
•   课时 14 3.3 YARN高可用
•   课时 15 3.4 联邦
• 4

  分布式文件系统HDFS

•   课时 16 4.1 HDFS概述
•   课时 17 4.2 HDFS的基本概念
•   课时 18 4.3 HDFS的数据读写流程
•   课时 19 4.4 HDFS元数据管理机制
•   课时 20 4.5.1 文件系统常用操作命令
•   课时 21 4.5.2 常用管理命令 dfsadmin
•   课时 22 4.6 搭建开发环境
•   课时 23 4.7.1 HDFS文件系统操作涉及的类
•   课时 24 4.7.2 RPC的原理及应用
• 5

  集群资源管理系统YARN

•   课时 25 5.1 YARN的产生背景
•   课时 26 5.2 YARN在共享集群模式中的应用
•   课时 27 5.3.1 YARN的基本架构
•   课时 28 5.3.2 ResourceManager HA
•   课时 29 5.4 YARN的工作流程
•   课时 30 5.5.1 调度选项
•   课时 31 5.5.2 FIFO Scheduler
•   课时 32 5.5.3 Capacity Scheduler
•   课时 33 5.5.4 Fair Scheduler
• 6

  分布式计算框架MapReduce

•   课时 34 6.1 MapReduce概述
•   课时 35 6.2.1 处理过程概述
•   课时 36 6.2.2 MapReduce入门案例
•   课时 37 6.2.3 shuffle概述
•   课时 38 6.2.4 YARN对MapReduce的资源调度
•   课时 39 6.3.1 Combiner
•   课时 40 6.3.3 MapReduce输入的处理类
•   课时 41 6.4.1 数据清洗
•   课时 42 6.4.2 统计冠军数量并存储
•   课时 43 6.4.3 使用自定义OutputFormat来实现多文件存储
•   课时 44 6.4.4 去除部分历史数据并存储
• 7

  Hadoop的I/O操作

•   课时 45 7.1 I/O操作中的数据完整性检查
•   课时 46 7.2 I/O操作中的数据压缩
•   课时 47 7.3 Hadoop I/O序列化接口
•   课时 48 7.4 自定义序列化类
•   课时 49 7.5 基于文件的数据结构
• 8

  Hadoop 3.x的新特性

•   课时 50 8.1 Hadoop 3.x概述
•   课时 51 8.2.1 JDK升级和EC技术
•   课时 52 8.2.3 YARN优化
•   课时 53 8.2.4 支持多NameNode
•   课时 54 8.2.5 DataNode内部负载均衡
•   课时 55 8.2.6 端口号的改变
•   课时 56 8.3 Hadoop 3.x其他的新特性
• 9

  Hadoop商业发行版

•   课时 57 9.1 Hadoop集群管理的挑战
•   课时 58 9.2 CDH概述
•   课时 59 9.3.1 Cloudera Manager的架构
•   课时 60 9.3.2 Cloudera Manager中的基本概念
•   课时 61 9.4.1 集群部署规划
•   课时 62 9.4.2 安装前的准备工作
•   课时 63 9.4.3 前置软件安装
•   课时 64 9.4.4 Cloudera Manager安装与配置
•   课时 65 9.4.5 CDH部署
•   课时 66 9.4.6 Cloudera Manager搭建Hadoop集群
•   课时 67 9.4.7 启用HDFS HA和YARN HA
•   课时 68 9.5.1 Cloudera Manager的基本核心功能
•   课时 69 9.5.2 Cloudera Manager的高级功能
•   课时 70 9.6 Hadoop其他商业发行版介绍
• 10

  Hadoop实战案例

•   课时 71 10.1 项目背景
•   课时 72 10.2.1 Apache Avro概述
•   课时 73 10.2.2 Schema
•   课时 74 10.2.3 Avro序列化与反序列化案例
•   课时 75 10.3.1 需求概述
•   课时 76 10.3.4 功能实现
•   课时 77 10.4.1 需求概述
•   课时 78 10.4.4 功能实现
•   课时 79 10.5.1 需求描述
•   课时 80 10.5.4 功能实现

学习资料

暂无学习资料