课程目录

• 1

  第1章 概述

•   课时 1 视频1.1 数据 可试学
•   课时 2 视频1.2 数据分析过程 可试学
•   课时 3 视频1.3 数据采集与预处理的任务
•   课时 4 视频1.4_1 数据采集概念和三大要点
•   课时 5 视频1.4_2 数据采集的数据源
•   课时 6 视频1.4_3 数据采集方法
•   课时 7 视频1.5_1 数据清洗的应用领域和实现方式
•   课时 8 视频1.5_2 数据清洗的内容和注意事项
•   课时 9 视频1.5_3 数据清洗的基本流程和评价标准
•   课时 10 视频1.6 数据集成
•   课时 11 视频1.7 数据转换
•   课时 12 视频1.8 数据脱敏
• 2

  第2章 大数据实验环境搭建

•   课时 13 视频2.1_1 Python简介
•   课时 14 视频2.1_2 Python的安装和基本使用方法
•   课时 15 视频2.1_3 Python基础语法知识（一）
•   课时 16 视频2.1_4 Python基础语法知识（二）
•   课时 17 视频2.1_5 Python第三方模块的安装
•   课时 18 视频2.2 JDK的安装
•   课时 19 视频2.3_1 关系数据库
•   课时 20 视频2.3_2 关系数据库标准语言SQL
•   课时 21 视频2.3_3 安装MySQL
•   课时 22 视频2.3_4 MySQL数据库的使用方法
•   课时 23 视频2.3_5 使用Python操作MySQL数据库
•   课时 24 视频2.4_1 Hadoop简介
•   课时 25 视频2.4_2 分布式文件系统HDFS
•   课时 26 视频2.4_3 Hadoop的安装
•   课时 27 视频2.4_4 HDFS的基本使用方法
• 3

  第3章 网络数据采集

•   课时 28 视频3.1 网络爬虫概述
•   课时 29 视频3.2 网页基础知识
•   课时 30 视频3.3 用Python实现HTTP请求
•   课时 31 视频3.4 定制requests
•   课时 32 视频3.5_1 BeautifulSoup简介和四大对象
•   课时 33 视频3.5_2 遍历文档树
•   课时 34 视频3.5_3 搜索文档树
•   课时 35 视频3.5_4 CSS选择器
•   课时 36 视频3.6_1 采集网页数据保存到文本文件
•   课时 37 视频3.6_2 采集网页数据保存到MySQL数据库
•   课时 38 视频3.7_1 Scrapy爬虫概述
•   课时 39 视频3.7_2 XPath语言
•   课时 40 视频3.7_3 Scrapy爬虫实例
• 4

  第4章 分布式消息系统Kafka

•   课时 41 视频4.1 Kafka简介
•   课时 42 视频4.2 Kafka在大数据生态系统中的作用
•   课时 43 视频4.3 Kafka与Flume的区别与联系
•   课时 44 视频4.4 Kafka相关概念
•   课时 45 视频4.5 Kafka的安装和使用
•   课时 46 视频4.6 使用Python操作Kafka
•   课时 47 视频4.7 Kafka与MySQL的组合使用
• 5

  第5章 日志采集系统Flume

•   课时 48 视频5.1 Flume简介
•   课时 49 视频5.2Flume的安装和使用
•   课时 50 视频5.3 Flume和Kafka的组合使用
•   课时 51 视频5.4_1 采集目录到HDFS
•   课时 52 视频5.4_2 采集文件到HDFS
•   课时 53 视频5.5采集MySQL数据到HDFS
• 6

  第6章 数据仓库中的数据集成

•   课时 54 视频6.1 数据仓库概念
•   课时 55 视频6.2_1数据集成方式和数据分发方式
•   课时 56 视频6.2_2 数据集成技术
•   课时 57 视频6.3_1 ETL简介和基本模块
•   课时 58 视频6.3_2 ETL模式_batch
•   课时 59 视频6.3_3 ETL工具
•   课时 60 视频6.4_1 CDC的特性和组成
•   课时 61 视频6.4_2 CDC的具体应用场景以及需要考虑的问题
• 7

  第7章 ETL工具Kettle

•   课时 62 视频7.1 Kettle的基本概念
•   课时 63 视频7.2 Kettle的基本功能
•   课时 64 视频7.3 安装Kettle
•   课时 65 视频7.4_1 把文本文件导入到Excel文件中
•   课时 66 视频7.4_2 把文本文件导入MySQL数据库中
•   课时 67 视频7.4_3 把Excel文件导入到MySQL数据库中
•   课时 68 视频7.5_1 使用Kettle实现数据排序
•   课时 69 视频7.5_2 在Kettle中用正则表达式清洗数据
•   课时 70 视频7.5_3 使用Kettle去除缺失值
•   课时 71 视频7.5_4 使用Kettle转化MySQL数据库中的数据
•   课时 72 视频7.6_1把本地文件加载到HDFS中
•   课时 73 视频7.6_2把HDFS文件加载到MySQL数据库中
• 8

  第8章 使用pandas进行数据清洗

•   课时 74 视频8.1 NumPy的基本使用方法
•   课时 75 视频8.2_1Series
•   课时 76 视频8.2_2 DataFrame
•   课时 77 视频8.2_3索引对象
•   课时 78 视频8.3_1 基本功能(一)
•   课时 79 视频8.3_2 基本功能(二)
•   课时 80 视频8.3_3 基本功能(三)
•   课时 81 视频8.3_4 基本功能(四)
•   课时 82 视频8.4 汇总和描述统计
•   课时 83 视频8.5 处理缺失数据
•   课时 84 视频8.6_1 Matplotlib的使用方法
•   课时 85 视频8.6_2实例1：对一个数据集进行基本操作
•   课时 86 视频8.6_3实例2：百度搜索指数分析
•   课时 87 视频8.6_4实例3：电影评分数据分析

学习资料

暂无学习资料