MHuiG

「看庭前花开花落,望天上云卷云舒」

大数据处理技术

# 大数据处理技术

## day01 大数据集群环境准备 & zookeeper 的介绍以及集群环境搭建

### 三台虚拟机创建并联网

### 大数据集群环境准备

### 分布式集群

### zookeeper 的介绍以及集群环境搭建

## day02 大数据发展简史及环境安装

### hadoop 的介绍以及发展历史

### hadoop 的历史版本介绍

### 三大公司发行版本介绍

### hadoop 的架构模型（1.x，2.x 的各种架构模型介绍）

### apache hadoop 三种架构介绍（standAlone)

### apache hadoop 三种架构介绍（伪分布介绍以及安装）

### apache hadoop 三种架构介绍（高可用分布式环境介绍以及安装）

## day03Hadoop 集群初体验 & HDFS 的命令行使用

### hadoop 集群初体验

### HDFS 入门介绍

### HDFS 的命令行使用

### CDH 伪分布式环境搭建

## day04 分布式文件系统 HDF

### 分布式文件系统详细介绍

### HDFS 分布式文件系统设计目标

### HDFS 的来源

### HDFS 的架构图之基础架构

### hdfs 的架构之文件的文件副本机制

### HDFS 的元数据信息 FSimage 以及 edits 和 secondaryNN 的作用

### HDFS 的文件写入过程

### HDFS 的文件读取过程

### HDFS 的 JavaAPI 操作

## day05MapReduce 编程模型 - WordCount 实例分析

### 理解 MapReduce 思想

### HadoopMapReduce 设计构思

### MapReduce 框架结构

### MapReduce 编程规范及示例编写

### WordCount 示例编写本地模式

### MapReduce 编程模型 - WordCount 实例分析

## day06MapReduce 的运行机制

### MapReduce 的分区与 reduceTask 的数量

### MapTask 运行机制详解以及 Map 任务的并行度

### ReduceTask 工作机制以及 reduceTask 的并行度

### MapReduceshuffle 过程

### 索引建立

## day07Yarn 资源调度及 Hive 初步

### Hive 基本概念

### Hive 的安装部署

### Hive 基本操作之创建数据库

### 创建数据库表

### hive 语句综合练习

### Yarn 资源调度

### 关于 yarn 常用参数设置

## day08Flume 数据采集

### Flume 介绍

### Flume 的安装部署

### 采集案例监控目录变化

### 采集案例监控文件的变化

### 两个 agent 级联

### 更多 source 和 sink 组件

### 高可用 Flume

### flume 的负载均衡 loadbalancer

## day09 消息队列 Kafka

### kafka 的介绍

### kafka 的安装

### kafka 的命令行的管理使用

### kafka 的 javaAPI 的使用

### kafka 的数据的分区

### kafka 的配置文件的说明

### flume 与 kafka 的整合

### kafka-manager 监控工具的使用

### CDH 版本的 zookeeper 环境搭建

## day10sqoop 数据迁移

### sqoop

## day11 工作流调度器 azkaban & 数据可视化 Echarts 介绍

### azkaban

### 数据可视化 Echarts 介绍

PDF

.fa-secondary{opacity:.4} PDF PDF .prev-next{ display: none !important; }

数学建模资料

数学建模资料 数学建模资料 汇总司守奎老师的讲义 程序 习题解答等 volantis.js("https://static.mhuig.top/npm/mhg@0.0...

留言区

Notes
PDF
本文目录
<pjax>
</pjax>
<pjax></pjax>
<pjax> Are you Robot?</pjax>