MHuiG

「看庭前花开花落,望天上云卷云舒」

# 大数据技术概述

MHuiG

字数：1.2k 字

时长：4 分钟

## 大数据时代

### 第三次信息化浪潮

根据 IBM 前首席执行官郭士纳的观点，IT 领域每隔十五年就会迎来一次重大变革

信息化浪潮 | 发生时间 | 标志 | 解决问题 | 代表企业
--- | --- | --- | --- | ---
第一次浪潮 | 1980 年前后 | 个人计算机 | 信息处理 | Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等
第二次浪潮 | 1995 年前后 | 互联网 | 信息传输 | 雅虎、谷歌、阿里巴巴、百度、腾讯等
第三次浪潮 | 2010 年前后 | 物联网、云计算和大数据 | 信息爆炸 | 将涌现出一批新的市场标杆企业

### 信息科技为大数据时代提供技术支撑

- 存储设备容量不断增加

- CPU 处理能力大幅提升

- 网络带宽不断增加

### 数据产生方式的变革促成大数据时代的来临

## 大数据的特征及数据科学面临的挑战

## 大数据概念

### 数据量大

### 数据类型繁多

### 处理速度快

### 价值密度低

## 大数据的影响

图灵奖获得者、著名数据库专家 Jim Gray 博士观察并总结人类自古以来，在科学研究上，先后历经了实验、理论、计算和数据四种范式

在思维方式方面，大数据完全颠覆了传统的思维方式：

- 全样而非抽样
- 效率而非精确
- 相关而非因果

## 大数据关键技术

技术层面 | 功能
--- | ---
数据采集 | 利用 ETL 工具将分布的、异构数据源中的数据如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，成为联机分析处理、数据挖掘的基础；或者也可以把实时采集的数据作为流计算系统的输入，进行实时处理分析
数据存储和管理 | 利用分布式文件系统、数据仓库、关系数据库、NoSQL 数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理
数据处理与分析 | 利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析；对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据
数据隐私和安全 | 在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建隐私数据保护体系和数据安全体系，有效保护个人隐私和数据安全

### 两大核心技术

## 大数据计算模式

## 代表性大数据技术

### Hadoop

#### Hadoop—MapReduce

- MapReduce 将复杂的、运行于大规模集群上的并行计算过程高度地抽象到了两个函数：Map 和 Reduce
- 编程容易，不需要掌握分布式并行编程细节，也可以很容易把自己的程序运行在分布式系统上，完成海量数据的计算
- MapReduce 采用 “分而治之” 策略，一个存储在分布式文件系统中的大规模数据集，会被切分成许多独立的分片（split），这些分片可以被多个 Map 任务并行处理

#### Hadoop—YARN

YARN 的目标就是实现 “一个集群多个框架”，为什么？

一个企业当中同时存在各种不同的业务应用场景，需要采用不同的计算框架

- MapReduce 实现离线批处理
- 使用 Impala 实现实时交互式查询分析
- 使用 Storm 实现流式数据实时分析
- 使用 Spark 实现迭代计算

这些产品通常来自不同的开发团队，具有各自的资源调度管理机制
为了避免不同类型应用之间互相干扰，企业就需要把内部的服务器拆分成多个集群，分别安装运行不同的计算框架，即 “一个框架一个集群”

- 导致问题
- 集群资源利用率低
- 数据无法共享
- 维护代价高

YARN 的目标就是实现 “一个集群多个框架”，即在一个集群上部署一个统一的资源调度管理框架 YARN，在 YARN 之上可以部署其他各种计算框架
由 YARN 为这些计算框架提供统一的资源调度管理服务，并且能够根据各种计算框架的负载需求，调整各自占用的资源，实现集群资源共享和资源弹性收缩
可以实现一个集群上的不同应用负载混搭，有效提高了集群的利用率
不同计算框架可以共享底层存储，避免了数据集跨集群移动

### Spark

### Flink

### Beam

BigData BigData

BigData

BigData

发布于：2020年5月1日

更新于：2020年5月1日

哈勃望远镜在你生日那天看到了啥

About1990 年，NASA 将哈勃望远镜送进太空。多年来哈勃望远镜一直在探索宇宙，拍摄了许多珍贵的图像。 2020 年是哈勃望远镜服役的第 30 年，为此 NASA 公开了哈勃望远镜拍摄的...

Mac Code Test

本项测试可能已失效 代码块全屏测试 How To Use? 导入库文件即可<link rel='stylesheet' ...

留言区

本文目录
Are you Robot?