Лекция: Реализация MapReduce в системе Hadoop. Архитектура Hadoop кластера. Особенности файловой системы Hadoop.

ЦЕЛИ:

Открытые реализации технологий Google (GFS, MapReduce...)

Программная платформа для хранения и обработки больших объемов данных:

– Надежность

– Масштабируемость

– Эффективность

– Экономичность

– Open Source

Подпроекты

:

Hadoop Common — Общие компоненты

.

HDFS Распределенная файловая система по образу GFS

.

MapReduce — Реализация MapReduce для распределенной обработки больших объемов данных на кластере.

Архитектура Hadoop-кластера

: