Hadoop

Hadoop #

HDFS #

Hadoop Distributed File System,是 Hadoop 的分布式文件系统

每台机器上运行一个 DataNode 进程,负责管理一部分数据。

有一台机器上运行了 NameNode 进程,负责管理整个 HDFS 集群的这么一个进程,里面存储了 HDFS 集群的所有元数据

每次内存里改完了,写一条 edits log,元数据修改的操作日志到磁盘文件里,不修改磁盘文件内容,就是顺序追加

每次 NameNode 重启的时候,把 edits log 里的操作日志读到内存里,就可以恢复元数据

YARN #

MapReduce #


本文访问量

本站总访问量

本站总访客数