是python鸭

HDFS基础知识储备

(一).分治思想:

需求:

  • 我有一万个元素(比如数字或者单词)需要存储?
  • 我要查找某一个元素,最简单的遍历方式复杂度是多少?
  • 如果我期望复杂度是O(4)呢?

数组加链式存储,一个数组连着一个链表,一个链表存四个元素,共需2500个数组。

图1-1 数组加链式存储

查找X:X.hashCode % 2500 > 2

归并排序:内部有序,外部无序。

(二).结论
  • 分而治之
  • 并行计算er
  • 计算向数据移动
  • 数据本地化读取
(三).HDFS

namenode:元数据 datanode:数据

数据的一致性尤为重要

课程入口:https://www.bilibili.com/video/BV1np4y1q7nN

HDFS基础知识储备已关闭评论