大数据学习 - HDFS

大数据
HDFS

HDFS概述

  1. HDFS集群分为两大角色：NameNode，DataNode，Secondary NameNode
  2. NameNode负责管理整个文件系统的元数据
  3. DataNode负责管理用户的文件数据块
  4. 文件会按照固定的大小（blocksize）切成若干块后分布式存储在若干台datanode上
  5. 每一个文件块可以有多个副本，并存放在不同的datanode上
  6. datanode会定期想namenode汇报自身所保存的文件block信息，而namenode则会负责保持文件的副本数量
  7. HDFS的内部工作机制对客户端保持透明，客户端请求HDFS都是通过向namenode申请来进行

HDFS写数据流程

概述

客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanode复制block的副本

流程

  1. 向namenode请求上传文件，namemode检查目标文件是否已存在，父目录是否存在
  2. namenode响应可以上传
  3. rpc请求上传一个block（0~128M）以获取datanode
  4. 返回datanode列表dn1，dn2，dn3（见备注1）
  5. client请求dn1建立block传输通道channel
  • dn1请求dn3建立通道
  • dn3请求dn4建立通道
  • dn4应答dn3成功
  • dn3应答dn1成功
  • dn1应答client成功
  1. client上传block，以packet为单位
  2. dn1接收block数据，将数据分为小数据块（packet）放入缓冲区（ByteBuf），每传一个packet会放入一个应答队列等待应答
  3. 再将packet传输给dn3、dn3同样操作传输给dn4
  4. 如果还有block未传输，则重复1~8

备注1：上传数据时，datanode的选择策略

  1. 第一个副本先考虑跟client最近的（同机架）
  2. 第二个副本在考虑跨机架挑选一个datanode，增加副本的可靠性
  3. 第三个副本就在第一个副本同机架另外挑选一台datanode存放

HDFS读数据流程

概述

客户端将要读取的文件路径发送给namenode，namenode获取文件的元信息（主要时block的存放位置信息）返回给客户端，客户端根据返回的信息找到相应datanode逐个获取文件的block并在客户端本地进行数据追加合并从而获取整个文件

流程

  1. 跟namenode通信查询元数据，找到文件块所在的datanode服务器
  2. 挑选一台datanode（就近原则，然后随机），请求建立socket流
  3. datanode开始发送数据（从磁盘里面读取数据放入流，以packet为单位来做校验）
  4. 客户端以packet为单位接收，先在本地缓存，然后写入目标文件

NameNode工作机制

职责

  • 负责客户端请求的响应
  • 元数据的管理（查询、修改）

    元数据管理

    namenode对数据的管理采用了三种存储形式：
  • 内存元数据（NameSystem）
  • 磁盘元数据镜像文件
  • 数据操作日志文件（可通过日志运算出元数据）

    元数据存储机制

  1. 内存中有一份完整的元数据（内存metadata）
  2. 磁盘有一个“准完整”的元数据镜像（fsimage）文件，文件再namenode的工作目录中
  3. 用于衔接内存metadata和持久化元数据镜像fsimage之间的操作日志（edits文件）
    注：当客户端对hdfs中的文件进行新增或者修改操作，操作记录首先被记入edits日志文件中，当客户端操作成功后，响应的元数据会更新到内存metadata中

    元数据手动查看

    可通过hdfs的一个工具来查看edits中的信息
1
2
bin/hdfs oev -i edits -o edits.xml
bin/hdfs oiv -i fsimage_0000000000000000087 -p XML -o fsimage.xml

元数据的checkpoint

每隔一段时间，会由secondary namenode将namenode上积累的所有edits和一个最新fsimage下载到本地，并加载到内存进行merge，这个过程称为checkpoint

checkpoint流程

checkpoint流程

checkpoint操作的触发条件配置参数

1
2
3
4
5
6
7
8
dfs.namenode.checkpoint.check.period=60  #检查触发条件是否满足的频率，60秒
dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary
#以上两个参数做checkpoint操作时，secondary namenode的本地工作目录
dfs.namenode.checkpoint.edits.dir=${dfs.namenode.checkpoint.dir}

dfs.namenode.checkpoint.max-retries=3  #最大重试次数
dfs.namenode.checkpoint.period=3600  #两次checkpoint之间的时间间隔3600秒
dfs.namenode.checkpoint.txns=1000000 #两次checkpoint之间最大的操作记录

checkpoint的附带作用

namenode和secondary namenode的工作目录存储结构完全相同，所以，当namenode故障退出需要重新恢复时，可以从secondary namenode的工作目录中将fsimage拷贝到namenode的工作目录，以恢复namenode的元数据

思考问题

  • namenode如果宕机，hdfs服务是否能够正常提供？
    不能
  • 如果namenode的硬盘损坏，元数据是否还能恢复？如果能恢复，如何恢复？
    可以恢复绝大部分，将sencondary namenode的工作目录拷贝到namenode上
  • 通过以上思考，我们再配置namenode工作目录参数时，有什么注意点？
    namenode的工作目录可以配置到多个磁盘下（配置hdfs-site.xml文件）

DataNode工作机制

职责

  • 存储管理用户的文件块数据
  • 定期向namenode汇报自身所持有的block信息（通过心跳信息上报），当集群中发生某些block副本失效时，集群如何恢复block初始副本数量的问题
1
2
3
4
5
<property>
	<name>dfs.blockreport.intervalMsec</name>
	<value>3600000</value>
	<description>Determines block reporting interval in milliseconds.</description>
</property>

DataNode掉线判断时限参数

datanode进程死亡或者网络故障造成datanode无法与namenode通信，namenode不会立即把节点判定为死亡，要经过一段时间，这段时间称为超时时长。HDFS默认的超时时长为10分钟+30秒。如果定义超时时间为timeout，则计算公式为

1
timeout=2*heartbeat.recheck.interval+10*dfs.heartbeat.interval

默认的heartbeat.recheck.interval为5分钟，dfs.heartbeat.interval为3秒
可于hdfs-site.xml文件中配置：

1
2
3
4
5
6
7
8
9
10
<property>
    <!-- 单位毫秒 -->
    <name>heartbeat.recheck.interval</name>
    <value>2000</value>
</property>
<property>
    <!-- 单位秒 -->
    <name>dfs.heartbeat.interval</name>
    <value>1</value>
</property>
评论