# HDFS 中的所有端口 *平台部署知识* 在部署 Hadoop 的时候,我们似乎会纠结,为什么 HDFS 要那么多端口,该通过哪个配置项目去设置他们。 ## 目录 [TOC] ## 详细说明 在 Hadoop 分布式文件系统(HDFS)中的所有端口都是有用的,因为HDFS 非常庞大,所以很多功能都不会仅仅通过一个端口来进行访问,不同的端口承担着不同的功能: ### 我们可能接触的端口 在这里介绍的就是要经常修改,指定以及使用的端口,并且会涵盖它的配置方法。 #### 8020 端口: 该端口是 HDFS 的默认 namenode IPC(进程间通信)端口。 Namenode 使用这个端口来提供服务给 datanode 和客户端的 RPC(远程过程调用)请求,用于进行文件系统元数据的操作,如打开、关闭、重命名文件或目录等。 在 hadoop 配置文件 hdfs-site.xml 中,可以通过配置项 fs.defaultFS (Hadoop 2.x 及以后版本)或者 fs.default.name (早期版本)指定 namenode 的地址和端口,例如:`hdfs://namenode-hostname:8020`。 #### 9870 端口: 9870 端口是 HDFS 的 namenode Web UI 的默认监听端口。 用户可以通过浏览器访问 `http://namenode-hostname:9870` 来查看 HDFS 文件系统的状态信息、存储使用情况、运行日志等。 若要修改这个端口,在 hdfs-site.xml 配置文件中可以设置属性 dfs.namenode.http-address,例如: ```xml <property> <name>dfs.namenode.http-address</name> <value>namenode-hostname:your-port-number</value> </property> ```  #### 50070 端口(在 Hadoop 1.x 版本中常用): 这个端口是 Hadoop 1.x 版本中 Namenode 的默认 Web UI 监听端口,用户可以通过浏览器查看集群状态。 在 Hadoop 2.x 及以后版本中,这个功能被移至 9870 端口。 #### 8088 端口: ResourceManager 的 Web UI 端口,在 YARN(Yet Another Resource Negotiator)环境中,用于监控整个集群资源管理和作业调度情况。 ### 不经常修改与使用的端口 除了上面提到的 8020 和 9870 端口,HDFS 中还有其他一些重要的端口: #### 50075 端口: DataNode 的 Web UI 监听端口,用于显示各个 DataNode 的详细信息,如存储使用情况、块报告等。 修改该端口的配置项为 `dfs.datanode.http.address`。 #### 50010 端口: DataNode 的数据传输服务端口,DataNodes 使用此端口与 Namenode 以及其他的 DataNodes 进行数据块的复制和同步通信。 配置项为 `dfs.datanode.ipc.address` 或者 `dfs.datanode.data.transfer.server.address`。 #### 50020 端口: DataNode 的 IPC (进程间通信) 端口,用于接收来自 Namenode 的命令和报告心跳信息。 配置项为 `dfs.datanode.ipc.address`. #### 50071 端口(可选): DataNode 的 HTTPS 管理接口端口,在安全模式下启用。 配置项为 `dfs.datanode.httpS.address`. #### 9000 端口(非标准默认端口,但在某些情况下可能被设置为默认值): 在部分部署场景中,HDFS 的文件系统名称服务(NameService)也可能监听此端口作为 RPC 端口,而非 8020。 ------ ***操作记录*** 作者:[root](https://www.lingyuzhao.top//index.html?search=1 "root") 操作时间:2024-02-24 09:11:29 星期六 事件描述备注:保存/发布 中国 天津 [](如果不需要此记录可以手动删除,每次保存都会自动的追加记录)