优化HDFS数据访问：实现短路本地读取以提升性能-Python教程-PHP中文网

优化HDFS数据访问：实现短路本地读取以提升性能

本文旨在解决hdfs数据访问中因网络传输造成的性能瓶颈，即便数据已进行本地复制，仍可能出现高网络流量的问题。我们将深入探讨hdfs的短路本地读取（short-circuit local reads）机制，详细介绍其配置方法、客户端集成考量以及潜在的优化效果，旨在帮助用户最大化数据本地性，显著降低网络i/o并提升数据处理效率。

HDFS数据本地性挑战与传统读取模式

HDFS通过数据复制来提供容错性和高可用性。当一个文件写入HDFS时，其数据块会被复制到多个DataNode上。理论上，当应用程序在某个DataNode上运行时，如果所需数据块的副本存在于该DataNode的本地磁盘上，客户端应该能够直接从本地读取，从而避免网络传输。然而，在实际操作中，尤其是在使用高级文件系统抽象层（如fsspec结合pyarrow）时，即使客户端与DataNode位于同一物理机器，也可能观察到显著的网络I/O。

这通常是由于客户端的读取请求路径未能充分利用底层的本地性机制。例如，当客户端通过hdfs://namenode_ip:9000/...这样的URI连接时，默认情况下，DataNode会通过网络将数据传输给客户端，即使数据就在本地。这是因为DataNode守护进程作为数据的服务方，需要处理客户端的请求、进行身份验证、权限检查以及数据块的校验和验证，这些操作都需要通过网络栈进行通信。对于需要极致I/O性能的场景，这种通过网络栈的传输会引入不必要的CPU开销和网络延迟。

引入短路本地读取（Short-Circuit Local Reads）

为了解决上述问题，HDFS引入了“短路本地读取”（Short-Circuit Local Reads, SCLR）机制。SCLR允许HDFS客户端在满足特定条件时，绕过DataNode守护进程，直接从本地磁盘读取数据块。

SCLR的工作原理

当一个HDFS客户端尝试读取一个数据块时，如果该数据块的一个副本位于客户端所在的本地机器上，并且HDFS集群已正确配置SCLR，客户端会执行以下步骤：

客户端向NameNode请求数据块的位置信息。
NameNode返回包含本地DataNode在内的所有副本位置。
客户端识别出本地副本，并尝试通过一个Unix域套接字（Unix Domain Socket）与本地DataNode守护进程通信。
DataNode守护进程验证客户端的权限后，将文件描述符（file descriptor）传递给客户端。
客户端获得文件描述符后，可以直接通过read()系统调用访问本地磁盘上的数据文件，而无需DataNode守护进程进行数据传输。

SCLR的优势

降低网络I/O： 这是最显著的优势，避免了数据通过网络栈传输，从而减少了网络带宽的占用。
减少CPU开销： DataNode守护进程无需参与数据的实际传输，减轻了其CPU负担。
提高读取吞吐量和降低延迟： 直接从本地磁盘读取通常比通过网络传输更快，尤其是在数据量大或网络拥堵的情况下。

HDFS集群的SCLR配置

要启用短路本地读取，需要对HDFS集群的配置文件进行相应的修改，主要涉及hdfs-site.xml和core-site.xml。

hdfs-site.xml配置

在所有DataNode和NameNode的hdfs-site.xml中添加或修改以下属性：

<property>
  <name>dfs.client.read.shortcircuit</name>
  <value>true</value>
  <description>
    Whether to enable short-circuit local reads.
  </description>
</property>

<property>
  <name>dfs.client.read.shortcircuit.skip.checksum</name>
  <value>true</value>
  <description>
    If short-circuit local reads are enabled, and this is set to true,
    the client will not perform checksum verification for the data.
    This can improve performance but should be used with caution.
  </description>
</property>

<property>
  <name>dfs.datanode.drop.cache.behind.reads</name>
  <value>true</value>
  <description>
    Whether to drop the page cache behind reads.
    This can be useful for avoiding cache pollution from one-off reads.
  </description>
</property>

<property>
  <name>dfs.domain.socket.path</name>
  <value>/var/lib/hadoop-hdfs/dn_socket</value>
  <description>
    The path to the Unix domain socket that the DataNode should use
    for communicating with clients for short-circuit local reads.
    This path must be accessible by both the DataNode and the client.
    It's recommended to place this in a directory owned by the HDFS user
    and with appropriate permissions.
  </description>
</property>

登录后复制

重要提示：

dfs.domain.socket.path：这个路径必须是一个Unix域套接字文件。它应该位于一个所有者为HDFS用户（通常是hdfs）的目录中，并且该目录的权限应允许DataNode和客户端进程进行读写访问。例如，可以创建/var/lib/hadoop-hdfs目录，并将其所有者设置为hdfs:hdfs，权限设置为755。
dfs.client.read.shortcircuit.skip.checksum：启用此选项可以进一步提升性能，但会跳过客户端的数据校验和验证。这意味着客户端将信任DataNode已经验证过数据块的完整性。在生产环境中启用此选项前，请务必评估其风险。

core-site.xml配置

如果你的集群使用YARN，可能还需要在core-site.xml中配置hadoop.tmp.dir，确保其权限正确，因为HDFS客户端可能会在该目录下创建临时文件。

配置后操作

修改配置文件后，需要重启HDFS集群（DataNode和NameNode）以使更改生效。

腾讯智影-AI数字人

基于AI数字人能力，实现7*24小时AI数字人直播带货，低成本实现直播业务快速增增，全天智能在线直播

查看详情

客户端集成与验证

即使HDFS集群已配置SCLR，客户端应用程序也需要满足特定条件才能利用此功能。

Python客户端（fsspec / pyarrow）

对于使用fsspec和pyarrow进行HDFS访问的Python应用程序，关键在于底层是否能调用到配置了SCLR的Hadoop原生客户端库。pyarrow.fs.HadoopFileSystem实际上是libhdfs或libhdfs3的Python绑定，它们是Hadoop原生客户端库。

要使Python客户端能够利用SCLR：

运行环境： 运行Python代码的机器必须是HDFS集群中的一个DataNode。
Hadoop原生库： 确保Hadoop原生库（libhadoop.so等）已正确安装在运行Python代码的机器上，并且可以通过LD_LIBRARY_PATH环境变量或系统默认路径被Python进程找到。
HDFS配置： 确保客户端进程能够读取到HDFS的配置文件（hdfs-site.xml、core-site.xml），通常可以通过设置HADOOP_CONF_DIR环境变量来指定配置文件的位置。
Unix域套接字权限： 客户端进程的用户需要有权限访问dfs.domain.socket.path指定的Unix域套接字。

当满足这些条件时，你的Python代码（例如使用fsspec读取Parquet文件）将能够自动利用短路本地读取：

import fsspec
import pandas as pd
import os

# 假设HDFS配置文件位于 /etc/hadoop/conf
# 并且Hadoop原生库路径已添加到LD_LIBRARY_PATH
# os.environ['HADOOP_CONF_DIR'] = '/etc/hadoop/conf' # 确保客户端能找到HDFS配置

# 在DataNode机器上运行此代码
# 确保HDFS集群已启用短路本地读取，且当前机器是目标数据块的DataNode
hdfs_path = 'hdfs://namenode_ip:9000/path/to/data.parquet'

try:
    with fsspec.open(hdfs_path, 'rb') as fp:
        df = pd.read_parquet(fp)
    print(f"成功从HDFS读取数据：{hdfs_path}")
    # 在实际场景中，可以通过监控网络流量来验证SCLR是否生效
except Exception as e:
    print(f"读取HDFS数据时发生错误: {e}")

登录后复制

验证SCLR是否生效：

监控网络流量： 在运行客户端程序的DataNode机器上，使用iftop、nload或sar -n DEV等工具监控网络接口的流量。如果SCLR生效，当读取本地数据块时，网络流量应显著降低。
查看DataNode日志： 检查DataNode的日志文件，查找与短路读取相关的消息。成功的短路读取通常会记录相关事件。
检查Unix域套接字： 确认dfs.domain.socket.path指定的Unix域套接字文件是否存在，并且其权限设置正确。

Dask和Ray的局限性

正如问题中提到的，Dask在数据本地性优化方面可能存在局限性，尤其是在其默认配置下。Dask和Ray等分布式计算框架，通常会尝试将计算任务调度到数据所在的节点，但这并不直接意味着它们会利用HDFS的短路本地读取。它们的调度器可能会将任务分配到DataNode，但实际的数据读取过程仍然依赖于底层文件系统客户端的实现。因此，即使使用这些框架，也需要确保底层的HDFS客户端（如pyarrow或libhdfs）已正确配置并能够利用SCLR。

注意事项与潜在问题

权限管理： Unix域套接字路径的权限至关重要。如果权限设置不当，客户端将无法连接到套接字，SCLR会失败。
Hadoop版本兼容性： 确保客户端使用的Hadoop库版本与HDFS集群兼容。
DataNode故障： 如果本地DataNode出现故障，客户端将回退到从其他DataNode通过网络读取数据。
安全性： 直接访问本地文件系统可能会引入一些安全风险，因此在启用SCLR时，应确保集群环境的安全性。
仅限读取： 短路本地读取仅适用于数据读取操作，不适用于写入操作。
HDFS客户端配置： 确保客户端进程能够找到HDFS的配置文件，否则无法获取SCLR相关的配置。

总结

短路本地读取（Short-Circuit Local Reads）是HDFS提供的一项强大功能，对于需要高性能数据I/O的应用程序而言，它是优化HDFS数据访问、减少网络瓶颈的关键。通过正确配置HDFS集群和确保客户端环境满足SCLR的要求，可以显著提升数据读取效率，降低系统资源消耗。尽管fsspec和pyarrow等高级库简化了HDFS操作，但要充分利用底层优化，仍需深入理解HDFS的内部机制，并进行细致的系统级配置。在部署和使用SCLR时，务必进行充分的测试和监控，以确保其稳定性和性能收益。

以上就是优化HDFS数据访问：实现短路本地读取以提升性能的详细内容，更多请关注php中文网其它相关文章！