数据仓库服务 GAUSSDB(DWS)-更新MRS数据源配置:操作场景

时间：2024-05-30 17:09:20

操作场景

MRS 的HDFS集群参数配置变更时，可能造成 GaussDB (DWS)集群无法从HDFS集群导入数据。使用HDFS集群导入数据前，需要执行MRS数据源配置的更新操作。

表1 参数说明
参数名	参数解释
dfs.client.read.shortcircuit	是否开启本地读。
dfs.client.read.shortcircuit.skip.checksum	本地读时是否跳过数据校验。
dfs.client.block.write.replace-datanode-on-failure.enable	向HDFS写数据块发生失败时，是否替换新的节点作为副本存储位置。
dfs.encrypt.data.transfer	是否开启数据加密。设置为“true”表示加密，默认不加密。说明：此参数仅对启用Kerberos认证的集群有效。仅当hadoop.rpc.protection设置为privacy时使用。
dfs.encrypt.data.transfer.algorithm	指定密钥传输的加密解密算法。只有在dfs.encrypt.data.transfer配置项设置为“true”，此参数才会生效。默认值为“3des”，表示采用3DES算法进行加密。
dfs.encrypt.data.transfer.cipher.suites	指定实际存储数据传输的加密解密算法。如果不指定此参数，则使用“dfs.encrypt.data.transfer.algorithm”参数指定的加密算法进行数据加密。默认值为“AES/CTR/NoPadding”。
dfs.replication	默认数据副本个数。
dfs.blocksiz	默认数据块大小。
hadoop.security.authentication	安全认证模式。
hadoop.rpc.protection	RPC通信保护模式。默认值：安全模式（启用Kerberos认证）：privacy 普通模式（未启用Kerberos认证）：authentication 说明： “authentication”：只进行认证，不加密。 “integrity”：进行认证和一致性校验。 “privacy”：进行认证、一致性校验、加密。
dfs.domain.socket.path	本地使用的Domain socket路径。