-
典型场景:从FTP服务器导入数据到HBase - MapReduce服务 MRS
“TLS_IMPLICIT”:隐式TLS协议。 不指定参数值,默认为FTP协议。 FTP 文件名编码类型 填写FTP服务器支持的文件名、文件路径编码格式,不填写时使用系统默认格式UTF-8。 UTF-8 配置多个FTP服务器,多个服务器指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。
-
使用Loader从FTP服务器导入数据到HBase - MapReduce服务 MRS
“TLS_IMPLICIT”:隐式TLS协议。 不指定参数值,默认为FTP协议。 FTP 文件名编码类型 填写FTP服务器支持的文件名、文件路径编码格式,不填写时使用系统默认格式UTF-8。 UTF-8 配置多个FTP服务器,多个服务器指定目录的数据将导入到HBase。 设置数据源信息 单击“下一步”,进入“输入设置”界面,设置数据源信息。
-
配置监控指标转储 - MapReduce服务 MRS
指定登录FTP服务器的密码。 是 保存路径 指定监控文件在FTP服务器保存的路径。 是 转储时间间隔(秒) 指定监控文件在FTP服务器保存的周期,单位为秒。 是 转储模式 指定监控文件发送时使用的协议。可选协议为“FTP”和“SFTP”。 是 SFTP服务公钥 指定FTP服务器的公共密钥,“模式”选择“SF
-
配置Hive列加密功能 - MapReduce服务 MRS
hive.serde2.SMS4Rewriter) 将原始数据从普通Hive表导入到Hive列加密表后,在不影响其他业务情况下,建议删除普通Hive表上原始数据,因为保留一张未加密的表存在安全风险。 操作步骤 在创建表时指定相应的加密列和加密算法: create table<[db_name
-
加密HFile和WAL内容 - MapReduce服务 MRS
} 可参考验证加密是否配置成功验证加密是否配置成功。 如果用户已按照1到7配置了SMS4或AES加密,但是在执行8创建表时,未设置对应的加密参数,使得插入的数据未经加密。 此时,您可以执行如下步骤对之前插入的数据进行加密。 针对表执行flush动作,将内存中的数据导入到HFile中。
-
配置Hive列加密功能 - MapReduce服务 MRS
hive.serde2.SMS4Rewriter) 将原始数据从普通Hive表导入到Hive列加密表后,在不影响其他业务情况下,建议删除普通Hive表上原始数据,因为保留一张未加密的表存在安全风险。 操作步骤 在创建表时指定相应的加密列和加密算法: create table<[db_name
-
Loader开源增强特性 - MapReduce服务 MRS
支持从SFTP/FTP服务器导入数据到Phoenix表 支持从SFTP/FTP服务器导入数据到Hive表 支持从HDFS/OBS导出数据到SFTP服务器 支持从HBase表导出数据到SFTP服务器 支持从Phoenix表导出数据到SFTP服务器 支持从关系型数据库导入数据到HBase表
-
使用OBS加密数据运行作业 - MapReduce服务 MRS
HDFS > 服务配置” 将“基础配置”切换为“全部配置”,搜索并配置如下参数: 表2 数据加密参数 参数 取值 说明 fs.obs.server-side-encryption-type SSE-KMS SSE-KMS:表示使用KMS密钥的加解密方式。 NONE:表示关闭加密功能。 fs
-
配置HDFS数据传输加密 - MapReduce服务 MRS
suites 可以设置为空或“AES/CTR/NoPadding”,用于指定数据加密的密码套件。如果不指定此参数,则使用“dfs.encrypt.data.transfer.algorithm”参数指定的加密算法进行数据加密。默认值为“AES/CTR/NoPadding”。 AES/CTR/NoPadding
-
配置定时备份告警与审计信息 - MapReduce服务 MRS
10.0.0.10 -p 22 -u sftpuser -d /tmp/ -c 10 -m 100 -s true -e sftp 此脚本将修改服务审计信息备份配置文件“service_audit_collect_upload.properties”。文件存储路径为“${BIGDAT
-
Hive数据存储及加密配置 - MapReduce服务 MRS
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题: 使用Hive
-
配置Kafka数据传输加密 - MapReduce服务 MRS
Manager系统中,选择“集群 > 待操作集群的名称 > 服务 > Kafka > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。 配置后应重启对应服务使参数生效。 Kafka服务端的传输加密相关配置参数如表1所示。 表1 Kafka服务端传输加密参数 配置项 描述 默认值 ssl.mode
-
配置Flume加密传输 - MapReduce服务 MRS
每个Flume实例均可以上传单独的服务端配置文件。 更新配置文件需要按照此步骤操作,后台修改配置文件是不规范操作,同步配置时后台做的修改将会被覆盖。 单击“保存”,单击“确定”。单击“完成”完成操作。 设置Flume角色客户端参数。 执行以下命令将生成的客户端证书(flume_cChat
-
配置Hadoop数据传输加密 - MapReduce服务 MRS
块的RPC通道的加密属性全部生效。 对RPC的加密方式,有如下三种取值: “authentication”:普通模式默认值,指数据在鉴权后直接传输,不加密。这种方式能保证性能但存在安全风险。 “integrity”:指数据直接传输,即不加密也不鉴权。 为保证数据安全,请谨慎使用这种方式。
-
Hive数据存储及加密配置 - MapReduce服务 MRS
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题: 使用Hive
-
配置Flume加密传输数据采集任务 - MapReduce服务 MRS
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
-
配置监控指标数据转储 - MapReduce服务 MRS
中,并根据用户配置的上报周期,将这些文件上报到对应的FTP/SFTP服务中。 监控文件产生规则 按照指标的采集周期,监控指标会被分别写入到每30s,60s,以及300s产生的文件 30s周期:默认采集周期为30s的实时指标。 60s周期:默认采集周期为60s的实时指标。 300s周期:非30s、60s采集的所有指标。
-
配置Hadoop数据传输加密 - MapReduce服务 MRS
块的RPC通道的加密属性全部生效。 对RPC的加密方式,有如下三种取值: “authentication”:普通模式默认值,指数据在鉴权后直接传输,不加密。这种方式能保证性能但存在安全风险。 “integrity”:指数据直接传输,即不加密也不鉴权。 为保证数据安全,请谨慎使用这种方式。
-
MRS导出数据到OBS加密桶失败如何处理? - MapReduce服务 MRS
MRS导出数据到OBS加密桶失败如何处理? 问:MRS导出数据到OBS加密桶失败如何处理? 答:目前仅MRS 1.9.x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题: 周边生态对接使用
-
Loader数据导入导出概述 - MapReduce服务 MRS
分区特性的连接器,专门对Oracle分区表的导入导出进行优化。 使用FTP数据源连接器时不加密数据,可能存在安全风险,建议使用SFTP数据源连接器。 建议将SFTP服务器、FTP服务器和数据库服务器与Loader部署在独立的子网中,以保障数据安全地导入。 与关系数据库连接时,可以