检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hive开源增强特性:支持列加密功能 Hive支持对表的某一列或者多列进行加密。在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可将对应的列进行加密。Hive列加密不支持视图以及Hive over HBase场景。
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列的数据加密。
配置HDFS数据传输加密 本章节指导用户设置HDFS安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 设置HDFS安全通道加密 默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道为加密的。
配置Hadoop数据传输加密 配置场景 安全加密通道是HDFS中RPC通信的一种加密协议,当用户调用RPC时,用户的login name会通过RPC头部传递给RPC,之后RPC使用Simple Authentication and Security Layer(SASL)确定一个权限协议
配置Hadoop数据传输加密 设置安全通道加密 默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道是加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。
配置Hadoop数据传输加密 配置场景 安全加密通道是HDFS中RPC通信的一种加密协议,当用户调用RPC时,用户的login name会通过RPC头部传递给RPC,之后RPC使用Simple Authentication and Security Layer(SASL)确定一个权限协议
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题: 使用Hive
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题: 使用Hive
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
父主题: 配置Flume加密传输数据采集任务
在创建HBase表时,需要通过设置加密方式开启加密功能,<type>表示加密的类型,“d”为加密列族。 通过命令行创建表时,直接为列族设置加密方式为SMS4或AES。
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。
开启外部连接SSL后,因为YARN目前的开源版本无法代理HTTPS请求,所以无法通过YARN代理访问Flink的原生页面,用户可以在集群的同一个VPC下,创建windows虚拟机,在该虚拟机中访问Flink 原生页面。
配置Kafka数据传输加密 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输,客户端可能部署在不受信任的网络中,传输的数据可能遭到泄漏和篡改。 该章节仅适用于MRS 3.x及之后版本。 配置Kafka数据传输加密 默认情况下,组件间的通道是不加密的。
加密传输 Flink整个系统存在三种加密传输方式: 使用Yarn内部的加密传输方式:Flink yarn client与Yarn Resource Manager、Yarn Resource Manager与Job Manager。
父主题: 配置Flume非加密传输数据采集任务
父主题: Hive数据存储及加密配置
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业,同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。
父主题: Hive数据存储及加密配置