检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列加密。列加密只支持存储在HDFS上的TextFile和SequenceFile文件格式的表。Hive列加密不支持视图以及Hive
在创建HBase表时,需要通过设置加密方式开启加密功能,<type>表示加密的类型,“d”为加密列族。 通过命令行创建表时,直接为列族设置加密方式为SMS4或AES。 create '<table name>', {NAME => 'd', ENCRYPTION => '<type>'} 使用代码创建表时
配置Hive列加密功能 操作场景 Hive支持对表的某一列或者多列进行加密;在创建Hive表时,可以指定要加密的列和加密算法。当使用insert语句向表中插入数据时,即可实现将对应列的数据加密。只支持对存储在HDFS上的TextFile和SequenceFile文件格式的Hive表进行列加密,不支持视图以及Hive
配置Flume加密传输数据采集任务 配置Flume加密传输 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
该方式是YARN内部的认证方式,不需要用户配置。 - 当前一个Flink集群只支持一个用户,一个用户可以创建多个Flink集群。 加密传输 Flink整个系统存在三种加密传输方式: 使用Yarn内部的加密传输方式:Flink yarn client与Yarn Resource Manager、Yarn Resource
配置HDFS数据传输加密 本章节指导用户设置HDFS安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 设置HDFS安全通道加密 默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道为加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群
该方式是YARN内部的认证方式,不需要用户配置。 - 当前一个Flink集群只支持一个用户,一个用户可以创建多个Flink集群。 加密传输 Flink整个系统存在三种加密传输方式: 使用Yarn内部的加密传输方式:Flink yarn client与Yarn Resource Manager、Yarn Resource
配置Flume加密传输 操作场景 该操作指导安装工程师在集群安装完成后,设置Flume服务(Flume角色)的服务端和客户端参数,使其可以正常工作。 本章节适用于MRS 3.x及之后版本。 前提条件 已成功安装集群及Flume服务。 操作步骤 分别生成Flume角色服务端和客户端的证书和信任列表。
更新MRS集群加密密钥 在安装集群时,系统将自动生成加密密钥key值以对集群的部分安全信息(例如所有数据库用户密码、密钥文件访问密码等)进行加密存储。在集群安装成功后,如果原始密钥不慎意外泄露或者需要使用新的密钥,系统管理员可以通过以下操作手动更改密钥值。 对系统的影响 更新集群
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题: 使用Hive
将生成的truststore.jks复制至IntelliJ IDEA工程的conf目录下,并在客户端代码中(Producer.java或者Consumer.java的构造方法)添加如下代码: //truststore文件地址 props.put("ssl.truststore.location"
Hive数据存储及加密配置 使用HDFS Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 配置Hive列加密功能 父主题: 使用Hive
e服务的服务端和客户端参数,使其可以正常工作。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。 生成Flume配置文件 安装Flume客户端。 配置Flume角色客户端参数。 使用FusionInsight
将生成的truststore.jks复制至IntelliJ IDEA工程的conf目录下,并在客户端代码中(Producer.java或者Consumer.java的构造方法)添加如下代码: //truststore文件地址 props.put("ssl.truststore.location"
oop中各模块的RPC通道的加密属性全部生效。 对RPC的加密方式,有如下三种取值: “authentication”:普通模式默认值,指数据在鉴权后直接传输,不加密。这种方式能保证性能但存在安全风险。 “integrity”:指数据直接传输,即不加密也不鉴权。 为保证数据安全,请谨慎使用这种方式。
配置Spark数据传输加密 操作场景 本章节指导用户设置Spark安全通道加密,以增强安全性。 该章节仅适用于MRS 3.x及之后版本。 配置Spark数据传输加密 参数修改入口:登录Manager页面,选择“集群 > 服务 > Spark > 配置”,展开“全部配置”页签,在搜索框中输入相关参数名称。
oop中各模块的RPC通道的加密属性全部生效。 对RPC的加密方式,有如下三种取值: “authentication”:普通模式默认值,指数据在鉴权后直接传输,不加密。这种方式能保证性能但存在安全风险。 “integrity”:指数据直接传输,即不加密也不鉴权。 为保证数据安全,请谨慎使用这种方式。
配置Hadoop数据传输加密 设置安全通道加密 默认情况下,组件间的通道是不加密的。您可以配置如下参数,设置安全通道是加密的。 参数修改入口:在FusionInsight Manager系统中,选择“集群 > 服务 > 服务名 > 配置”,展开“全部配置”页签。在搜索框中输入参数名称。
配置Kafka数据传输加密 操作场景 Kafka客户端和Broker之间的数据传输默认采用明文传输,客户端可能部署在不受信任的网络中,传输的数据可能遭到泄漏和篡改。 该章节仅适用于MRS 3.x及之后版本。 配置Kafka数据传输加密 默认情况下,组件间的通道是不加密的。用户可以配置如下参数,设置安全通道为加密的。
运行MRS作业时如何读取OBS加密数据 MRS 1.9.x支持使用OBS文件系统中加密后的数据来运行作业,同时支持将加密后的作业运行结果存储在OBS文件系统中。目前仅支持通过OBS协议访问数据。 OBS支持使用KMS密钥的加解密方式对数据进行加解密,所有的加解密操作都在OBS完成,同时密钥管理在DEW服务。