检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
入密钥,然后再获取私钥文件。 密码 Kerberos加密类型 Kerberos加密类型表示Kerberos服务执行加密操作时要使用的加密算法和模式(MRS 3.3.1-LTS及之后版本支持配置,之前版本集群的Kerberos加密类型默认为“aes256-sha1,aes128-sha1”)。
执行以下命令,加密原始信息: ./genPwFile.sh 输入两次待加密信息。 执行以下命令,查看加密后的信息: cat password.property 如果加密参数是用于Flume Server,那么需要到相应的Flume Server所在节点执行加密。需要使用omm用户执行加密脚本进行加密。
ZooKeeper服务端开启SSL通道加密传输后,将导致一定程度的性能下降。 ZooKeeper服务端开启SSL通道加密传输,需重启ZooKeeper组件以及上层依赖组件,期间将导致服务不可用。 ZooKeeper服务端开启SSL通道加密传输,需重新下载客户端。 ZooKeeper配置开启SSL通道加密传输,不支持滚动重启。
执行以下命令,加密原始信息: ./genPwFile.sh 输入两次待加密信息。 执行以下命令,查看加密后的信息: cat password.property 如果加密参数是用于Flume Server,那么需要到相应的Flume Server所在节点执行加密。需要使用omm用户执行加密脚本进行加密。
HetuEngine域名修改后需要做什么 问题 用户修改域名后,会导致已安装的客户端配置和数据源配置失效,且新创建的集群不可用。对接不同域的数据源时,HetuEngine会自动的合并krb5.conf文件。域名修改后,kerberos认证的域名会发生变化,所以此前对接的数据源信息会失效。
table tab_3(...) stored as textfile; ZSTD压缩格式的表和其他普通压缩表的SQL操作没有区别,可支持正常的增删查及聚合类SQL操作。 父主题: Hive数据存储及加密配置
table tab_3(...) stored as textfile; ZSTD压缩格式的表和其他普通压缩表的SQL操作没有区别,可支持正常的增删查及聚合类SQL操作。 父主题: Hive数据存储及加密配置
配置Controller与Agent间数据传输加密 操作场景 安装集群后Controller和Agent之间需要进行数据通信,在通信的过程中采用了Kerberos认证,出于对集群性能的考虑,通信过程默认不加密,对于一些安全要求较高用户可以采用以下方式进行加密。 该章节仅适用于MRS 3.x及之后版本。
MRS导出数据到OBS加密桶失败如何处理? 问: MRS导出数据到OBS加密桶失败如何处理? 答: 目前仅MRS 1.9.x及之后版本支持OBS加密桶功能,MRS 1.8.x及之前版本不支持OBS加密桶功能。 如需使用OBS加密桶请使用MRS 1.9.x及之后版本集群。 父主题:
配置Flume加密传输数据采集任务 使用多级agent串联从本地采集静态日志保存到HDFS 父主题: 使用Flume
唯一的域名。跨Manager访问实际上就是用户跨域使用。 用户加密 配置跨Manager互信,当前Kerberos服务端仅支持并使用“aes256-cts-hmac-sha1-96:normal”和“aes128-cts-hmac-sha1-96:normal”加密类型加密跨域使用的用户,不支持修改。
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
配置Flume非加密传输数据采集任务 生成Flume服务端和客户端的配置文件 使用Flume服务端从本地采集静态日志保存到Kafka 使用Flume服务端从本地采集静态日志保存到HDFS 使用Flume服务端从本地采集动态日志保存到HDFS 使用Flume服务端从Kafka采集日志保存到HDFS
问题背景与现象 MRS 1.8.2之前的版本和MRS 1.8.2及之后的版本的两个集群之间跨集群互信不通。 原因分析 配置跨集群互信后,互信的两个集群均会增加用户“krbtgt/本集群域名@外部集群域名”、“krbtgt/外部集群域名@本集群域名”,由于两个版本集群的用户默认密码不一致导致跨集群互信配置失败。
当使用insert语句分别向table_name1和table_name2插入数据后,table_name1和table_name2的数据文件就会分布在hdfs的相同存储位置上,从而方便两表进行关联操作。 父主题: Hive数据存储及加密配置
到HDFS上“/flume/test”目录下。 本配置默认集群网络环境是安全的,数据传输过程不需要启用SSL认证。如需使用加密方式,请参考配置Flume加密传输数据采集任务。 前提条件 已安装Flume客户端。 已成功安装集群,包含HDFS、Kafka及Flume服务。 已创建用
table查询表下的分区数据时,查询结果将不包含冷分区,可通过show frozen partitions table进行冷冻分区查询。 父主题: Hive数据存储及加密配置
当使用insert语句分别向table_name1和table_name2插入数据后,table_name1和table_name2的数据文件就会分布在HDFS的相同存储位置上,从而方便两表进行关联操作。 父主题: Hive数据存储及加密配置
集群修改域名后Hive样例程序运行报错 问题背景与现象 Hive的二次开发代码样例运行报No rules applied to ****的错误: 原因分析 Hive的二次开发样例代码会加载core-site.xml,此文件默认是通过classload加载,所以使用的时候要把此配置
table查询表下的分区数据时,查询结果将不包含冷分区,可通过show frozen partitions table进行冷冻分区查询。 父主题: Hive数据存储及加密配置