检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Ranger > 实例”中查看“${主RangerAdmin节点IP}”。 “${输入证书密码}”为用户自定义密码。命令中如果携带认证密码信息可能存在安全风险,在执行命令前建议关闭系统的history命令记录功能,避免信息泄露。 登录MRS管理控制台。 选择“现有集群”,单击集群名称进入集群详情页面。
lts.conf”配置文件中设置该参数。 Spark长时间任务安全认证配置 安全模式下,使用Spark CLI(如spark shell、spark sql、spark submit)时,如果使用kinit命令进行安全认证,当执行长时间运行任务时,会因为认证过期导致任务失败。 在客户端的“spark-defaults
lts.conf”配置文件中设置该参数。 Spark长时间任务安全认证配置 安全模式下,使用Spark CLI(如spark shell、spark sql、spark submit)时,如果使用kinit命令进行安全认证,当执行长时间运行任务时,会因为认证过期导致任务失败。 在客户端的“spark-defaults
ght_Cluster_1_Services_ClientConfig ./install.sh /opt/hadoopclient 配置安全认证及加密。可参考“组件操作指南”的“从零开始使用Flink”。 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\spri
ALM-12034 周期备份任务失败 ALM-12035 恢复任务失败后数据状态未知 ALM-12037 NTP服务器异常 ALM-12038 监控指标转储失败 ALM-12039 OMS数据库主备不同步 ALM-12040 系统熵值不足 ALM-12041 关键文件权限异常 ALM-12042
建表时指定Location为OBS路径 使用安装客户端用户登录客户端安装节点。 执行如下命令初始化环境变量。 source 客户端安装目录/bigdata_env 如果是安全集群,执行以下命令进行用户认证(该用户需要具有Hive操作的权限),如果当前集群未启用Kerberos认证,则无需执行此命令。 kinit
drop table user_info; 外部分区表的操作: 创建外部分区表并导入数据 创建外部表数据存储路径。 kinit hive (安全模式需要执行kinit,普通模式无需执行) 用户hive需要具有Hive管理员权限。 hdfs dfs -mkdir /hive hdfs
如“/opt/client”。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinitHetuEngine用户 根据回显提示输入密码。 执行如下命令创
前提条件 如果需要从远端HDFS恢复数据,需要准备备集群,且已完成数据备份,详细操作请参见备份ClickHouse业务数据。如果主备集群部署为安全模式,且主备集群不是由同一个FusionInsight Manager管理,则必须配置系统互信,请参见配置MRS集群间互信。如果主备集群部署为普通模式,则不需要配置互信。
14005 HDFS NameNode主备倒换 次要 14028 HDFS HDFS磁盘均衡任务 次要 14029 HDFS 主NameNode进入安全模式并生成新的FSimage 次要 17001 Oozie Oozie工作流执行失败 重要 17002 Oozie Oozie定时任务执行失败
该集群HBase meta表权限,则cluster1的userA可以访问cluster2的HBase meta表。 跨Manager之间的安全集群间组件互相访问,需要先配置系统互信。 以下分别阐述cluster1上使用userA访问cluster2的Hive、HBase、Kafka组件。
换到客户端安装目录。 cd /opt/client 执行以下命令,配置环境变量。 source bigdata_env 认证或指定用户。 安全模式集群:执行以下命令认证用户 kinit HetuEngine组件操作用户 例如: kinit hetu_test 根据提示输入用户密码,首次登录需重置密码。
ranger-plugin-audit.log HDFS操作审计日志(例如:文件增删改查)。 SecurityAuth.audit HDFS安全审计日志。 日志级别 HDFS中提供了如表2所示的日志级别,日志级别优先级从高到低分别是FATAL、ERROR、WARN、INFO、DEB
在运行Colocation工程时,需要将HDFS用户绑定supergroup用户组。 初始化 使用Colocation前需要进行kerberos安全认证。 private static void init() throws IOException { LoginUtil.login(PRNCIPAL_NAME
为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 当前MRS提供以下Flink相关样例工程,安全模式路径为“flink-examples/flink-examples-security”,普通模式路径为“flink-examples/
执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 执行以下命令,获取Flink集群container信息。
0_272版本(集群自带JDK,可通过集群客户端安装目录中“JDK”文件夹下获取)。 毕昇JDK:支持1.8.0_272版本。 说明: 基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。 IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com
使用Ranger、Sentry或组件开源的权限能力进行权限控制。 所在Region/AZ 云上资源填写项 虚拟私有云 云上资源填写项 子网 云上资源填写项 安全组 云上资源填写项 表2 硬件信息调研表 节点组 CPU和内存信息 磁盘和网络(按节点组统计) HDFS Yarn - - 磁盘信息(数据
行搬迁任务时,可能会影响其他业务,建议在业务空闲期进行数据迁移任务。 全量数据迁移 登录CDM管理控制台。 创建CDM集群,该CDM集群的安全组、虚拟私有云、子网需要和迁移目的端集群保持一致,保证CDM集群和待迁移的MRS集群之间网络互通。 在“集群管理”页面单击待操作集群对应“操作”列的“作业管理”。
如果当前退服DataNode节点,退服前需要进行健康检查,步骤如下。 使用客户端用户登录客户端安装节点,并切换到客户端安装目录。 如果是安全集群,需要使用hdfs用户进行权限认证。 source bigdata_env #配置客户端环境变量 kinit