检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检查需要更新“/etc/hosts”文件的节点的配置用户是否为“root”。 是,执行3。 否,更改配置用户为“root”,再执行3。 执行以下命令,批量刷新客户端所在节点的“/etc/hosts”文件。
hudilink Storage Type hdfs Auth KeytabFile /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常
hudilink Storage Type hdfs Auth KeytabFile /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab Principal cdluser Description - 参数配置完成后,单击“测试连接”,检查数据连通是否正常
周期性地设置检查点(橙色箭头) 为了容错的需要,StreamingContext会周期性地设置检查点,并保存到外部文件系统中。 操作流程 本实践操作流程如下所示: 步骤1:创建MRS集群:创建一个包含有Spark2x、Kafka组件的MRS集群。
检查备集群HDFS是否有充足的空间,备份文件保存的目录建议使用用户自定义的目录。 根据业务需要,规划备份任务的类型、周期、备份对象、备份目录和备份任务需要使用的Yarn队列等策略规格。
定位思路 使用Storm客户端提交拓扑,检查出重复“storm.yaml”问题。 重新打包Jar包,然后再提交拓扑。 修改Storm集群关于Worker启动超时参数。
表6 反射权限 权限类型 权限名 java.lang.reflect.ReflectPermission suppressAccessChecks:允许利用反射检查任意类的私有变量。
cd /tmp/FusionInsight-Client tar -xvf FusionInsight_Cluster_1_Services_Client.tar 执行如下命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如: sha256sum -c FusionInsight_Cluster
cd /tmp/FusionInsight-Client tar -xvf FusionInsight_Cluster_1_Services_Client.tar 执行如下命令校验解压得到的文件,检查回显信息与sha256文件里面的内容是否一致,例如: sha256sum -c FusionInsight_Cluster
/ij命令前,需要确保已配置java_home,可通过which java命令检查是否已配置。
根据业务需要,规划备份的类型、周期和策略等规格,并检查主备管理节点“数据存放路径/LocalBackup/”是否有充足的空间。 如果数据要备份至OBS中,需要当前集群已对接OBS,并具有访问OBS的权限。MRS 3.5.0及之后版本支持备份数据到OBS。
<编号> HiveServer进程的GC日志 /hiveserver/prestartDetail.log HiveServer启动前的工作日志 /hiveserver/check-serviceDetail.log Hive服务启动是否成功的检查日志 /hiveserver/cleanupDetail.log
<编号> HiveServer进程的GC日志 /hiveserver/prestartDetail.log HiveServer启动前的工作日志 /hiveserver/check-serviceDetail.log Hive服务启动是否成功的检查日志 /hiveserver/cleanupDetail.log
useDualCheckpoints false 是否备份检查点。设置为“true”时,必须设置backupCheckpointDir的参数值。 backupCheckpointDir - 备份检查点路径。
* <checkPointDir>是Spark Streaming检查点目录。
* <checkPointDir>是Spark Streaming检查点目录。
* <checkPointDir>是Spark Streaming检查点目录。
/jobs/<jobid>/vertices/<vertexid>/checkpoints 单个Job顶点的检查点统计信息。 /jobs/<jobid>/vertices/<vertexid>/backpressure 单个Job顶点的背压统计数据及其所有子任务。
* <checkPointDir>是Spark Streaming检查点目录。
exists t2(id int) engine=olap distributed by hash(id); create table if not exists t3(id int) engine=olap distributed by hash(id); 执行以下SQL语句命令,检查当前