检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles.tar: OK 解压获取配置文件。 tar -xvf FusionInsight_Cluster_1_Services_ClientConfig_ConfigFiles
检查产生告警的目录对应的配额值是否不合理。合理的配额值应该大于等于目录当前的实际使用值,该值可以在告警参数“Trigger Condition”中获取。 根据告警信息的提示,修改不合理的配额值,并保存配置。 等待配置项“service.quotas.auto.check.cron.exp
则HDFS写入数据会失败。 可能原因 告警阈值配置不合理。 租户分配的空间容量不合理 处理步骤 查看阈值设置是否合理 查看告警定位信息,获取上报告警的租户名称,租户目录。 在FusiongInsight Manager首页,在“租户资源”页面选择上报告警的租户名称,单击“资源”
yarn-switch-resourcemanager.log Yarn主备倒换运行日志。 ranger-yarn-plugin-enable.log Yarn启用Ranger鉴权的日志。 yarn-nodemanager-period-check.log Yarn nodemanager的周期检查日志。 yarn-
yarn-switch-resourcemanager.log Yarn主备倒换运行日志。 ranger-yarn-plugin-enable.log Yarn启用Ranger鉴权的日志 yarn-nodemanager-period-check.log Yarn nodemanager的周期检查日志 yarn-re
AvroSource文件: # -*- coding:utf-8 -*- """ 【说明】 (1)由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现 (2)如果使用yarn-client模式运行,请确认Spark2x客户端Spark2x/s
“/var/tmp/patch”目录已存在,需将此目录权限修改为“777”,将此目录内的日志权限修改为“666”。 集群内节点安装客户端 获取客户端软件包。 参考访问FusionInsight Manager(MRS 3.x及之后版本)访问Manager,单击“集群”在“概览”选择“更多
配置HBase上层应用所在主机的时间与备集群的时间保持一致,时间差要小于5分钟。 检查主集群的认证模式。 若为安全模式,执行8。 若为普通模式,任务结束。 获取HBase上层应用用户的keytab文件和krb5.conf配置文件。 在备集群FusionInsight Manager界面,选择“系统
为locator名,locatorID可通过命令行输入,多个locatorID之间用逗号分隔;也可将locatorID写入文件,通过读文件获取。 删除组 hdfs colocationadmin -deleteGroup <groupID> 删除指定组。 查询组 hdfs colocationadmin
为locator名,locatorID可通过命令行输入,多个locatorID之间用逗号分隔;也可将locatorID写入文件,通过读文件获取。 删除组 hdfs colocationadmin -deleteGroup <groupID> 删除指定组。 查询组 hdfs colocationadmin
如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件:获取MRS应用开发样例工程。 打印依赖树方式: 在pom.xml文件同目录下执行命令:mvn dependency:tree 父主题: Spark应用开发常见问题
如果遇到其他三方包冲突,可以通过查找依赖关系确认是否存在相同包不同版本的情况,尽量修改成集群自带的jar包版本。 可以参考MRS样例工程自带的pom.xml文件:获取MRS应用开发样例工程。 打印依赖树方式: 在pom.xml文件同目录下执行命令:mvn dependency:tree 父主题: Spark应用开发常见问题
全部配置”,搜索参数“IOTDB_SERVER_RPC_PORT”获得。 普通模式下,初始安装后IoTDB有一个默认用户:root,密码请参见用户账号一览表章节获取。该用户为管理员用户,固定拥有所有权限,无法被赋予,无法被撤销权限,也无法被删除。 需在本地环境变量中设置环境变量认证用户名和认证用户密码
为locator名,locatorID可通过命令行输入,多个locatorID之间用逗号分隔;也可将locatorID写入文件,通过读文件获取。 删除组 hdfs colocationadmin -deleteGroup <groupID> 删除指定组。 查询组 hdfs colocationadmin
dirs获得数据存储目录。 其中配置文件路径请根据时间环境的集群版本修改,当磁盘有多块时,该配置项有多个,逗号间隔。 使用cd命令进入使用率较高的磁盘对应的3中获取的数据存储目录下。 使用du -sh *命令打印出当前topic的名称及大小。 由于Kafka的全局的数据保留时间默认是7天。部分topi
处理步骤 磁盘写入的小文件过多。 打开FusionInsight Manager页面,选择“运维 > 告警 > 告警”,单击此告警所在行的,获取告警所在主机地址和磁盘分区。 以root用户登录告警所在主机,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令df -i | grep
告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确认实例的IP地址。 选择“集群 > 服务 > IoTDB > 实例”,单击1获取到的IP地址对应的ConfigNode,在“概览”界面查看图表“ConfigNode堆内存使用率”是否已达到ConfigNode进程设定的最大堆内存的阈值。
过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作,也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager,选择“集群 > 服务 > Spark2x > 配置”,单击“全部配置”,搜索并修改以下参数。
过客户端可以随机连接其中的任意一个服务进行业务操作。即使集群中一个或多个ThriftServer服务停止工作,也不影响用户通过同一个客户端接口连接其他正常的ThriftServer服务。 配置描述 登录Manager,选择“集群 > 待操作集群的名称 > 服务 > Spark2x
ka、ZooKeeper、Kerberos的安全认证,这些安全认证只需要生成一个jaas文件并设置相关环境变量即可。LoginUtil相关接口可以完成这些配置。 代码样例 此代码片段在com.huawei.bigdata.kafka.example.security包的LoginUtil类中。