检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
useTicketCache=false debug=false; }; 配置描述 在Spark客户端的“spark-defaults.conf”配置文件中进行设置。 表1 参数说明 参数 说明 默认值 spark.yarn.security.credentials.hbase.enabled HBase是否获取Token:
所有参与分区间并发写入的任务,都必须配置上述参数。 不建议同分区内并发写,这种并发写入需要开启Hudi OCC方式并发写入,必须严格遵守并发参数配置,否则会出现表数据损坏的问题。 并发OCC参数控制: SQL方式: --开启OCC。 set hoodie.write.concurrency.mode=
运行Zookeeper客户端命令。 创建ZNode。 create /test 查看ZNode信息。 ls / 向ZNode中写入数据。 set /test "zookeeper test" 查看写入ZNode中的数据。 get /test 删除创建的ZNode。 delete
访问Kudu的WebUI 用户可以通过Kudu的WebUI,在图形化界面查看Kudu作业的相关信息。 前提条件 已安装Kudu服务的集群。 访问KuduMaster WebUI(MRS 3.x及之后版本) 登录Manager页面,请参见访问FusionInsight Manager(MRS
阈值,如图2所示。 图2 设置告警阈值 等待2分钟,查看告警是否自动恢复。 是,处理完毕。 否,执行3。 检查CPU使用率是否达到上限。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的节点地址。 进入“主机”界面,单击告警的所在节点。
Nimbus堆内存使用率超过阈值 > 定位信息”。查看告警上报的实例的主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Storm > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > Nimbus
TokenServer非堆内存使用率超过阈值”,检查该告警的“定位信息”,查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 服务 > Guardian > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 >
的下拉菜单,在“定位信息”中查看告警上报的角色名并确定实例的IP地址。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HDFS > 实例 > NameNode(对应上报告警实例IP地址)”,单击图表区域右上角的下拉菜单,选择“定制
err访问到executor日志页面。 不修改配置项查看日志处理步骤 查看运行完成任务日志 在Spark2x原生页面最上方有一个按钮,可以查看汇聚后任务日志:AggregatedLogs 图2 AggregatedLogs 查看运行中的任务日志 在Spark2x原生页面,通过“Jobs
Config_ConfigFiles.tar”,继续解压该文件。 进入客户端配置文件解压路径的“HBase\config”,获取表1中相关配置文件。 表1 配置文件 配置文件 作用 core-site.xml 配置Hadoop Core详细参数。 hbase-site.xml 配置HBase详细参数。
ConsumerRecords<String, String> records = consumer.poll(waitTime); for (ConsumerRecord<String, String> record : records) {
告警”,选中“ID”为“43022”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击告警上报的IndexServer2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制
告警”,弹出告警页面,选中“告警ID”为“45588”的告警,在该页面的告警详情里查看“定位信息”中的角色名并确定实例的IP地址。 选择“集群 > 待操作集群的名称 > 服务 > IoTDB > 实例”,单击告警上报的IoTDBServer,进入实例“概览”页面。单击图表区域右上角的下拉菜单,选择“定制 > 内存 >
告警”,选中“告警ID”为“43023”的告警,查看“定位信息”中的角色名以及确认主机名所在的IP地址。 在FusionInsight Manager首页,选择“集群 > 服务 > Spark2x > 实例”,单击上报告警的IndexServer2x,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制
残留进程导致Regionsever启动失败 问题现象 HBase服务启动失败,健康检查报错。 原因分析 查看启动HBase服务时manager页面的详细打印信息,提示the previous process is not quit。 解决办法 登录节点,后台通过执行ps -ef |
原因分析 查看HMaster日志信息(“/var/log/Bigdata/hbase/hm/hbase-omm-xxx.log”),出现如下异常,The DiskSpace quota of /hbase is exceeded。 解决办法 通过后台使用df -h命令查看数据盘目录
WebUI界面 用户可以通过Impala的WebUI,在图形化界面查看Impala作业的相关信息。Impala的WebUI根据实例不同分为如下三种: StateStore WebUI:用于管理节点。 Catalog WebUI:用于查看元数据。 前提条件 已安装Impala服务的集群。 访问StateStore
Zone”。单击“Save”保存。如需添加多条策略有效期,可单击按钮添加。如需删除策略有效期,可单击按钮删除。 单击“Add”,在策略列表可查看策略的基本信息。等待策略生效后,验证相关权限是否正常。 如需禁用某条策略,可单击按钮编辑策略,设置策略开关为“Disabled”。 如果不再使用策略,可单击按钮删除策略。
将Kafka的Broker配置参数“allow.everyone.if.no.acl.found”的值修改为“true”。 创建Topic。 {zkQuorum}表示ZooKeeper集群信息,格式为IP:port。 $KAFKA_HOME/bin/kafka-topics.sh --create --zookeeper
CarbonData数据分析 新建CarbonData表 删除CarbonData表 修改CarbonData表 加载CarbonData表数据 删除CarbonData表Segments 合并CarbonData表Segments 父主题: 使用CarbonData