检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
告警”,查看“告警ID”为“19025”的告警的“定位信息”中上报该告警的服务名。 以客户端安装用户登录安装了HDFS和HBase客户端的节点,并执行以下命令: cd 客户端安装目录 source bigdata_env kinit 组件业务用户(若集群未启用Kerberos认证(普通模式),请跳过该操作) 查看损坏的StoreFile文件。
ookupBolt和JdbcInsertBolt中也可以增加处理逻辑对数据进行处理。 本章节只适用于MRS产品Storm与JDBC组件间的访问。本章中描述的jar包的具体版本信息请以实际情况为准。 应用开发操作步骤 确认Storm组件已经安装,且正常运行。 下载Storm客户端,
的Kafka地址(需使用21007端口),<subscribe-type> 指定kakfa的消费方式,<kafkaProtocol>指安全访问协议(如SASL_PLAINTEXT),<kafkaService>指kerberos服务名称(如kafka),<kafkaDomain>指kerberos域名(如hadoop
的Kafka地址(需使用21007端口),<subscribe-type> 指定kakfa的消费方式,<kafkaProtocol>指安全访问协议(如SASL_PLAINTEXT),<kafkaService>指kerberos服务名称(如kafka),<kafkaDomain>指kerberos域名(如hadoop
HttpFS是个单独无状态的gateway进程,对外提供webHDFS接口,对HDFS使用FileSystem接口对接。可用于不同Hadoop版本间的数据传输,及用于访问在防火墙后的HDFS(HttpFS用作gateway)。 HDFS HA架构 HA即为High Availability,用于解决Name
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的HiveServer,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存”,勾选“HiveServer内存使用率统计” ,单击“确定”,查看HiveS
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的HiveServer,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > GC”,勾选“HiveServer的GC时间” ,单击“确定”,查看GC时间是否大于12秒。
Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Hive > 实例”,单击告警上报的HiveServer,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存”,勾选“HiveServer内存使用率统计” ,单击“确定”,查看HiveS
HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 选择“数据源”,单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“JDBC
“File > Import… > Existing maven Projects into Workspace > Next”,在下一个页面单击“Browse”,显示“浏览文件夹”对话框。 选择样例工程文件夹“hdfs-examples”,单击“确定”。 在“Import”窗口单击“Finish”。
可能原因 该节点IoTDB空间内合并任务较慢,需要进一步分析日志查看。 处理步骤 收集故障信息。 在FusionInsight Manager页面,选择“运维 > 告警 > 告警”,在实时告警列表中,单击此告警前的,在“定位信息”中查看角色名并确定实例的IP地址。 选择“运维 > 日志
开启HetuEngine自适应查询执行步骤 使用HetuEngine管理员用户登录Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在“概览”页签下的“基本信息”区域,单击“HSConsole WebUI”后的链接,进入HSConsole界面。 单击“数据源”,在待
指导用户将开发好的程序编译并打包,上传到VPC的Linux节点运行。 调测Kafka应用 查看程序运行结果 程序运行结果可以输出到Linux命令行页面。也可通过Linux客户端进行Topic数据消费的方式查看数据是否写入成功。 调测Kafka应用 父主题: Kafka应用开发概述
磁盘使用率高可能导致ClickHouse写入执行失败。 可能原因 ClickHouseServer节点磁盘容量过小。 处理步骤 登录FusionInsight Manager页面,选择“运维 > 告警 > 告警”,查看当前告警“定位信息”中的角色名以及确认主机名所在的IP地址。 扩容告警上报节点的磁盘容量。 扩容失败,或扩容后告警仍然没有消除,执行4。
该节点JobHistory进程直接内存使用率过大,或配置的直接内存不合理,导致使用率超过阈值。 处理步骤 检查直接内存使用率。 登录MRS集群详情页面,选择“告警管理”。 选中“告警ID”为“43008”的告警,查看“定位信息”中的实例的IP地址及角色名。 单击“组件管理 > Spark
reserved”或者“dfs.datanode.du.reserved.percentage”。 配置描述 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面,在搜索框中输入参数名称。 表1 参数描述 参数 描述 默认值 dfs.datanode.du.reserved.percentage D
0及之后版本,登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 逻辑集群”,单击逻辑集群名称。进入该逻辑集群页面,选择“数据同步状态”。 数据同步参数说明 表1 数据状态同步参数说明 参数 参数说明 数据表 Replicated*MergeTree系列引擎表表名。
建议合理设置用户的队列权限,最好一个用户只绑定一个队列。 如果客户必须绑定多个队列时,可通过配置全局用户策略指定某用户的默认提交队列。 以MRS 3.x版本集群为例,登录集群Manager界面,单击“租户资源”。 单击“动态资源计划 > 全局用户策略 > 添加全局用户策略”。 “
Manager与本集群HDFS保存的快照信息,创建本地快速恢复任务并执行恢复任务。 该章节仅适用于MRS 3.x及之后版本。 恢复组件业务数据 登录FusionInsight Manager,选择“运维 > 备份恢复 > 备份管理”。 在备份任务列表已创建任务的“操作”列,单击“恢复”。
默认情况下,OMS备份的文件最大保留个数为90,该任务指导系统管理员配置此最大保留个数。 本章节操作仅支持MRS 3.x及之后的版本。 以omm用户登录主管理节点。 用户只需在主管理节点执行此操作,不支持在备管理节点上修改审计日志备份文件数,否则可能造成集群无法正常工作。 执行以下命令,切换目录。