检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Transition恢复线程 操作场景 在故障环境中,由于诸如region服务器响应慢,网络不稳定,ZooKeeper节点版本不匹配等各种原因,有可能导致region长时间处于transition下。在region transition下,由于一些region不能对外提供服务,客户端操作可能无法正常执行。
提升HBase Put和Scan性能综合调优 操作场景 HBase有很多与读写性能相关的配置参数。读写请求负载不同的情况下,配置参数需要进行相应的调整,本章节旨在指导用户通过修改RegionServer配置参数进行读写性能调优。 本章节适用于MRS 3.x及之后版本。 操作步骤 登录FusionInsight
集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群
集群概况信息、RegionServer和Master的信息、快照、运行进程等信息。通过Web UI提供的信息可以对整个HBase集群的状况有一定的了解。 请联系管理员获取具有访问Web UI权限的业务账号及其密码。 操作步骤 登录FusionInsight Manager页面。选择“集群
力,所有的元数据都存放在这个路径:Hudi表根目录/.hoodie目录,如果.hoodie目录下的文件数量超过10000就会发现Hudi表有非常明显的读写时延。 规则 Hudi表必须执行Archive。 对于Hudi的MOR类型和COW类型的表,都需要开启Archive。 Hud
配置用户在具有读和执行权限的目录中创建外表 “hive.restrict.create.grant.external.table”参数用于配置允许有目录读权限和执行权限的用户和用户组创建Hive外部表,而不必检查用户是否为该目录的属主,并且禁止外表的Location目录在当前默认ware
Transition恢复线程 操作场景 在故障环境中,由于诸如Region服务器响应慢,网络不稳定,ZooKeeper节点版本不匹配等各种原因,有可能导致Region长时间处于Transition下。当Region处于Transition下,由于一些Region不能对外提供服务,导致客户端操作可能无法正常执行。
table_name 需要修改的表名 table_type 需要修改的表类型 index_type 需要修改的索引类型 注意事项 如修改的索引类型有其对应的其他配置参数,同样需要以key => 'value'格式传入sql中。 例如修改为bucket索引: call change_table(table
Core为Spark的内核模块,主要负责任务的执行,用于编写Spark应用程序;Spark SQL为执行SQL的模块。 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下要求: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。
tric1)发送消息,每发送10条,打印一条日志。 图2 Producer运行窗口 在Linux调测程序 导出jar包。 构建jar包方式有以下两种: 方法一: 选择“Maven > 样例工程名称 > Lifecycle > clean”,双击“clean”运行maven的clean命令。
在某环境出现DataNode异常重启,且确认此时未从页面做重启DataNode的操作,需要定位是什么进程终止了DataNode服务端进程。 原因分析 常见的进程被异常终止有2种原因: Java进程OOM被终止 一般Java进程都会配置OOM Killer,当检测到OOM会自动终止进程,OOM日志通常被打印到ou
问题现象 Hive服务健康状态和Hive实例健康状态的区别是什么? 解决方案 Hive服务的健康状态(也就是在Manager界面看到的健康状态)有Good,Bad,Partially Healthy,Unknown四种状态 ,四种状态除了取决于Hive本身服务的可用性(会用简单的SQL
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 导致Loader服务响应缓慢。 可能原因 会导致频繁FULL GC,Loader服务响应缓慢,严重时甚至有可能导致Loader崩溃,不能再正常提供服务。 处理步骤 检查GC时间。 在FusionInsight Manager首页,选择“运维 > 告警
业执行的频率,如果执行的Workflow需要传递参数,可单击“+添加参数”设置参数,然后单击右上角的保存作业。 因时区转化的原因,此处时间有可能会与当地系统实际时间差异数个小时。比如在中国,此处的时间则会比当地时间晚8个小时。 如果需要统一同步配置为上海时间,操作如下: 在Manager页面,选择“集群
规划IoTDB容量 IoTDB自身有多副本机制,region(schema region和data region)默认是3副本。ConfigNode上保存region和IoTDBServer的映射关系,IoTDBServer保存region数据,直接使用操作系统自身的文件系统来管理元数据和数据文件。
业执行的频率,如果执行的Workflow需要传递参数,可单击“+添加参数”设置参数,然后单击右上角的保存作业。 因时区转化的原因,此处时间有可能会与当地系统实际时间差异数个小时。比如在中国,此处的时间则会比当地时间晚8个小时。 如果需要统一同步配置为上海时间,操作如下: 在Manager页面,选择“集群
HBase恢复任务执行失败后系统自动回滚数据,若页面详情中提示“Rollback recovery failed”信息,表示回滚失败。由于回滚失败后就不会处理数据,所以有可能产生垃圾数据,需要如何解决? 回答 在下次执行备份或恢复任务前,需要手动清除这些垃圾数据。 安装集群客户端,例如安装目录为“/opt/client”。
Core为Spark的内核模块,主要负责任务的执行,用于编写spark应用程序;Spark SQL为执行SQL的模块。 场景说明 假定用户有某个周末网民网购停留时间的日志文本,基于某些业务要求,要求开发Spark应用程序实现如下要求: 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。
由于HDFS块丢失导致DataNode退服失败 问题背景与现象 在退服DataNode过程中,一直提示退服失败。 原因分析 查看退服失败报错日志,日志中显示总计1564个块,有一个块一直没法被备份。 登录集群Master节点,进入HDFS客户端,执行hdfs fsck /命令查看损坏的块,并记录文件路径。 例如:/
先确认MRS集群状态是否正常,如果集群已关闭或者正在创建中,或集群正在发生主备倒换,将无法访问Manager。 检查用户权限:当前用户是否有访问Manager的权限,“ReadOnlyAccess”表示MRS的只读权限,拥有该权限的用户仅能查看MRS的资源,无法访问Manager页面。