检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
对系统的影响 后台Background线程数过多,导致新提交的任务无法及时运行。 可能原因 Hive后台的background线程池使用率过大。 HiveServer后台的background线程池执行的任务过多。 HiveServer后台的background线程池的容量过小。
子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能,该用户需要已授权有相关Yarn队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从MRS导入数据到关系型数据库:
HiveQueries界面表格数据为空 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的任务,Hive Queries界面未展示数据,如何解决。 回答 Tez WebUI展示的Hive Queries任务数据,需要设置以下3个参数: 在FusionInsight Manager页面,选择“集群
引擎执行任务的详细情况。开启后任务信息将上报TimelineServer,如果TimelineServer实例故障,会导致任务失败。 由于Tez使用ApplicationMaster缓冲池,“yarn.timeline-service.enabled”必须在提交Tez任务前开启,
HiveQueries界面表格数据为空 问题 登录Manager界面,跳转Tez WebUI界面,已经提交的任务,Hive Queries界面未展示数据,如何解决。 回答 Tez WebUI展示的Hive Queries任务数据,需要设置以下3个参数: 在FusionInsight Manager页面,选择“集群
Core节点已经扩容完成,节点管理页面可以看到新扩容的节点: 任务管理中有添加节点的任务失败或部分成功: 若IAM用户已同步,可在组件管理观察到存在未启动角色。 若未同步,可在集群Manager页面观察到存在未启动角色。 处理步骤 场景一:添加节点任务在安装组件前失败 如果MRS集群为按需购买集群:
告警解释 ClickHouse依赖ZooKeeper,zxid(ZooKeeper Transaction ID)是ZooKeeper为了实现分布式一致性而引入的一种事务编号,是一个长64位的数字。高32位用来表示当前Leader的周期,低32位用来表示当前请求产生的事务在当前Lead
导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作前需要进行如下配置: 获取关系型数据库对应的驱动jar包保存在Loader服务主备节点的
子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的任务需要使用指定Yarn队列功能,该用户需要已授权有相关Yarn队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 是否第一次从MRS导入数据到关系型数据库?
MapReduce任务是运行在分析core节点,因此需要保证正常加载驱动类的情况下,保证源端数据库和集群节点的网络正常通信。 处理步骤 检查源端数据库端口对集群节点均放通。 若使用EIP公网通信,那么集群节点均需要绑定公网,尤其是分析节点,必须绑定公网才能保证作业正常运行。 sq
引擎执行任务的详细情况。开启后任务信息将上报TimelineServer,如果TimelineServer实例故障,会导致任务失败。 由于Tez使用ApplicationMaster缓冲池,“yarn.timeline-service.enabled”必须在提交Tez任务前开启,
数据以及给其他Executor提供shuffle数据。当Executor进程任务过重,导致触发GC(Garbage Collection)而不能为其他Executor提供shuffle数据时,会影响任务运行。 External shuffle Service是长期存在于NodeM
数据以及给其他Executor提供shuffle数据。当Executor进程任务过重,导致触发GC(Garbage Collection)而不能为其他Executor提供shuffle数据时,会影响任务运行。 External shuffle Service是长期存在于NodeM
Core节点已经扩容完成,节点管理页面可以看到新扩容的节点: 任务管理中有添加节点的任务失败或部分成功: 若IAM用户已同步,可在组件管理观察到存在未启动角色。 若未同步,可在集群Manager页面观察到存在未启动角色。 处理扩容后状态异常的Core节点 场景一:添加节点任务在安装组件前失败 如果MRS集群为按需购买集群:
360s 回答 由于当前数据量较大,有16T,而分区数只有200,造成每个task任务过重,才会出现上面的问题。 为了解决上面问题,需要对参数进行调整。 增大partition数,把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。
360s 回答 由于当前数据量较大,有16T,而分区数只有200,造成每个task任务过重,才会出现上面的问题。 为了解决上面问题,需要对参数进行调整。 增大partition数,把任务切分的更小。 增大任务执行过程中的超时时间。 在客户端的“spark-defaults.conf”配置文件中配置如下参数。
例如“备份路径/备份任务名_任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “源实例名称”:选择恢复任务执行时备份目录对应的NameService名称。默认值为“hacluster”。 单击“确定”保存。 执行恢复任务。 在恢复任务列表已创建任务的“操作”列,单击“启动”,开始执行恢复任务。
HBase本地二级索引介绍 场景介绍 HBase是基于Key-Value的分布式存储数据库,基于rowkeys对表中的数据按照字典进行排序。如果您根据指定的rowkey查询数据,或者扫描指定rowkey范围内的数据,HBase可以快速查找到需要读取的数据,从而提高效率。在大多数实
HBase本地二级索引介绍 场景介绍 HBase是基于Key-Value的分布式存储数据库,基于rowkeys对表中的数据按照字典进行排序。如果您根据指定的rowkey查询数据,或者扫描指定rowkey范围内的数据,HBase可以快速查找到需要读取的数据,从而提高效率。在大多数实
用户与租户关联后,该用户提交的query任务就与Workload Group相关联,可以限制单个查询在BE节点上的CPU和内存资源的百分比,和配置资源组的内存软隔离。 开启内存软隔离后,当集群资源紧张时,将自动结束组内占用内存最大的若干个查询任务以减缓集群压力。当集群资源空闲时,一旦Workload