检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
创建或获取该任务中创建Loader作业的业务用户和密码。 确保用户已授权访问作业执行时操作的Hive表。 获取关系型数据库使用的用户和密码。 检查磁盘空间,确保没有出现告警且余量满足导入、导出数据的大小。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机节点信息。 对系统的影响 sssd服务不可用时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到ldap中的数据,影响上层业务。 可能原因 sssd服务未启动或启动错误。
GROUP BY GROUP BY GROUP BY将SELECT语句的输出行划分成包含匹配值的分组。简单的GROUP BY可以包含由输入列组成的任何表达式,也可以是按位置选择输出列的序号。 以下查询是等效的: SELECT count(*), nationkey FROM customer
DFS的各种操作。这些操作包括获取数据块位置,列出目录及创建文件。NameNode接受HDFS的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服务的情况下足够公平,但如果用户执行的I/O操作较多,相比I/O操作较少的用户,将获得更多的服务。在
3.x之前版本) MRS的审计日志长期保留在系统中,可能引起数据目录的磁盘空间不足问题,故通过设置导出参数及时将审计日志自动导出到OBS服务器的指定目录下,便于管理审计日志信息。 审计日志导出到OBS服务器的内容包含两部分,服务审计日志和管理审计日志。 服务审计日志每天凌晨3点自动
参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 对系统的影响 数据库服务不可用,无法对上层服务提供数据入库、查询等功能,使部分服务异常。 可能原因 浮动IP不存在。 没有主DBServer实例。
DFS的各种操作。这些操作包括获取数据块位置,列出目录及创建文件。NameNode接受HDFS的操作,将其视作RPC调用并置入FIFO调用队列,供读取线程处理。虽然FIFO在先到先服务的情况下足够公平,但如果用户执行的I/O操作较多,相比I/O操作较少的用户,将获得更多的服务。在
仅当集群的“计费模式”为“包年/包月”时,MRS支持使用BMS类型的规格。 MRS支持的弹性云服务器(ECS)和裸金属服务器(BMS)混合部署,部署方式如下: Master、Core和Task节点均使用ECS部署。 Master、Core使用BMS部署,Task使用ECS部署。
来源 产生告警的集群名称。 服务名 产生告警的服务名称。 主机名 产生告警的主机节点信息。 对系统的影响 nscd服务不可用时,可能会影响该节点从LdapServer上同步数据,此时,使用id命令可能会获取不到Ldap中的数据,影响上层业务。 可能原因 nscd服务未启动。 网络故障,无法访问Ldap服务器。
服务韧性 跨AZ容灾部署能力 MRS服务管理面提供双集群跨AZ容灾能力,即在另一个可用区(跨AZ)部署一个同构的MRS灾备集群。 如果生产集群所处的地理位置发生自然灾害,或者集群内部出现了故障从而导致生产集群无法正常对外提供读写服务,那么灾备集群可以切换为生产集群,从而保障业务连续性。
登录Manager页面,选择“集群 > 服务 > Presto > 实例”,查看并记录所有Presto实例所在节点主机名称。 选择“集群 > 服务 > Yarn > 实例”,单击NodeManger实例名(仅需修改与Presto实例在同一节点的NodeManger实例),选择“实例配置
配额是用户账号在对应环境配置的可用资源额度,限定配额仅是为了防止资源滥用。 MapReduce服务通常使用的基础资源如下,配额由各个基础服务管理,如需扩大配额,请联系对应服务的技术支持进行扩容: 弹性云服务器 裸金属服务器 虚拟私有云 云硬盘 镜像服务 对象存储服务 弹性公网IP 消息通知服务 统一身份认证服务
HiveServer或者MetaStore实例的健康状态为unknown 问题现象 HiveServer或者MetaStore实例的健康状态为unknown。 可能原因 HiveServer或者MetaStore实例被停止。 解决方案 重启HiveServer或者MetaStore实例。
启动HDFS和Yarn服务报错“Permission denied” 用户问题 启动HDFS和Yarn时报错。 问题现象 无法启动HDFS、Yarn服务组件,报错内容:/dev/null Permission denied。 原因分析 用户修改了虚机系统的“/dev/null”的权限值为775。
配给它,而此时有其他的应用却资源紧张,这就造成了很大的资源浪费和资源不合理的调度。 动态资源调度就是为了解决这种场景,根据当前应用任务的负载情况,实时的增减Executor个数,从而实现动态分配资源,使整个Spark系统更加健康。 可通过如下方法开启动态资源分配功能,其他相关配置可参考Yarn模式下动态资源调度。
0及之后版本支持静态服务池)和Yarn在部署节点可使用的CPU、I/O和内存总量。 实现服务级别的资源隔离,可将集群中的服务与其他服务隔离,使一个服务上的负载对其他服务产生的影响有限。 调度机制简介 静态服务资源支持基于时间的动态调度机制,可以在不同时间段为服务配置不同的资源量,优化客户业务运行环境,提高集群的效率。
输入路径目录名、输入路径的子目录名及子文件名不能包含特殊字符/\"':;,中的任意字符。 如果设置的作业需要使用指定YARN队列功能,该用户需要已授权有相关YARN队列的权限。 设置任务的用户需要获取该任务的执行权限,并获取该任务对应的连接的使用权限。 操作步骤 设置作业基本信息
tor和oracle-connector具有以下优点: 负载均匀,数据分片的个数和范围与源表的数据无关,而是由源表的存储结构(数据块)确定,颗粒度可以达到“每个数据块一个分区”。 性能稳定,完全消除“数据偏斜”和“绑定变量窥探”导致的“索引失效”。 查询速度快,数据分片的查询速度比用索引快。
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程直接内存使用
告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 JDBCServer2x进程非堆内存使用