检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
能提交任务。 队列访问控制列表(Queue Acl) 为了方便管理集群中的用户,YARN将用户/用户组分成若干队列,并指定每个用户/用户组所属的队列。每个队列包含两种权限:提交应用程序权限和管理应用程序权限(比如终止任意应用程序)。 开源功能: 虽然目前YARN服务的用户层面上支持如下三种角色:
org/confluence/display/Hive/HiveServer2+Clients。 指定租户 一般情况下,某用户提交的客户端会连接到该用户默认所属租户的JDBCServer上,若需要连接客户端到指定租户的JDBCServer上,可以通过添加--hiveconf mapreduce.job
合成单个用户感观字符(这是语言书写系统的基本单位),但是函数会将每个代码点视为单独的单位。 lower和upper函数不执行某些语言所需的区域设置相关、上下文相关或一对多映射。 chr(n) → varchar 描述:返回Unicode编码值为n的字符值。 select chr(100);
taskmanager.network.netty.sendReceiveBufferSize: 0 # netty的传输方式,默认方式会根据运行的平台选择合适的方式 taskmanager.network.netty.transport:auto 内存总体调优 Flink内部对内存进行了
单击需要操作的集群名称,选择“更多 > 下载客户端”,弹出“下载集群客户端”信息提示框。 选择“完整客户端”,选择与待安装节点架构相匹配的平台类型,勾选“仅保存到如下路径”,单击“确定”开始生成客户端文件。 文件生成后默认保存在主管理节点“/tmp/FusionInsight-Client”。
连接数据库使用的用户名。 密码 连接数据库使用的密码。 连接属性 连接属性,单击“添加”手动添加。 名称:连接属性名 值:连接属性值 “组”设置“作业”所属组,默认没有已创建的组,单击“添加”创建一个新的组,单击“确定”保存。 “队列”设置Loader的任务在指定的Yarn队列中执行。默认值“root
cluster 启用HBase容灾功能同步数据。 检查备集群的HBase服务实例中,是否已存在一个命名空间,与待启用容灾功能的HBase表所属的命名空间名称相同? 是,存在同名的命令空间,执行14。 否,不存在同名的命令空间,需先在备集群的HBase shell中,创建同名的命名空间,然后执行14。
连接数据库使用的用户名。 密码 连接数据库使用的密码。 连接属性 连接属性,单击“添加”手动添加。 名称:连接属性名 值:连接属性值 “组”设置“作业”所属组,默认没有已创建的组,单击“添加”创建一个新的组,单击“确定”保存。 “队列”设置Loader的任务在指定的Yarn队列中执行。默认值“root
当前已创建的规则单击“取消应用”后,才能应用新规则。 配置MRS集群告警阈值(MRS 2.x及之前版本) 在MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,单击“阈值配置”,依据规划选择监控指标并设置其基线。 单击某一指标例如“CPU使用率”,单击“添加规则”。 在“配置”对话框中填写监控指标规则参数。
cluster 启用HBase容灾功能同步数据。 检查备集群的HBase服务实例中,是否已存在一个命名空间,与待启用容灾功能的HBase表所属的命名空间名称相同? 是,存在同名的命令空间,执行14。 否,不存在同名的命令空间,需先在备集群的hbase shell中创建同名的命名空间,然后执行14。
Stage 每个Job由多个Stage组成,每个Stage是一个Task集合,由DAG分割而成。 Task 承载业务逻辑的运算单元,是Spark平台上可执行的最小工作单元。一个应用根据执行计划以及计算量分为多个Task。 Spark应用运行原理 Spark的应用运行架构如图 Spark应用运行架构所示,运行流程如下所示:
连接数据库使用的用户名。 密码 连接数据库使用的密码。 连接属性 连接属性,单击“添加”手动添加。 名称:连接属性名。 值:连接属性值。 “组”设置作业所属组,默认没有已创建的组,单击“添加”创建一个新的组,单击“确定”保存。 “队列”设置Loader的任务在指定的Yarn队列中执行。默认值“root
MRS集群系统的内部运行用户。在全部节点生成,属于操作系统用户,无需设置为统一的密码。 MRS集群节点操作系统用户 root 用户设置的密码。 MRS集群所属节点的登录用户。在全部节点生成,属于操作系统用户。 系统内部用户 以下系统内部用户不能删除,否则可能导致集群或组件无法正常工作。 仅在已启用Kerberos认证的集群中使用。
连接数据库使用的用户名。 密码 连接数据库使用的密码。 连接属性 连接属性,单击“添加”手动添加。 名称:连接属性名。 值:连接属性值。 “组”设置作业所属组,默认没有已创建的组,单击“添加”创建一个新的组,单击“确定”保存。 “队列”设置Loader的任务在指定的Yarn队列中执行。默认值“root
表12 Yarn参数说明 参数 描述 默认值 是否必选 yarn.maximum-failed-containers 当TaskManager所属容器出错后,重新申请container次数。默认值为Flink集群启动时TaskManager的数量。 5 否 yarn.application-attempts
String 参数解释: 角色简称。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 component String 参数解释: 角色所属组件。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 node_preference String 参数解释: 部署倾向。 约束限制:
表12 Yarn参数说明 参数 描述 默认值 是否必选 yarn.maximum-failed-containers 当TaskManager所属容器出错后,重新申请container次数。默认值为Flink集群启动时TaskManager的数量。 5 否 yarn.application-attempts
3.x及之后版本)登录MRS集群的FusionInsight Manager界面。 选择“运维 > 告警 > 屏蔽设置”。 在“屏蔽设置”区域,选择指定的服务或模块。 单击待操作告警对应“操作”列的“屏蔽”,在弹出的对话框中单击“确定”,修改告警的屏蔽状态为“屏蔽”。 图3 屏蔽告警
2等在MRS购买页可见的云服务器规格。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。该参数建议从MRS控制台的集群创建页面获取对应区域对应版本所支持的规格。 约束限制: 不涉及 取值范围: 不涉及 默认取值: 不涉及 data_volume_type 是 String 参数解释: