检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
已创建好集群,并准备pem格式的密钥文件或创建集群时的密码。 用户本地环境可以访问互联网。 登录MRS管理控制台,选择“现有集群”。 单击指定名称的MRS集群。 记录集群的“安全组” 。 为集群Master节点的安全组添加一条需要访问MRS集群的IP地址的入规则,允许指定来源的数据访问端口“22”。
HostName 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。 对系统的影响 ZooKeeper可用内存不足,可能会造成内存溢出导致服务崩溃。 可能原因 该节点ZooKeeper实例内存使用量过大,或分配的内存不合理,导致使用量超过阈值。
0.11补丁安装后,需要重新下载安装全量的客户端,包含Master节点的原始客户端和虚拟私有云的其他节点使用的客户端(即您自行搭建的客户端)。 主备Master节点的原始客户端全量更新,请参见更新客户端配置(2.x及之前版本)。 自行搭建的客户端全量安装方法,请参见安装客户端(2
本文以购买的MRS 3.1.0版本的集群为例,集群未开启Kerberos认证。 在本示例中,由于要分析处理OBS文件系统中的数据,因此在集群的高级配置参数中要为MRS集群绑定IAM权限委托,使得集群内组件能够对接OBS并具有对应文件系统目录的操作权限。 您可以直接选择系统默认的“MR
集群版本 待创建的MRS集群版本。 MRS 3.1.0 组件选择 选择待创建的MRS集群配套的组件。 Hadoop分析集群 可用区 选择集群工作区域下关联的可用区。 可用区1 虚拟私有云 选择需要创建集群的VPC,单击“查看虚拟私有云”进入VPC服务查看已创建的VPC名称和ID。
4xlare.2等在MRS购买页可见的云服务器规格。当前支持主机规格的配型由CPU+内存+Disk共同决定。实例规格详细说明请参见MRS所使用的弹性云服务器规格和MRS所使用的裸金属服务器规格。 该参数建议从MRS控制台的集群创建页面获取对应区域对应版本所支持的规格。 约束限制: 不涉及 取值范围:
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 200 请求处理结果 错误码 请参见错误码。 父主题: 集群管理接口
参数解释: 标签的键。 约束限制: 不涉及 取值范围: 标签的key值可以包含任意语种字母、数字、空格和_.:=+-@,但首尾不能含有空格,不能以_sys_开头。 默认取值: 不涉及 values 否 Array of strings 参数解释: 标签的值。 约束限制: 标签的value值可以包含任意语种字母、数字、空格和_
取值范围: 同一个集群的自定义自动化脚本名称不允许相同。只能由英文字母、数字以及“_”和“-”组成,且长度为[1-64]个字符。 默认取值: 不涉及 uri 是 String 参数解释: 自定义自动化脚本的路径。设置为OBS桶的路径或虚拟机本地的路径。 OBS桶的路径:直接手动输入脚
} else { fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 在MRS集群中终止指定作业成功 400 在MRS集群中终止指定作业失败
在yarn-client模式下,Spark的Driver和ApplicationMaster作为两个独立的进程在运行。当Driver完成任务退出时,会通知ApplicationMaster向ResourceManager注销自身,即调用unregister方法。 由于是远程调用,则存在发生网络故障的可能性。当发
在yarn-client模式下,Spark的Driver和ApplicationMaster作为两个独立的进程在运行。当Driver完成任务退出时,会通知ApplicationMaster向ResourceManager注销自身,即调用unregister方法。 由于是远程调用,则存在发生网络故障的可能性。当发
fmt.Println(err) } } 更多编程语言的SDK代码示例,请参见API Explorer的代码示例页签,可生成自动对应的SDK代码示例。 状态码 状态码 描述 202 同步请求下发的结果 错误码 请参见错误码。 父主题: IAM同步管理接口
连接数的百分之八十)时产生该告警。 连接数小于阈值时,告警恢复。 告警属性 告警ID 告警级别 可自动清除 13001 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。
警产生。 使用客户端验证,通过hbase shell进入hbase命令行后,执行list验证需要运行多久。 开启HDFS的debug日志,然后查看下层目录很多的路径(hadoop fs -ls /XXX/XXX),验证需要运行多久。 打印HMaster进程jstack: su -
管理员不能设置或取消业务用户的Independent属性。 管理员不能获取私有用户的认证凭据。 配置MRS集群用户私有属性前提条件 已获取要求权限的管理员用户和密码。 配置用户私有属性开关 以admin用户或绑定Manager_administrator角色的用户登录FusionInsight
样例工程获取地址参见获取MRS应用开发样例工程,切换分支为与MRS集群相匹配的版本分支,然后下载压缩包到本地后解压,即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用,当前版本各组件提供的样例工程汇总参见表1。 表1 各组件样例工程汇总 组件 样例工程位置
Hive动态脱敏功能开启后,配置脱敏列的数据可以参与计算,计算结果输出时不可见,在集群内脱敏策略会根据血缘关系自动传递,更大的发挥数据的价值同时保障数据的隐私性。 使用约束 不支持Hudi表的脱敏。 不支持涉及直接读写HDFS的操作的脱敏。 不支持复杂数据类型array、map、struct的脱敏。 自定
大内存的90%)时,产生该告警。 直接内存使用率小于阈值时,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 18013 重要 是 告警参数 参数名称 参数含义 来源 产生告警的集群名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。
Column 该策略允许访问的HBase表对应的表的列名。 name Allow Conditions Select Group:该策略允许访问的用户组。 Select User:该策略允许访问的用户组中的用户。 Permissions:该策略允许用户使用的权限。 Select Group:testuser