检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
”保存。 根据以上角色的设置,用户提交应用后,会在客户端打印WARN日志。出现WARN日志是由于Flink会去YARN获取资源剩余值并进行检测评估,但该操作需要admin操作权限,可用户并没有设置该权限。该问题不影响任务提交执行,可以忽略。WARN日志如下: Get node resource
API版本选择建议 当前MRS服务对外API提供云服务自定义规范的API V1.1和V2两类接口,V2版本目前仅部分接口支持,主要用于提交作业和提交SQL语句。在接口功能相同的情况下,推荐您优先使用V2接口。 MRS所有版本均支持V1.1接口。 针对MRS 1.X版本的集群,MRS
API V1.1 集群管理接口 弹性伸缩接口 标签管理接口 可用区 版本元数据查询
法访问Manager。 检查用户权限:当前用户是否有访问Manager的权限,“ReadOnlyAccess”表示MRS的只读权限,拥有该权限的用户仅能查看MRS的资源,无法访问Manager页面。 检查是否绑定弹性IP:如果需要从本地访问Manager,需要对集群绑定弹性IP且弹性IP可用才可访问。
"master_scale_up", "mrs_ecs_agency", "multi_disks", "multi_login_mode", "obs_integration", "obs_user_policy", "opensource_port_matrix", "ops_channel", "password_policy_v2"
了StoppableFunction接口的作业。“stop”命令会等待所有资源都正确关闭。相比“cancel”命令,“stop”停止作业的方式更为优雅,但可能导致停止作业失败。 flink脚本的其他参数可以通过以下命令获取: bin/flink --help 注意事项 如果yarn-session
Spark同时访问两个HBase样例程序 Spark同时访问两个HBase样例程序开发思路 Spark同时访问两个HBase样例程序(Scala) 父主题: 开发Spark应用
YARN Java API接口介绍 关于YARN的详细API可以直接参考官方网站上的描述:http://hadoop.apache.org/docs/r3.1.1/api/index.html 常用接口 YARN常用的Java类有如下几个。 ApplicationClientProtocol
Hadoop客户端操作日志。 hdfs-period-check.log 周期运行的脚本的日志记录。包括:自动均衡、数据迁移、JournalNode数据同步检测等。 <process_name>-<SSH_USER>-<DATE>-<PID>-gc.log 垃圾回收日志。 postinstallDetail
0,iops = 0或带宽 = 0,且ioutil > 99%。 系统默认每3秒采集一次数据,在300秒内至少50%次检测到的svctm时延达到500ms。 系统采集周期为3秒,检测周期为30秒或300秒,当系统连续3个30秒、300秒的周期均不满足对应条件时,告警自动清除。 MRS 3.3
impleConsumer API仅支持访问未设置ACL的Topic,安全接口说明见Kafka安全接口介绍) SimpleConsumer API属于lowlevel的Consumer API需要访问zookeeper元数据,管理消费Topic队列的offset,一般情况不推荐使用。
建的用户,访问备集群的HBase容灾数据。 主集群HBase源数据表修改权限时,如果备集群需要正常读取数据,请修改备集群角色的权限。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略进行权限管理,具体操作可参考添加HBase的Ranger访问权限策略。 同步主集群表数据。
选主,从而短暂影响ClickHouse使用ZooKeeper。告警每两个小时检查一次,当zxid低32位超过设定阈值,则上报告警。 当系统检测到zxid低32位低于设定阈值时,告警恢复。 告警属性 告警ID 告警级别 是否可自动清除 45449 重要 是 告警参数 类别 参数名称
/s/m/h/d。 60s 否 akka.watch.threshold DeathWath失败检测阈值,较小的数值容易把正常TaskManager标记为失败,较大的值增加了失败检测的时间。 12 否 akka.tcp.timeout 发送连接TCP超时时间,如果经常发生满网络环
", "obs:bucket:ListBucket", "obs:object:PutObject", "obs:object:GetAccessLabel", "obs:object:DeleteAccessLabel", "obs:object:PutAccessLabel"
可用区 查询可用区信息 父主题: API V1.1
标签管理接口 集群操作默认标签 查询默认标签状态 查询标签配额 父主题: API V2
HDFS访问OBS 功能简介 访问OBS过程为: 设置“fs.obs.access.key”和“fs.obs.secret.key”。 由此FileSystem实例可以读取、新增和删除各类资源。 不支持追加操作。 前提条件 对接OBS前需要提前在OBS服务中创建相关目录,并确保访问用户具有对应目录的访问操作权限。
访问MRS Manager页面报错“502 Bad Gateway” 用户问题 访问集群管理页面地址打开显示“502 Bad Gateway”错误。 问题现象 未开启Kerberos认证的集群,访问MRS Manager页面报错如下图: 图1 MRS Manager页面报错 原因分析
ConfigNode IoTDB FE Doris BE Doris DBroker Doris TokenServer Guardian JobServer JobGateway JobBalancer JobGateway 父主题: 附录