检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS集群用户的OBS的细粒度访问权限配置了MRS用户访问OBS文件系统下的目录的权限,则还需配置回收站目录的操作权限。 表1 需要配置生命周期策略的目录 集群版本 回收站目录类型 组件名称
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。
位信息”中的角色名并确定实例的IP地址。 告警上报的角色是HMaster,执行2。 告警上报的角色是RegionServer,执行3。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”,单击告警上报的HMas
产生告警的主机名。 对系统的影响 用户HA证书文件已经失效,会导致主备模式下FlinkServer将无法正常对外提供服务,FlinkServer提交Flink作业功能无法正常使用。 可能原因 用户HA证书文件失效。 处理步骤 查看告警信息。 登录FusionInsight Manager首页,选择“运维
性能优化类 Hadoop压力测试工具如何获取? 如何提高集群Core节点的资源使用率? 如何配置MRS集群knox内存? 如何调整MRS集群manager-executor进程内存? 如何设置Spark作业执行时自动获取更多资源? spark.yarn.executor.memo
使用flink_admin登录Manager,选择“集群 > 服务 > Flink”,在“Flink WebUI”右侧,单击链接,访问Flink的WebUI。 参考如何创建FlinkServer作业,新建Flink SQL流作业,在作业开发界面进行如下作业配置。然后输入SQL,执行SQL校
的主机名。 删除DataNode数据目录中与磁盘规划不符的目录。 单击“组件管理 > HDFS > 实例”,在实例列表中单击产生告警的节点主机上的DataNode实例。 单击“实例配置”,查看DataNode数据目录配置参数“dfs.datanode.data.dir”的值。 查
配置Controller与Agent间数据传输加密 以omm用户登录到主管理节点。 执行以下命令,防止超时退出。 TMOUT=0 执行完本章节操作后,请及时恢复超时退出时间,执行命令TMOUT=超时退出时间。例如:TMOUT=600,表示用户无操作600秒后超时退出。 执行以下命令,切换目录。
告警”页面,查看该告警的“定位信息”和“附加信息”,获取该告警上报的故障磁盘位置信息。 以root用户登录上报告警的节点,用户密码为安装前用户自定义,请咨询系统管理员,进入故障磁盘所在目录,使用ll命令查看该故障磁盘的权限是否711,用户是否为omm。 是,执行8。 否,执行6。 修改故障磁盘权限,如故障磁盘为data1,则执行以下命令:
在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > HBase > 实例”,单击告警上报的HMaster,进入实例“概览”页面,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > HMaster堆内存使用率与直接内存使用率统计”
率超过阈值 > 定位信息”。查看告警上报的实例主机名。 在FusionInsight Manager首页,选择“集群 > 待操作集群的名称 > 服务 > Mapreduce > 实例 > JobHistoryServer(对应上报告警实例主机名)”,单击图表区域右上角的下拉菜单,选择“定制
PathName 异常的文件路径或者名称。 对系统的影响 导致系统功能不可用。 可能原因 用户手动修改了文件权限、用户和用户组等信息或者系统异常下电等原因。 处理步骤 检查异常文件权限。 登录MRS集群详情页面,选择“告警管理”。 查看该告警的详细信息,查看定位信息中对应的“Hos
Python SparkThriftServerJavaExample 通过JDBC访问Spark SQL的程序 Java SparkThriftServerScalaExample 通过JDBC访问Spark SQL的程序 Scala SparkOnHbaseJavaExample-AvroSource
配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题: Spark Core企业级能力增强
产生告警的集群名称。 服务名 产生告警的服务名称。 任务名 产生告警的任务名称。 用户名 产生告警的用户名称。 对系统的影响 Flink作业的CheckPoint连续失败,超过阈值后Flink作业有失败的风险,需要用户介入查看Flink作业运行状态和日志来确定问题原因,是Flink作业级别
在FusionInsight Manager界面,选择“集群 > 服务 > Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表,如果
大降低了限制容器CPU使用的难度。 当前CGroups仅用于限制CPU使用率。 本章节适用于MRS 3.x及后续版本集群。 配置描述 有关如何配置CPU隔离与安全的CGroups功能的详细信息,请参见Hadoop官网: MRS 3.2.0之前版本:http://hadoop.apache
长度为128个字符,value为255个字符。删除时tags结构体不能缺失,key不能为空,或者空字符串。 接口约束 无 调用方法 请参见如何调用API。 URI POST /v1.1/{project_id}/clusters/{cluster_id}/tags/action 表1
新增作业 场景描述 在MRS集群中新增并提交一个作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。
终止作业 场景描述 当作业提交后未执行完成时,手动终止作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID,请参考获取项目ID获取。 已获取集群ID,即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。