检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 通过管理控制台启停集群 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。
在运行的任务将失败。 HiveServer滚动重启时,将等待客户端连接断开,最长等待30分钟。 Mapreduce 直接重启 重启期间无法访问作业历史页面查看历史任务信息,不影响作业运行。 直接重启耗时约5分钟。 滚动重启 滚动重启不影响业务。 滚动重启耗时约10分钟。 Yarn
警恢复。 告警属性 告警ID 告警级别 可自动清除 14002 严重 是 告警参数 参数名称 参数含义 ServiceName 产生告警的服务名称。 RoleName 产生告警的角色名称。 HostName 产生告警的主机名。 Trigger condition 系统当前指标取值满足自定义的告警设置条件。
公共APIG维护人员。 若是MRS侧错误,继续下一步。 排查服务和进程运行状态等基本情况。 登录Manager界面确认是否有服务故障,如果有作业相关服务故障或者底层基础服务故障,需要解决故障。 查看是否有严重告警。 登录主Master节点。 执行如下命令查看OMS状态是否正常,主
SDK”为“SDKs”中添加的JDK。 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
华为提供开源镜像站,各服务样例工程依赖的Jar包通过华为开源镜像站下载,剩余所依赖的开源Jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载,详情请参考配置华为开源镜像仓。 7-zip 用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。 父主题: 准备Doris应用开发环境
打开FusionInsight Manager页面,在告警列表中,单击此告警所在行的,查看该告警的主机名称。 以root用户登录该告警的主机地址,用户密码为安装前用户自定义,请咨询系统管理员。 执行命令su - omm,执行sh ${BIGDATA_HOME}/om-server/
快联系运维人员进行处理。 打开FusionInsight Manager页面,在告警列表中,单击此告警所在行,在告警详情中查看该告警的主机地址,通过附加信息中的“DumpedFilePath”属性查看产生的core文件的存放路径。 以omm用户登录产生告警的主机,执行gdb --
> 告警 > ALM-45654 Flink HA证书文件即将过期 > 定位信息”,查看告警上报的主机名,单击“主机”,查看主机名对应的IP地址。 检查系统中合法HA证书文件的有效期,重新生成HA证书文件。 以omm用户登录告警所在节点主机。 执行命令cd ${BIGDATA_HO
以用户为核心的平台和以多租户为核心的平台 对于以用户为核心的大数据平台,用户直接访问并使用全部的资源和服务。 用户的应用可能只用到集群的部分资源,资源利用效率低。 不同用户的数据可能存放在一起,难以保证数据安全。 对于以租户为核心的大数据平台,用户通过访问租户来使用需要的资源和服务。 按照应用需求分配和调度
数据操作:IAM用户任务、新增用户、新增用户组等操作 记录用户操作的日志信息如图1所示: 图1 日志信息 父主题: 集群管理类
Spark用户权限管理 SparkSQL权限介绍 创建SparkSQL角色 配置Spark表、列和数据库的用户权限 配置SparkSQL业务用户权限 配置Spark2x Web UI ACL Spark客户端和服务端权限参数配置说明 父主题: 使用Spark2x(MRS 3.x及之后版本)
-3将jstack信息打印到.out日志文件里,从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理.out日志文件的定时任务。后台登录HDFS的实例节点,在crontab -e中添加每天0点清理.out日志的定时任务。 crontab -e 00 00
MapReduce二次开发远程调试 问题 MapReduce二次开发过程中如何远程调试业务代码? 回答 MapReduce开发调试采用的原理是Java的远程调试机制,在Map/Reduce任务启动时,添加Java远程调试命令。 首先理解两个参数:“mapreduce.map.java
MERGE INTO 命令功能 通过MERGE INTO命令,根据一张表或子查询的连接条件对另外一张表进行查询,连接条件匹配上的进行UPDATE或DELETE,无法匹配的执行INSERT。这个语法仅需要一次全表扫描就完成了全部同步工作,执行效率要高于INSERT+UPDATE。 命令格式
WebUI”的账户和密码。 操作步骤 登录“Loader WebUI”界面。 登录FusionInsight Manager系统,具体请参见访问FusionInsight Manager(MRS 3.x及之后版本)。 选择“集群 > 待操作集群名称 > 服务 > Loader”。
”中勾选的操作权限。 access:表示执行的操作,各个组件支持的access各不相同。 Admin Ranger上操作审计信息,例如安全访问策略的创建/更新/删除、组件权限策略的创建/删除、role的创建/更新/删除等。 Login Sessions 登录Ranger的用户会话审计信息。
“IAM用户同步”右侧的“同步”进行IAM用户同步)。 如果通过Manager界面操作,需要已登录MRS集群Manager界面,详情请参考访问MRS集群Manager。 如果队列需要清除与某个资源池的绑定关系,该资源池不能作为队列的默认资源池,需要先将队列的默认资源池更改为其他资源池,请参见配置MRS租户队列。
MRS 2.1.1.1补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.1.1 发布时间 2023-07-28 新特性和优化 支持运维巡检 支持租户面直接对接CES 补丁兼容关系 MRS 2.1.1.1补丁包中包含MRS 2.1.1版本已发布的所有补丁内容。 安装补丁的影响
更换MRS集群证书 更换CA证书 更换HA证书 父主题: MRS集群安全配置