检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
产生告警的主机名。 对系统的影响 可能引起Manager主备倒换。Manager和组件WebUI服务不可用,无法对Web上层应用正常提供集群管理功能,可能引起无法登录Manager和组件的WebUI。 可能原因 Tomcat目录权限异常,Tomcat进程异常。 处理步骤 检查Tomcat目录权限是否正常。
添加用户”,在新增用户界面创建一个机机用户,例如developuser。 “用户组”需加入“hive”用户组。 使用Ranger管理员用户rangeradmin登录Ranger管理页面。 rangeradmin用户默认密码为“Rangeradmin@123”,详细内容请参见用户账号一览表。 在
配置Hive单表动态视图的访问控制权限 配置创建临时函数的用户不需要具有ADMIN权限 配置具备表select权限的用户可查看表结构 配置仅Hive管理员用户能创建库和在default库建表 配置Hive支持创建超过32个角色 创建Hive用户自定义函数 配置Hive Beeline高可靠性
HBase数据迁移到MRS Hive数据迁移到MRS MySQL数据迁移到MRS Hive 06 API 通过MRS开放的丰富API和调用示例,您可以使用并管理集群、作业等。 API文档 API概览 如何调用API 创建集群并执行作业 策略及授权项说明 07 大数据组件的应用开发指导 通过参考MR
安装补丁 安装补丁 登录MRS管理控制台。 选择“现有集群”,选中一集群并单击集群名,进入集群基本信息页面。 进入“补丁管理”页面,在操作列表中单击“安装”。 进入“警告”页面,阅读补丁说明,并单击“确定”。 图1 安装补丁 如果任务失败,选择“重试安装”,只有当“状态”显示为“已安装”时,才能进入下一步操作。
在“配置资源权限”的表格中选择“待操作集群的名称 > Yarn > 调度队列 > root”,勾选“default”的“提交”和“管理”,单击“确定”保存。 说明: Hive应用开发需要到的额外的操作权限需要从系统管理员处获取。 ClickHouse 在“配置资源权限”的表格中选择“待操作集群的名称 > ClickHouse
RegionServer是HBase集群运行在每个工作节点上的服务。一方面维护Region的状态,提供对于Region的管理和服务;另一方面,上传Region的负载信息,参与Master的分布式协调管理。 时间戳 用于索引同一份数据的不同版本,时间戳的类型是64位整型。时间戳可以由HBase在数据写入时自动赋值或者由客户显式赋值。
最后可将src_data表删除。 前提条件 将OBS数据源中的数据写入Spark SQL表中时,需要先获取AK/SK。获取方法如下: 登录管理控制台。 单击用户名,在下拉列表中单击“我的凭证”。 单击“访问密钥”。 单击“新增访问密钥”,进入“新增访问密钥”页面。 输入登录密码和
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有FlinkServer管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。
单击“Attempt ID”列的ID 图4 单击“Logs” 使用具有当前Flink作业的管理操作权限的用户登录Manager,选择“集群 > 服务 > Flink”,单击“Flink WebUI”后的链接,单击“作业管理”,在作业的“操作”列选择“更多 > 作业详情”也可查看Taskmanager日志。
Manager页面,在告警列表中,单击此告警所在行的,查看告警详情中涉及的主机列表。 以omm用户登录主OMS管理节点。管理节点的主备状态及对应IP地址可在FusionInsight Manager主机管理界面查看。 依次在告警详情中的节点执行ssh命令:ssh host2(host2为告警详情中
b。 单击“管理委托”,为集群绑定具有OBS文件系统操作权限的委托。 您可以直接选择系统默认的“MRS_ECS_DEFAULT_AGENCY”,也可以单击“新建委托”自行创建其他具有OBS文件系统操作权限的委托。 提交wordcount作业。 在MRS控制台选择“作业管理”页签,单
部分数据节点瘫痪。 处理步骤 扩展系统配置。 分析集群HDFS使用情况,增加HDFS分配给Hive使用的容量上限。 登录MRS集群详情页面,单击“组件管理 > Hive > 服务配置”,将“基础配置”切换为“全部配置”,然后查找“hive.metastore.warehouse.size.p
不同的Eclipse不要使用相同的workspace和相同路径下的示例工程。 准备一个应用程序运行测试的Linux环境。 准备运行调测环境 在弹性云服务器管理控制台,申请一个新的弹性云服务器,用于用户应用程序开发、运行、调测。 弹性云服务器的主机操作系统选择“EulerOS”,版本请根据需要选择。
备GaussDB异常。 备节点磁盘空间满。 处理步骤 登录MRS集群详情页面,单击“告警管理”,在告警列表中单击此告警所在行,在告警详情中查看该告警的GaussDB备节点IP地址。 登录主管理节点。 执行以下命令检查备GaussDB节点是否可达。 ping 备GaussDB心跳IP地址
网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络读吞吐率超过阈值,直接联系系统管理员,提升网口速率。 检查该告警是否恢复。 是,处理完毕。 否,执行9 收集故障信息。 在MRS Manager界面,单击“系统设置
网口名称,查看当前网口速率最大值Speed。 对于虚拟机环境,通过命令可能无法查询到网口速率,建议直接联系系统管理确认网口速率是否满足需求。 若网络写吞吐率超过阈值,直接联系系统管理员,提升网口速率。 检查该告警是否恢复。 是,处理完毕。 否,执行9 收集故障信息。 在MRS Manager界面,单击“系统设置
用户自定义,请咨询系统管理员。 执行命令su - omm,切换至omm用户。 执行sh ${BIGDATA_HOME}/om-server/OMS/workspace0/ha/module/hacom/script/status_ha.sh,查询当前HA管理的executor资源
访问KuduMaster WebUI(MRS 3.x之前版本) 登录Manager页面,请参见访问MRS Manager(MRS 3.x之前版本)。 选择“服务管理 > Kudu”。 在“Kudu 概述”的“KuduMaster WebUI”中单击“KuduMaster(KuduMaster)”,打开KuduMaster的WebUI页面。
支持Schema演进功能 支撑分区演进功能 支持隐式分区功能 支持历史版本回溯功能 Iceberg关键技术和优势 Iceberg支持分支和标签功能,能更加灵活的管理快照生命周期。 Iceberg支持丰富的Spark SQL能力。 父主题: 组件介绍