检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群,已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令:
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群,已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令:
停止使用。 如果在计费周期内不再使用包年/包月资源,您可以执行退订操作,系统将根据资源是否属于五天无理由退订等条件返还一定金额到您的账户。详细的退订规则请参见云服务退订规则概览。 如果您已开启“自动续费”功能,为避免继续产生费用,请在自动续费扣款日(默认为到期前7日)之前关闭自动续费。
确认上报告警的节点是否为虚拟化环境。 是,执行3。 否,执行6。 请检查虚拟化环境提供的存储性能是否满足硬件要求,检查完毕之后执行4。 以root用户登录告警节点,执行df -h命令,查看输出内容是否包含“磁盘名”字段的值。 是,执行6。 否,执行5。 执行lsblk命令,是否可以查到“磁盘名”字段值与磁盘设备的映射关系。
查看返回结果中字段LstFailedTime的值是否为NULL、VersionCount的值是否大于给定的阈值(默认为200)。 是,执行5。 否,执行8。 执行以下命令查看当前系统正在执行的Tablet修复和调度任务: show proc "/cluster_balance"; 根据实际运行环境判断返回结果中的“
MRS集群默认权限信息说明。 表1 IAM权限策略与MRS权限同步映射 策略类别 IAM策略 同步后用户在MRS对应默认权限 是否有权限执行同步操作 是否有权限提交作业 细粒度 MRS ReadOnlyAccess Manager_viewer 否 否 MRS CommonOperations
Ranger常见问题 安装集群过程中Ranger启动失败 如何判断某个服务是否使用了Ranger鉴权 新创建用户修改完密码后无法登录Ranger Ranger界面添加或者修改HBase策略时,无法使用通配符搜索已存在的HBase表 在Ranger管理界面查看不到创建的MRS用户
启用MRS集群间拷贝功能 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用,复制数据的集群双方都需要配置。 管理员可以根据以下指导,在Manager修改参数以启用集群间拷贝功能,启用
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。
本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从Opengauss导入数据到Hudi。 该章节内容适用于MRS 3.3.0及之后版本支持。 前提条件 集群已安装CDL、Hudi服务且运行正常。 Opengauss数据库需要开启预写日志功能,操
3.0-LTS.1及之后版本。 操作场景 在普通模式(未开启Kerberos认证)下对接开源或其他厂商ClickHouse时候,需设置参数“CLICKHOUSE_OPENSOURCE_COMMUNITY”才能对接,安全模式(开启Kerberos认证)不支持对接开源或其他厂商ClickHouse。
用户”,在用户列表中单击用户所在行的“修改”,在“用户组”中为该用户绑定“supergroup”组即可。 需排查OBS是否开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS运维人员。 对系统的影响 配置完该章节操作后,原始的客户端需要重新刷新配置,或重新安装客户端。
TimeoutException: Futures timed out after [10000 milliseconds] 可能原因 Flink开启了SSL通信加密,却没有正确的配置SSL证书。 解决办法 针对MRS 2.x及之前版本,操作如下: 方法1: 关闭Flink SSL通信加密
deleteCluster 集群扩容 cluster scaleOutCluster 集群缩容 cluster scaleInCluster 在您开启了云审计服务后,系统开始记录云服务资源的操作。云审计服务管理控制台保存最近7天的操作记录。相关操作步骤请参考“云审计服务(CTS) > 用户指南”。
用户需要在HBase中对指定的数据库或表设置权限,才能够创建表、查询数据、删除数据、插入数据、更新数据以及授权他人访问HBase表。 仅开启了Kerberos认证的集群(安全模式)支持创建HBase角色。 如果当前组件使用了Ranger进行权限控制,须基于Ranger配置相关策略
interval”的值。检查点程序每次运行时都会创建一个新的检查点并会移除fs.trash.interval分钟前创建的检查点。例如,系统每10分钟检测是否存在老化文件,如果发现有老化文件,则删除。对于未老化文件,则会存储在checkpoint列表中,等待下一次检查。 如果此参数的值设置为0,
上报告警的ClickHouseServer实例IP --user 用户名 --password --port 9000 执行以下语句,查询系统表判断是否有业务频繁写入,若有相关业务,等待业务执行完成,查看告警是否清除。 SELECT query_id, user, FQDN(), elapsed, query FROM
系统”。查看“GC_OPTS”参数中是否存在“-XX:MaxDirectMemorySize”。 是,执行5。 否,执行6。 调整“-XX:MaxDirectMemorySize”大小。 在“GC_OPTS”中查看 “-Xmx”配置的大小,并判断节点内存是否够用。 节点内存是否够用可根据实际环境进行判断,例如可使用以下方法:
mple Oozie提交MapReduce任务示例程序。 本示例演示了如何通过Java API提交MapReduce作业和查询作业状态,对网站的日志文件进行离线分析。 oozie-examples/oozienormal-examples/OozieSparkHBaseExample
如果选择滚动重启,根据实际情况调整相关参数。 图2 滚动重启 表1 滚动重启参数 参数名称 示例 描述 “只重启集群内配置过期的实例” - 是否只重启集群内修改过配置的实例。 “启用机架策略” - 是否启用机架并发滚动重启策略,只对满足机架策略滚动重启的角色(角色支持机架感知功能,且角色下的实例归属于2个或2个以上的机架)生效。