检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
用户”,在用户列表中单击用户所在行的“修改”,在“用户组”中为该用户绑定“supergroup”组即可。 需排查OBS是否开启AccessLabel功能,若未开启,需手动开启,详细操作请联系OBS运维人员。 对系统的影响 配置完该章节操作后,原始的客户端需要重新刷新配置,或重新安装客户端。
本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从Opengauss导入数据到Hudi。 该章节内容适用于MRS 3.3.0及之后版本支持。 前提条件 集群已安装CDL、Hudi服务且运行正常。 Opengauss数据库需要开启预写日志功能,操
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群,已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令:
使用Hudi-Cli.sh操作Hudi表 前提条件 对于开启了Kerberos认证的安全模式集群,已在集群FusionInsight Manager界面创建一个用户并关联“hadoop”和“hive”用户组。 已下载并安装Hudi集群客户端。 基础操作 使用root用户登录集群客户端节点,执行如下命令:
查看返回结果中字段LstFailedTime的值是否为NULL、VersionCount的值是否大于给定的阈值(默认为200)。 是,执行5。 否,执行8。 执行以下命令查看当前系统正在执行的Tablet修复和调度任务: show proc "/cluster_balance"; 根据实际运行环境判断返回结果中的“
deleteCluster 集群扩容 cluster scaleOutCluster 集群缩容 cluster scaleInCluster 在您开启了云审计服务后,系统开始记录云服务资源的操作。云审计服务管理控制台保存最近7天的操作记录。相关操作步骤请参考“云审计服务(CTS) > 用户指南”。
MRS集群上层应用开发是否支持Python? 问: MRS集群上层应用开发是否支持Python语言进行开发? 答: MRS服务中提供的样例工程和直接进行应用开发没有区别,两者都可以选择。 MRS服务支持Python代码,部分提供了Python样例代码的组件样例工程可参考开发指南文档相关章节。
如果选择滚动重启,根据实际情况调整相关参数。 图2 滚动重启 表1 滚动重启参数 参数名称 示例 描述 “只重启集群内配置过期的实例” - 是否只重启集群内修改过配置的实例。 “启用机架策略” - 是否启用机架并发滚动重启策略,只对满足机架策略滚动重启的角色(角色支持机架感知功能,且角色下的实例归属于2个或2个以上的机架)生效。
系统”。查看“GC_OPTS”参数中是否存在“-XX:MaxDirectMemorySize”。 是,执行5。 否,执行6。 调整“-XX:MaxDirectMemorySize”大小。 在“GC_OPTS”中查看 “-Xmx”配置的大小,并判断节点内存是否够用。 节点内存是否够用可根据实际环境进行判断,例如可使用以下方法:
当参数“min_table_check_data_bytes”值为“0”时,不启用数据倾斜检查。 当参数“min_table_check_data_bytes”值为大于“0”时,启用数据倾斜检查。 启用数据检查后,若表数据量小于min_table_check_data_bytes
启用MRS集群间拷贝功能 当用户需要将保存在HDFS中的数据从当前集群备份到另外一个集群时,需要使用DistCp工具。DistCp工具依赖于集群间拷贝功能,该功能默认未启用,复制数据的集群双方都需要配置。 管理员可以根据以下指导,在Manager修改参数以启用集群间拷贝功能,启用
ms所规定时间之后开始执行删,可以通过查看kafka的server.log检索是否有delete字段来判断删除操作是否生效,有delete字段则表示已经生效,也可以通过执行df -h命令查看磁盘的数据量占用情况判断设置是否生效。 父主题: 使用Kafka
Flink开启Checkpoint样例程序(Java) 功能介绍 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量,并做到状态严格一致性。 代码样例 快照数据 该数据在算子制作快照时用于保存到目前为止算子记录的数据条数。 import java.io.Seriablizale;
Kafka的样例程序运行环境即MRS服务所VPC集群的节点。 - 准备工程 Kafka提供了不同场景下的样例程序,您可以下载样例工程进行程序学习。或者您可以根据指导,新建一个Kafka工程。 导入并配置Kafka样例工程 根据场景开发工程 提供了Producer和Consumer相关API的使用样例,包含了
上报告警的ClickHouseServer实例IP --user 用户名 --password --port 9000 执行以下语句,查询系统表判断是否有业务频繁写入,若有相关业务,等待业务执行完成,查看告警是否清除。 SELECT query_id, user, FQDN(), elapsed, query FROM
描述 默认值 spark.sql.codegen.aggregate.map.twolevel.enabled 是否开启聚合算法优化: true:开启 false:不开启 true 父主题: Spark SQL性能调优
interval”的值。检查点程序每次运行时都会创建一个新的检查点并会移除fs.trash.interval分钟前创建的检查点。例如,系统每10分钟检测是否存在老化文件,如果发现有老化文件,则删除。对于未老化文件,则会存储在checkpoint列表中,等待下一次检查。 如果此参数的值设置为0,
Kafka是一个分布式的、分区的、多副本的消息发布-订阅系统,它提供了类似于JMS的特性,但在设计上完全不同,它具有消息持久化、高吞吐、分布式、多客户端支持、实时等特性,适用于离线和在线的消息消费,如常规的消息收集、网站活性跟踪、聚合统计系统运营数据(监控数据)、日志收集等大量数据的互联网服务的数据收集场景。
描述 默认值 spark.sql.codegen.aggregate.map.twolevel.enabled 是否开启聚合算法优化: true:开启 false:不开启 true 父主题: Spark SQL性能调优
说明: 对于Cluster的Create操作鉴权主要涉及以下两个场景: 集群开启了“auto.create.topics.enable”参数后,客户端向服务的还未创建的Topic发送数据的场景,此时会判断用户是否有集群的Create权限 对于用户创建大量Topic的场景,如果授予用户Cluster