检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
委托管理 查询用户(组)与IAM委托的映射关系 更新用户(组)与IAM委托的映射关系 父主题: API V2
MRS集群管理 MRS集群阈值类告警配置说明 提交Spark任务到新增Task节点 配置MRS集群弹性伸缩
执行Spark任务报内存不足告警如何处理? 修改hdfs-site.xml文件后未及时重启NameNode导致产生告警如何处理? SparkSQL访问Hive分区表启动Job前耗时较长如何处理? MRS集群用户绑定多个队列时系统如何选择队列?
配置源数据心跳表实现数据判齐功能 操作场景 心跳和数据判齐功能用于统计CDL同步任务的全链路信息, 包括从数据库管理系统RDBMS到Kafka的数据耗时、从Kafka消费数据写入到Hudi的数据耗时和数据条数等一系列信息,并将其写入到特定的Topic(cdl_snapshot_t
修改MRS集群LDAP管理账户密码 建议管理员定期修改集群LDAP管理账户“cn=krbkdc,ou=Users,dc=hadoop,dc=com”和“cn=krbadmin,ou=Users,dc=hadoop,dc=com”的密码,以提升系统运维安全性。 该章节仅适用于MRS
查询集群的主管理节点,具体请参考查看MRS集群主备管理节点。 为集群的主管理节点绑定一个弹性IP地址。 具体请参见为弹性云服务器申请和绑定弹性公网IP。 在本地启动Git Bash,执行以下命令登录集群的主管理节点: ssh root@弹性IP地址 或执行如下命令: ssh -i 密钥文件路径
删除MRS集群用户 根据业务需要,管理员应在Manager删除不再使用的系统用户。 用户删除后,已经发放的TGT在24小时内仍然有效,用户可以使用该TGT继续进行安全认证并访问系统。 如新建用户与已删除用户同名,则会继承已删除用户的拥有的所有Owner权限。建议根据实际业务需求决
登录安装了MySQL的节点,执行以下命令,连接Doris数据库。 若集群已启用Kerberos认证(安全模式),需先执行以下命令再连接Doris数据库: export LIBMYSQL_ENABLE_CLEARTEXT_PLUGIN=1 mysql -u数据库登录用户 -p -PFE查询连接端口 -hDoris
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时,通常需要通过--jars命令指定kafka相关jar包的路径,例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x
IoTDB运维管理 IoTDB常用配置参数 IoTDB日志介绍 规划IoTDB容量 手动导入IoTDB数据 手动导出IoTDB数据 父主题: 使用IoTDB
删除资源池前需要先清除策略,请参见清除MRS租户队列配置。 通过管理控制台管理资源池 登录MRS管理控制台。 选择“现有集群”,选中一个运行中的集群并单击集群名称,进入集群信息页面。 在集群详情页,单击“租户管理”。 单击“资源池”页签。 在资源池列表指定资源池所在行的“操作”列,单击“修改”。
Superior调度器模式下管理MRS全局用户策略 操作场景 如果租户配置使用Superior调度器,那么系统可以控制具体用户使用资源调度器的行为,包含: 最大运行任务数 最大挂起任务数 默认队列 管理MRS全局用户策略 添加策略 在FusionInsight Manager,单击“租户资源”。
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时,通常需要通过--jars命令指定kafka相关jar包的路径,例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时,通常需要通过--jars命令指定kafka相关jar包的路径,例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x
-f:用于指定想要导入的数据,可以指定文件或者文件夹。如果指定的是文件夹,将会把文件夹中所有后缀为txt与csv的文件进行批量导人。例如: -f filename.csv。 -fd:用于指定一个目录来存放导入失败的文件,如果没有指定该参数,失败的文件将会被保存到源数据的目录中,文件名为源文件名加上
ClickHouse用户权限管理 ClickHouse用户权限说明 创建ClickHouse角色 配置ClickHouse对接OpenLDAP认证系统 父主题: 使用ClickHouse
修改OMS数据库管理员密码 建议管理员定期修改OMS数据库管理员的密码,以提升系统运维安全性。 使用root用户登录主管理节点。 ommdba用户密码不支持在备管理节点修改,否则集群无法正常工作。只需在主管理节点执行修改操作,无需在备管理节点操作。 执行以下命令,切换用户。 sudo
修改MRS集群数据库用户密码 修改OMS数据库管理员密码 修改OMS数据库访问用户密码 修改MRS集群组件数据库用户密码 重置MRS集群组件数据库用户密码 重置DBService数据库omm用户密码 修改DBService数据库compdbuser用户密码 父主题: MRS集群安全配置
待删除租户的角色,不能与任何一个用户或者用户组存在关联关系。 通过管理控制台删除租户 在集群详情页,单击“租户管理”。 在左侧租户列表,将光标移动到需要删除的租户节点上,单击“删除”。 界面显示删除租户对话框。根据业务需求,需要保留租户已有的数据时请同时勾选“保留该租户的数据”,否则将自动删除租户对应的存储空间。
Structured Streaming 任务提交方式变更 问题 用户提交结构流任务时,通常需要通过--jars命令指定kafka相关jar包的路径,例如--jars /kafkadir/kafka-clients-x.x.x.jar,/kafkadir/kafka_2.11-x