检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置LakeFormation数据连接 LakeFormation概述 配置LakeFormation数据连接前准备 创建集群时配置LakeFormation数据连接 父主题: 管理MRS集群元数据
管理查询语句 单击“保存的查询”。 单击一条已保存的语句,系统会自动将其填充至编辑区中。 父主题: 创建Hue操作任务
服务维护模式 对特定服务进行维护操作时(例如对该服务的实例进行批量重启等可能影响业务的调试操作、对该服务相关的节点进行直接上下电或修复服务等),可仅将涉及的服务配置为维护模式。
查看MRS云服务操作日志 MRS管理控制台中记录了用户对MRS集群和作业的操作信息。日志信息常用于集群运行异常时的问题定位,帮助用户快速定位问题原因,以便及时解决问题。 目前MRS记录以下操作类型的日志信息: 集群操作 在管理控制台创建集群、删除集群、扩容集群和缩容集群等。
其中“sparkthriftserver2x”是Zookeeper上的目录,表示客户端从该目录下随机选择JDBCServer实例进行连接。 JDBC客户端代码 通过JDBC客户端代码连接JDBCServer,来访问SparkSQL的数据。
JdbcLookupBolt wordLookupBolt = new JdbcLookupBolt(connectionProvider, selectSql, jdbcLookupMapper); //JdbcInsertBolt 实例化
父主题: 集群管理接口
父主题: Spark运维管理
登录华为云MRS管理控制台,在“现有集群”列表中选择对应集群,单击“弹性伸缩”页签。 请开启卸载前关闭的弹性策略。 父主题: 回滚补丁
MapReduce为分布式计算框架,Map/Reduce任务启动所在的节点存在不确定性,建议将集群内NodeManager实例只保留一个运行,其他全部停止,以保证任务一定会在这个唯一运行的NodeManager节点上启动。
MapReduce为分布式计算框架,Map/Reduce任务启动所在的节点存在不确定性,建议将集群内NodeManager实例只保留一个运行,其他全部停止,以保证任务一定会在这个唯一运行的NodeManager节点上启动。
从Manager页面重启DataNode实例。 父主题: 使用HDFS
处理步骤 登录FusionInsight Manager,选择“运维 > 告警 > 告警”,查找告警“ALM-47004 MemArtsCC Worker的read请求平均时延超过阈值”,根据告警信息找到状态异常的MemArtsCC实例节点,并从附加信息中找到当前告警值。
父主题: 管理MRS集群组件
MRS集群用户鉴权策略 安全模式 大数据平台用户完成身份认证后,系统还需要根据实际权限管理配置,选择是否对用户进行鉴权,确保系统用户拥有资源的有限或全部权限。如果系统用户权限不足,需要由系统管理员为用户授予各个组件对应的权限后,才能访问资源。
父主题: 作业管理接口
对系统的影响 Broker实例扩容后长时间未完成分区均衡操作,导致Kafka服务长时间处于分区不均衡状态,可能会影响业务读写流量性能降低。 可能原因 迁移的分区数据量过大,限流参数设置的太小。 处理步骤 登录KafkaUI页面。
INPUT_DIR_NAME + File.separator + "data.txt")); FileOutputFormat.setOutputPath(job, new Path(baseDir, OUTPUT_DIR_NAME)); // 设置输出键值类型
父主题: 集群管理接口
父主题: Hudi数据管理维护