检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HDFS需要开启NameNode镜像备份 NameNode的镜像备份参数为“fs.namenode.image.backup.enable”,需要设置该值为“true”,系统即可定期备份NameNode的数据。
V1.1 作业管理接口(废弃) 新增作业并执行(废弃) 查询作业exe对象列表(废弃) 查询作业exe对象详情(废弃) 删除作业执行对象(废弃) 父主题: 历史API
Maven库请参考指导通过开源镜像站获取样例工程。
数据迁移方案介绍 准备工作 元数据导出 数据复制 数据恢复 父主题: 数据迁移
集群创建类 如何使用自定义安全组创建MRS集群? 购买MRS集群时找不到HDFS、Yarn、MapReduce组件如何处理? 购买MRS集群时,找不到ZooKeeper组件如何处理? 购买MRS集群提交订单时报无效认证如何处理?
回答 MRS集群外部的节点,推荐配置镜像源后,直接使用pip安装impala-shell客户端。
区域(Region) 从地理位置和网络时延维度划分,同一个Region内共享弹性计算、块存储、对象存储、VPC网络、弹性公网IP、镜像等公共服务。
页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造
用自定义的字符替换数据中的\r\n等字符 --hive-drop-import-delims 在导入数据到hive时,去掉\r\n等字符 --map-column-hive 生成hive表时可以更改字段的数据类型 --hive-partition-key 创建分区 --hive-partition-value
为什么非static的KafkaPartitioner类对象去构造FlinkKafkaProducer010,运行时会报错? 为什么新创建的Flink用户提交任务失败,报ZooKeeper文件目录权限不足? 为什么Flink Web页面无法直接连接? 父主题: Flink开发指南
页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造
页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造
页面算子的文字部分显示异常 如何处理Checkpoint设置RocksDBStateBackend方式时Checkpoint慢 如何处理blob.storage.directory配置/home目录时启动yarn-session失败 如何处理非static的KafkaPartitioner类对象构造
默认取值: 不涉及 响应参数 状态码: 200 表3 响应Body参数 参数 参数类型 描述 templated Boolean 参数解释: 作业执行对象是否由作业模板生成。
同时MRS支持多租户对OBS存储的细粒度权限管理,根据多种用户角色来区分访问OBS桶及其内部的对象的权限,实现MRS用户对OBS桶下的目录权限控制。 MRS支持企业项目管理。
目录条目数量超过阈值 ALM-14021 NameNode RPC处理平均时间超过阈值 ALM-14022 NameNode RPC队列平均时间超过阈值 ALM-14023 总副本预留磁盘空间所占比率超过阈值 ALM-14024 租户空间使用率超过阈值 ALM-14025 租户文件对象使用率超过阈值
Yarn ResourceManager长时间运行后发现大量ContainerIdPBImpl对象占用内存,可能是内存泄漏。 HDFS客户端leaserenewer线程泄漏。 HDFS重启后权限属性丢失,导致数据无法读取。 备NameNnode处于安全模式,但集群没有上报告警。
解决Yarn问题: RM长时间运行后发现大量ContainerIdPBImpl对象占用导致内存泄漏。 提交HiveSQL任务长时间卡住无法往下运行。 Yarn资源抢占功能偶现不生效。 “/tmp/hadoop-yarn/staging/”目录下文件未清理。
Hive的业务数据,存储在HDFS文件系统或OBS对象存储中。 图1 Hive数据迁移示意 方案优势 场景化迁移通过迁移快照数据然后再恢复表数据的方法,能大大提升迁移效率。
配置MRS集群远程运维 当用户使用集群过程中出现问题需要华为云支持人员协助解决时,用户可先联系华为云支持人员,再通过运维授权功能授权华为云支持人员访问用户机器的权限用于定位问题,或通过“日志共享”功能提供特定时间段内的日志给华为云支持人员以便定位问题。