检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi常见问题 写入更新数据时报错Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间
Kafka运维管理 Kafka常用配置参数 Kafka日志介绍 更改Kafka Broker的存储目录 迁移Kafka节点内数据 使用Kafka流控工具限制生产消费速度 配置积压告警规则 父主题: 使用Kafka
Yarn用户权限管理 创建Yarn角色 父主题: 使用Yarn
Yarn运维管理 Yarn常用配置参数 Yarn日志介绍 配置Yarn本地化日志级别 检测Yarn内存使用情况 更改NodeManager的存储目录 配置Yarn大作业扫描 父主题: 使用Yarn
HDFS常见问题 执行distcp命令报错如何处理 HDFS执行Balance时被异常停止如何处理 访问HDFS WebUI时,界面提示无法显示此页 HDFS WebUI无法正常刷新损坏数据的信息 NameNode节点长时间满负载导致客户端无响应 为什么主NameNode重启后系统出现双备现象
HetuEngine常见问题 HetuEngine域名修改后需要做什么 通过客户端启动HetuEngine集群超时如何处理 如何处理HetuEngine数据源丢失问题 如何处理视图拥有者权限不足缺少函数的grant权限 如何处理HetuEngine SQL运行过程中报错Encountered
Hive常见问题 如何删除所有HiveServer中的永久函数 为什么已备份的Hive表无法执行drop操作 如何在Hive自定义函数中操作本地文件 如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控
Oozie常见问题 Oozie定时任务没有准时运行如何处理 HDFS上更新了Oozie的share lib目录但没有生效 Oozie作业执行失败常用排查手段 父主题: 使用Oozie
创建HBase权限角色 操作场景 该任务指导MRS集群管理员在Manager创建并设置HBase的角色。HBase角色可设置HBase管理员权限以及HBase表和列族的读(R)、写(W)、创建(C)、执行(X)或管理(A)权限。 用户需要在HBase中对指定的数据库或表设置权限,
创建HetuEngine计算实例 本章节指导用户新创建HetuEngine计算实例。计算实例创建成功后,停止集群前需手动停止计算实例;重启集群后,要使用集群中的计算实例,需要手动启动计算实例。 单个租户可以创建多个计算实例,多个计算实例负载均衡,可以提高性能及容错能力(MRS 3
快速使用Hadoop 本章节提供从零开始使用Hadoop提交wordcount作业的操作指导,wordcount是最经典的Hadoop作业,它用来统计海量文本的单词数量。 操作步骤 准备wordcount程序。 开源的Hadoop的样例程序包含多个例子,其中包含wordcount。可以从https://dist
创建Kafka Topic 操作场景 用户可以根据业务需要,使用集群客户端创建Kafka的主题。启用Kerberos认证的集群,需要拥有管理Kafka主题的权限。 前提条件 已安装客户端。 使用Kafka客户端创建Kafka Topic 进入ZooKeeper实例页面: MRS3
Hive用户权限管理 Hive用户权限说明 创建Hive角色 配置Hive表、列或数据库的用户权限 配置Hive业务使用其他组件的用户权限 父主题: 使用Hive
作业管理 批量迁移Loader作业 批量删除Loader作业 批量导入Loader作业 批量导出Loader作业 查看作业历史信息 父主题: 使用Loader
HBase常见问题 结束BulkLoad客户端程序导致作业执行失败 如何修复长时间处于RIT状态的Region HMaster等待NameSpace表上线时超时退出 客户端查询HBase出现SocketTimeoutException异常 在启动HBase shell时,报错“java
性能调优 Storm性能调优 父主题: 使用Storm
KafkaManager介绍 KafkaManager是Apache Kafka的管理工具,提供Kafka集群界面化的Metric监控和集群管理。 通过KafkaManager可以: 支持管理多个Kafka集群 支持界面检查集群状态(主题,消费者,偏移量,分区,副本,节点) 支持界面执行副本的leader选举
管理Kafka集群 管理Kafka集群包含以下内容: 添加集群到KafkaManager的WebUI界面 更新集群参数 删除KafkaManager的WebUI界面的集群 添加集群到KafkaManager的WebUI界面 首次创建Kafka集群后会在KafkaManager的W
Hive常见问题 如何删除所有HiveServer中的永久函数 为什么已备份的Hive表无法执行drop操作 如何在Hive自定义函数中操作本地文件 如何强制停止Hive执行的MapReduce任务 Hive不支持复杂类型字段名称中包含哪些特殊字符 如何对Hive表大小数据进行监控
Kafka常见问题 Kafka业务规格说明 Kafka相关特性说明 基于binlog的MySQL数据同步到MRS集群中 如何解决Kafka topic无法删除的问题 父主题: 使用Kafka