检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息? 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户,登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录,例如“/opt/client”。
追加信息到HDFS指定文件 功能简介 追加文件内容,是指在HDFS的某个指定文件后面,追加指定的内容。过程为: 使用FileSystem实例的append方法获取追加写入的输出流。 使用该输出流将待追加内容添加到HDFS的指定文件后面。 在完成后,需关闭所申请资源。 代码样例 如下是代码片段,详细代码请参考com
下载HBase配置文件到本地,并解压。 登录目的端HBase集群的FusionInsight Manager,选择“集群 > 服务 > HBase”。 选择“更多 > 下载客户端”。 图1 下载HBase客户端 下载HBase配置文件,客户端类型选择仅配置文件。 图2 下载HBase配置文件 登录源端Hive集群的FusionInsight
create.topics.enable”配置为“true”,其他应用程序有使用该Topic,并且一直在后台运行。 解决方法: 针对原因一:登录Manager,在Kafka配置页面上将“delete.topic.enable”设置为“true”。 针对原因二:先停掉后台使用该Topic的应用程序,或者“auto
ection refused 用户问题 请求提交任务的Yarn的ResourceManager报错connection refused,且配置的Yarn端口为8032。 问题现象 MRS的Yarn ResourceManager中的一个节点无法连接,且配置的Yarn端口为8032。
查询作业exe对象列表(废弃) 功能介绍 查询所有作业的exe对象列表。该接口不兼容Sahara。 MRS 3.x版本镜像,不支持MRS V1.1作业管理接口,需要使用V2作业管理接口。 接口约束 无 调试 您可以在API Explorer中调试该接口。 URI GET /v1.
Spark常见问题 Spark Core SQL和DataFrame Spark Streaming Spark客户端设置回收站version不生效 Spark yarn-client模式下如何修改日志级别为INFO 父主题: 使用Spark/Spark2x
ALM-45645 RocksDB的Pending Flush持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认18
ALM-45650 RocksDB的Write P95耗时持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s
HBase应用开发常见问题 HBase接口介绍 HBase SQL查询样例代码说明 如何配置HBase文件存储 运行HBase应用开发程序产生异常如何处理 HBase BulkLoad和Put应用场景说明 父主题: HBase开发指南
如何获取Kafka Consumer Offset信息 问题背景与现象 使用Kafka Consumer消费数据时,如何获取Kafka Consumer Offset相关信息? Kafka API简单说明 新Producer API 指org.apache.kafka.clients
ALM-45647 RocksDB的Pending Compaction预估总大小持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.dur
90703/1/.*log.* 重启Flume实例进程。 登录FusionInsight Manager。 选择“集群 > 服务 > Flume > 实例”,勾选Flume实例,选择“更多 > 重启实例”输入密码,单击“确定”等待实例重启成功。 服务端flume-env.sh生效
Impala应用开发常见问题 Impala JDBC接口介绍 Impala SQL接口介绍 父主题: Impala开发指南(普通模式)
MRS 2.1.0.5补丁说明 补丁基本信息 表1 补丁基本信息 补丁号 MRS 2.1.0.5 发布时间 2020-05-27 解决的问题 MRS 2.1.0.5 修复问题列表: MRS大数据组件 impala支持ObsFileSystem功能 支持MRS Manager页面以及组件原生页面超时时间可配置
若存在“未启动”的角色,进入服务。 勾选未开启的实例,单击“更多”,选择“启动实例”。 若异常角色较多,可在管理操作处选择启动所有组件。 方式二: 进入集群manager页面,查看服务,是否存在“未启动”实例,若存在,启动实例。 若存在其他情况导致服务异常无法解决,请联系技术服务协助处理。
ALM-45649 RocksDB的Get P95耗时持续超过阈值 本章节适用于MRS 3.3.0及以后版本。 告警解释 系统以用户配置的告警周期(metrics.reporter.alarm.job.alarm.rocksdb.metrics.duration,默认180s)检
已创建的MRS集群如何修改Kerberos状态? 问: 已创建的MRS集群如何修改Kerberos认证的开启状态? 答: MRS服务暂不支持集群创建完成后手动开启和关闭Kerberos服务,如需更换Kerberos认证状态,建议重新创建MRS集群,然后进行数据迁移。 父主题: 用户认证及权限类
切换Hive执行引擎为Tez 操作场景 Hive支持使用Tez引擎处理数据计算任务,用户在执行任务前可手动切换执行引擎为Tez。 前提条件 集群已安装Yarn服务的TimelineServer角色,且角色运行正常。 客户端切换执行引擎为Tez 安装并登录Hive客户端,具体操作请参考Hive客户端使用实践。
Executor进程Crash导致Stage重试 问题 在执行大数据量的Spark任务(如100T的TPCDS测试套)过程中,有时会出现Executor丢失从而导致Stage重试的现象。查看Executor的日志,出现“Executor 532 is lost rpc with driver