检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何配置MRS集群knox内存？ 以root用户登录集群Master节点。 在Master节点执行如下命令打开gateway.sh文件。 su omm vim /opt/knox/bin/gateway.sh 将“APP_MEM_OPTS=""” 修改为 “APP_MEM_OPTS="-Xms256m
X-Auth-Token: ABCDEFG.... 您还可以通过这个视频教程了解如何使用Token认证：https://bbs.huaweicloud.com/videos/101333 。 父主题： 如何调用API
如何获取Topic的分布信息 用户问题 如何获取Topic在Broker实例的分布信息？ 前置操作 前提条件 已安装Kafka、ZooKeeper客户端。 操作步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看： tailf /var/log/Bigdata/flu
输入文件数超出设置限制导致任务执行失败 问题背景与现象 Hive执行查询操作时报Job Submission failed with exception 'java.lang.RuntimeException(input file number exceeded the limits
FE服务故障如何恢复 问题现象 FE可能因为某些原因出现无法启动bdbje、FE之间无法同步等问题，无法进行元数据写操作、没有MASTER等。需要手动操作来恢复FE，手动恢复FE先通过当前“meta_dir”中的元数据，启动一个新的MASTER，然后再逐一添加其他FE。 操作步骤
Hive SQL运行变慢阶段如何排查 场景说明 对于一个Hive SQL任务，如果运行时间突然变长，可能有多种原因造成，如HiveServer编译变慢、访问HDFS变慢、访问Yarn变慢或访问元数据变慢。 操作步骤 以下为Hive SQL在哪个阶段执行变慢的排查方法： HiveServer编译变慢
如何获取Spark Jar包？ 华为提供开源镜像站（网址为https://mirrors.huaweicloud.com/），各服务样例工程依赖的jar包都可在华为开源镜像站下载，剩余所依赖的开源jar包请直接从Maven中央库或者其他用户自定义的仓库地址下载。 本地环境使用开发
如何查看Flume日志 Flume日志保存在/var/log/Bigdata/flume/flume/flumeServer.log 里。绝大多数数据传输异常、数据传输不成功，在日志里都可以看到提示。可以直接输入以下命令查看： tailf /var/log/Bigdata/flu
如何获取Kafka Consumer Offset信息 问题背景与现象 使用Kafka Consumer消费数据时，如何获取Kafka Consumer Offset相关信息？ Kafka API简单说明 新Producer API 指org.apache.kafka.clients
如何查看所有MRS集群？ MRS所有的集群都展示在MRS管理控制台的“MRS集群”页面中，进入“MRS集群”页面，可查看所有集群。集群数量较多时，可采用翻页显示，您可以查看任何状态下的集群。 现有集群：包括除了“失败”和“已删除”状态以外的所有集群。 历史集群：仅包含“已删除”状
解决ClickHouse并发任务导致服务无响应、优化健康监控细分支持亚健康精监测等场景的问题。 解决解决ClickHouse节点有无响应进程kinit_by_user.sh未释放资源的问题。 解决ClickHouse日志检索，会每次检索所有的日志文件，检索日志文件太多导致检索无结果的问题。 解决Click
RS 3.x及之后版本支持此类型。 集群ID 集群的唯一标识，创建集群时系统自动赋值，不需要用户设置。 创建时间 显示集群创建的时间。 可用区 集群工作区域下的可用区，创建集群时设置。 Kerberos认证 登录Manager管理页面时是否启用Kerberos认证。 企业项目 集
作业无法提交如何定位？ 问题背景与现象 通过DataArts Studio或者在MRS管理控制台无法提交作业。 问题影响 作业无法提交，业务中断。 处理步骤 确认异常来源。 查看作业日志中收到的错误码，确认错误码是属于APIG还是MRS。 若是公共APIG的错误码（APIG的错误
如需要全局设置，即对所有表都进行压缩，可以在Manager页面对Hive的服务配置参数进行如下全局配置： hive.exec.compress.output设置为true mapreduce.output.fileoutputformat.compress.codec设置为org.apache
读团体名 - 该参数仅在设置“版本”为V2C时可用，用于设置只读团体名。 写团体名 - 该参数仅在设置“版本”为V2C时可用，用于设置可写团体名。 安全用户名 test 该参数仅在设置“版本”为V3时可用，用于设置协议安全用户名。 认证协议 SHA 该参数仅在设置“版本”为V3时可用，用于设置认证协议，推荐选择SHA。
如何修改开源组件Web页面会话超时时间？ 问： 如何修改开源组件Web页面会话超时时间？ 答： 合理设置Web页面超时时间，可以避免由于Web页面长时间暴露造成的信息泄露。 确定集群是否支持调整会话时长。 MRS 3.x之前版本集群：在集群详情页面，选择“组件管理 > meta >
如何使用IDEA远程调试业务 问题 使用Storm客户端提交了业务之后，如何使用IDEA远程调试业务？ 回答 以调试WordCount程序为例，演示如何进行IDEA的远程调试： 登录FusionInsight Manager系统，选择“集群 > 待操作集群的名称 > 服务 > S
执行Spark任务报内存不足告警如何处理？ 问题现象 执行Spark任务就会报内存不足告警，告警id：18022，可用内存会陡降到0。 处理步骤 在SQL脚本前设置executor参数，限制executor的核数和内存。 例如设置如下： set hive.execution.engine=spark;
查看MRS集群日志 MRS集群日志概述 查看MRS云服务操作日志 查看历史MRS集群信息 查看MRS集群审计日志 查看MRS组件角色实例日志 在线检索MRS集群日志 下载MRS集群日志 采集MRS集群服务堆栈信息 配置MRS组件默认日志级别与归档文件大小 配置MRS集群审计日志本地备份数
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
