检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
运行Spark任务发现大量shuffle结果丢失 问题现象 Spark任务运行失败，查看任务日志发现大量打印shuffle文件丢失。 原因分析 Spark运行的时候会将临时产生的shuffle文件放在executor的临时目录中，方便后面获取。 而当某个executor异常退出时
JSON表中有破损数据导致Hive查询异常 用户问题 在Hive客户端查询JSON数据，JSON表中有破损数据导致查询异常： 在Hive客户端上使用默认开源的JSON序列化建表语句创建表： create external table if not exists test ( name
登录集群Manager常见异常问题 访问MRS Manager页面报错“502 Bad Gateway” 访问Manager页面报错“请求VPC错误” 通过专线访问Manager页面方式出现503报错 登录Manager集群页面时报错“You have no right to access
MetaStore动态分区数超出阈值导致SQL报错 现象描述 执行SparkSQL或HiveSQL命令时，系统报错如下： Number of dynamic partitions created is 2001, which is more than 2000. To slove
et无法正常提交，所以下次重新消费时还是在旧的offset消费数据，从而导致消费数据重复。 解决办法 建议用户在Manager页面调整以下服务参数： request.timeout.ms=100000 session.timeout.ms=90000 max.poll.records=50
通过异常信息，发现当前Flume向Kafka写入的数据超过了Kafka服务端定义的消息的最大值。 通过Manager查看Kafka服务端定义的消息的最大值。 MRS Manager界面操作入口：登录MRS Manager，依次选择 “服务管理 > Kafka> 配置”。 FusionInsight
HDFS写文件失败，报错“item limit of xxx is exceeded” 问题背景与现象 客户端或者上层组件日志报往HDFS的某目录写文件失败，报错为： The directory item limit of /tmp is exceeded: limit=5 items=5。
执行create external table命令报错 问题现象 执行命令：create external table xx(xx int) stored as textfile location '/tmp/aaa/aaa'，报以下错误： Permission denied. Principal
Hive任务失败，报没有HDFS目录的权限 问题背景与现象 Hive任务报错，提示执行用户没有HDFS目录权限： 2019-04-09 17:49:19,845 | ERROR | HiveServer2-Background-Pool: Thread-3160445 | Job
如何配置Kafka客户端shell命令日志 用户问题 如何设置客户端shell命令的日志输出级别？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户端安装目录，例如“/opt/client”。 cd /opt/client 切换到Kafka客户端配置目录。
HiveServer和HiveHCat进程故障 用户问题 客户集群HiveServer和WebHCat进程状态均为故障。 问题现象 客户MRS集群Master2节点上的HiveServer和WebHCat进程状态显示为故障，重启之后仍为故障状态。 原因分析 在Manager界面单
er节点上的region，最后出现查询该RS上某一个region时会报region not online的异常。 处理步骤 进入HBase服务页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > HBase”。 如果集群详情页面没有“组件管理”页签，
Loader常用参数 本章节适用于MRS 3.x及后续版本。 参数入口 参数入口，请参考修改集群服务配置参数。 参数说明 表1 Loader常用参数 配置参数 说明 默认值 范围 mapreduce.client.submit.file.replication MapReduce
使用Ranger（MRS 3.x） 登录Ranger WebUI界面 MRS集群服务启用Ranger鉴权 添加Ranger权限策略 Ranger权限策略配置示例 查看Ranger审计信息 配置Ranger安全区信息 普通集群修改Ranger数据源为Ldap 查看Ranger用户权限同步信息
Kafka性能调优 操作场景 通过调整Kafka服务端参数，可以提升特定业务场景下Kafka的处理能力。 参数调优 修改服务配置参数，请参考修改集群服务配置参数。调优参数请参考表1。 表1 调优参数 配置参数 缺省值 调优场景 num.recovery.threads.per.data
创建Loader角色 操作场景 该任务指导MRS集群管理员在FusionInsight Manager创建并设置Loader的角色。Loader角色可设置Loader管理员权限、作业连接、作业分组以及Loader作业的操作和调度权限。 本章节适用于MRS 3.x及后续版本。 前提条件
配置HetuEngine物化视图 HetuEngine物化视图概述 HetuEngine物化视图SQL示例 配置HetuEngine物化视图改写能力 配置HetuEngine物化视图推荐能力 配置HetuEngine物化视图缓存能力 配置HetuEngine物化视图的有效期与数据刷新能力
Flink性能调优 优化Flink内存GC参数 配置Flink任务并行度 配置Flink任务进程参数 优化Flink Netty网络通信参数 父主题： 使用Flink
使用Storm客户端 操作场景 该任务指导用户在运维场景或业务场景中使用Storm客户端。 前提条件 已安装客户端。例如安装目录为“/opt/hadoopclient”。 各组件业务用户由MRS集群管理员根据业务需要创建。安全模式下，“机机”用户需要下载keytab文件。“人机”
创建FlinkServer作业 操作场景 定义Flink的作业，包括Flink SQL和Flink Jar作业。 新建作业 访问Flink WebUI，请参考访问FlinkServer WebUI界面。 单击“作业管理”进入作业管理页面。 单击“新建作业”，在新建作业页面可选择新建Flink
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
