检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
xml”文件中查询。 单击Oozie编辑器右上角的。 保存前如果需要修改作业名称(默认为“My Workflow”),可以直接单击该名称进行修改,例如“Hive2-Workflow”。 保存完成后,单击,提交该作业。 作业提交后,可通过Hue界面查看作业的详细信息、日志、进度等相关内容。
singletonList(this.topic)); // 消息消费请求 ConsumerRecords<Integer, String> records = consumer.poll(waitTime); // 消息处理
表1 SHOW SEGMENTS FOR TABLE参数描述 参数 描述 db_name Database名,若未指定,则使用当前database。 table_name 在给定database中的表名。 number_of_loads 加载数的限制。 注意事项 无。 示例 create
表1 SHOW SEGMENTS FOR TABLE参数描述 参数 描述 db_name Database名,如果未指定,则使用当前database。 table_name 在给定database中的表名。 number_of_loads 加载数的限制。 注意事项 无。 示例 create
行时间。 处理步骤 检查时间是否正确设置。 把“-Dapplication.timeout.interval”设置成较大的值,或者不对参数进行设置。查看MapReduce任务是否能成功执行。 是,执行2.e。 否,执行2.b。 检查Yarn服务状态。 登录MRS集群详情页面,选择“告警管理”。
port”的值。 重新打开一个客户端连接窗口,执行以下命令,使用“kafka-console-consumer.sh”从输出Topic消费数据,查看统计结果。 cd /opt/client source bigdata_env kinit 组件操作用户(例如developuser)
source bigdata_env 执行以下命令,进行用户认证(普通模式跳过此步骤)。 kinit 组件业务用户 执行以下命令,切换到Kafka客户端安装目录。 cd Kafka/kafka 使用“kafka-configs.sh”进行Kafka流量控制,常用命令如下。 命令中使用到
待操作集群的名称 > Presto”,找到“线程数 (Coordinator)”或“线程数 (Worker)”配置,单击default后的“修改”,将阈值调大(如:增大原数值的20%)。 查看本告警是否恢复。 是,操作结束。 否,执行6。 升级Coordinator规格或扩容Worker节点组。
待操作集群的名称 > Presto”,找到“线程数 (Coordinator)”或“线程数 (Worker)”,单击default后的“修改”,将阈值调大(如:增大原数值的20%)。 查看本告警是否恢复。 是,操作结束。 否,执行6。 升级Coordinator规格或扩容Worker节点组。
待操作集群的名称 > Presto”,找到“线程数 (Coordinator)”或“线程数 (Worker)”,单击default后的“修改”,将阈值调大(如:增大原数值的20%)。 查看本告警是否恢复。 是,操作结束。 否,执行6。 升级Coordinator规格或扩容Worker节点组。
图1 AM作业保留 配置描述 参考修改集群服务配置参数进入Yarn服务参数“全部配置”界面,在搜索框中输入参数名称。 根据表1,对如下参数进行设置。 表1 AM作业保留相关参数 参数 说明 默认值 yarn.app.mapreduce.am.work-preserve 是否开启AM作业保留特性。
根因分析:被上传的文件损坏,因此会上传失败。 验证办法:cp或者scp被拷贝的文件,也会失败,确认文件本身已损坏。 解决办法 文件本身损坏造成的此问题,采用正常文件进行上传。 父主题: 使用HDFS
size小于集群信息所需的buffer size。 解决方法 调整Storm集群中Thrift的Buffer Size大小,具体大小根据错误信息进行实际调整。 进入Storm服务参数配置界面。 MRS Manager界面操作:登录MRS Manager页面,选择“服务管理 > Storm
在本地和Zookeeper,然后用这个密钥生成一个token,返回给SDK,SDK向worker发送读请求时,会将该token传入,和密钥进行校验,校验通过才允许读取缓存。 安全集群为true,普通集群为false cache_cap_max_availabe_rate 每块盘的最大可用容量比率。
在线检索”,选择“Oozie”服务,检索日志关键词“[Oozie Alarm Enhancement][YARN]”,在日志中查看具体告警原因,并进行处理。在告警列表中查看“Oozie连接Yarn状态异常”告警是否清除 是,处理完毕。 否,执行6。 收集故障信息。 在FusionInsight
DBService服务不可用”告警。 是,执行2。 否,执行3。 参考ALM-27001 DBService服务不可用告警帮助指导对DBService服务状态异常进行处理,待DBService告警消除后,查看“Ranger服务不可用”告警是否清除。 是,处理完毕。 否,执行3。 检查所有RangerAdmin实例。
m/balancer.id”文件,可再次正常执行Balance。 但在上述场景中,由于第一次的Balance操作是被异常停止的,所以第二次进行Balance操作时,“/system/balancer.id”文件仍然存在,则会触发append /system/balancer.id操作,进而导致Balance操作失败。
执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果集群为安全模式,执行以下命令进行用户认证。普通模式集群无需执行用户认证。 kinit 组件业务用户 直接执行Yarn命令。例如: yarn application -list
组件管理”。 若集群详情页面没有“组件管理”页签,请先完成IAM用户同步(在集群详情页的“概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 选择“Hue”,在“Hue WebUI”右侧,单击链接,打开Hue的WebUI,以创建的“hueuser”用户登录Hue
否,执行5。 登录1查询到主机地址,查看“/var/log/Bigdata/meta/mrs-meta.log”日志中是否有报错,根据日志进行排查处理。 查看当前告警是否恢复。 是,操作结束。 否,执行7。 重新绑定委托 登录MapReduce服务管理控制台。 选择“现有集群”,