正在生成
详细信息:
检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
MapReduce访问多组件样例程序开发思路 场景说明 该样例以MapReduce访问HDFS、HBase、Hive为例,介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 该样例逻辑过程如下。 以HDFS文本文件为输入数据 log1.txt:数据输入文件
MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Presto、Impala、Kudu、Sqoop等组件,可以根据不同集
MRS集群版本类型分为普通版与LTS版本,不同版本集群所包含的组件内容及特性略有不同,用户可根据自身业务需求进行选择。 普通版 功能说明 普通版支持集群基础操作如配置、管理和运维等,具体可以查看用户指南。 组件介绍 除共有组件外,普通版集群还支持Presto、Impala、Kudu、Sqoop等组件,可以根据不同集
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭
单击“新建作业”,进入“基本信息”界面,创建作业基本信息。 图2 “基本信息”界面 在“名称”中输入作业的名称。 在“类型”中选择“导入”。 在“组”中设置作业所属组,默认没有已创建的组,单击“添加”创建一个新的组,输入组的名称,单击“确定”保存。 在“队列”中选择执行该作业的YARN队列。默认值“root
表2 导出作业状态参数介绍 参数名称 参数描述 JobId 作业的ID,值唯一。 State 作业状态,包括: PENDING:作业待调度。 EXPORTING:数据导出中。 FINISHED:作业导出成功。 ANCELLED:导出作业运行失败。 Progress 作业进度,以查
Crash风险。 已存在的HBase表可在hbase shell命令行中执行以下命令查看表详情,排查表描述中是否包含MOB关键字,如果包含,需联系系统运维人员修改为非MOB表。 desc '表名' 例如,以下回显信息中“IS_MOB”值为“true”表示启用了HBase MOB特性: hbase:009:0>
Flink结构如图2所示。 图2 Flink结构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。 TaskManager Flink系统的业务执行节点,执行具体的用户任务。TaskManager可以有
Flink架构如图2所示。 图2 Flink架构 Flink整个系统包含三个部分: Client Flink Client主要给用户提供向Flink系统提交用户任务(流式作业)的能力。 TaskManager Flink系统的业务执行节点,执行具体的用户任务。TaskManager可以有
恢复元数据块(绿色箭头) 为了保证能够继续下去所必备的全部元数据块都被恢复。 未完成作业的重新形成(红色箭头) 由于失败而没有处理完成的批处理,将使用恢复的元数据再次产生RDD和对应的作业。 读取保存在日志中的块数据(蓝色箭头) 在这些作业执行时,块数据直接从预写日志中读出。这将恢复在日志中可靠地保存的所有必要数据。
Flink客户端常见命令说明 在使用Flink的Shell脚本前,首先需要执行以下操作,详细使用场景可参考Flink客户端使用实践运行wordcount作业: 安装Flink客户端,例如安装目录为“/opt/client”。 初始化环境变量。 source /opt/client/bigdata_env
执行以下命令,根据实际业务需求,可参考Flume配置参数说明在Flume客户端配置文件“properties.properties”中配置并保存作业。 vi Flume客户端安装目录/fusioninsight-flume-Flume组件版本号/conf/properties.properties
ck.log ZooKeeper实例健康检查日志。 zookeeper-period-check-java.log ZooKeeper配额监控周期检查日志。 审计日志 zk-audit-quorumpeer.log ZooKeeper操作审计日志。 日志级别 ZooKeeper中
ck.log ZooKeeper实例健康检查日志。 zookeeper-period-check-java.log ZooKeeper配额监控周期检查日志。 审计日志 zk-audit-quorumpeer.log ZooKeeper操作审计日志。 日志级别 ZooKeeper中
检查所有节点管理平面网络是否互通 登录FusionInsight Manager界面,选择“运维 > 告警 > 告警”。 查看当前集群是否存在“ALM-12089 节点间网络互通异常”或“节点故障”等告警。 是,节点间网络不互通,请联系运维人员修复。 否,节点间网络互通,检查结束。 检查弹性伸缩是否关闭
一般来说,大任务的SQL语句(例如在从整个表中扫描大量数据的情况)会占用大量的资源,在资源紧张的情况下,会影响其他任务的负载。这不仅导致用户体验不佳,也会提高运维成本。为了解决上述问题,HetuEngine提供了自适应查询执行的功能,该功能会自适应地调度执行查询。 本章节介绍如何开启自适应查询执行功能。
应用客户端(Application Client)可以是集群内某个服务,也可以是客户二次开发的一个应用程序,应用程序可以向应用服务提交任务或者作业。 应用程序在提交任务或者作业前,需要向Kerberos服务申请TGT(Ticket-Granting Ticket),用于建立和Kerberos服务器的安全会话。
sh stop force 需要启动时,可执行以下命令: ./flume-manage.sh start force 根据实际业务场景配置作业。 部分参数可直接在Manager界面配置,可参考非加密传输或加密传输。 在“properties.properties”文件中配置,以配置SpoolDir
恢复元数据块(绿色箭头) 为了保证能够继续下去所必备的全部元数据块都被恢复。 未完成作业的重新形成(红色箭头) 由于失败而没有处理完成的批处理,将使用恢复的元数据再次产生RDD和对应的作业。 读取保存在日志中的块数据(蓝色箭头) 在这些作业执行时,块数据直接从预写日志中读出。这将恢复在日志中可靠地保存的所有必要数据。
如果任务失败,选择“重试卸载”,只有当“状态”显示为“可用”时,才能进入下一步操作。 卸载失败或者重试后仍然失败,不能直接再点安装,请联系运维人员。 回退升级补丁时增加的配置 不涉及。 重启相关组件 补丁卸载完成后,需要手动重启相关大数据组件服务,使补丁生效。 提供两种重启方式,请根据业务自行选择重启方式: