检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
缩容成功后,可以在集群详情的“节点管理”页签查看集群的节点信息。 指定节点缩容 当节点不再需要时,使用该功能删除节点。删除节点前建议先对组件的角色实例执行退服操作,并且请确保节点中的数据已完成备份。
选择“组件管理”,查看Yarn的“健康状态”是否为“良好”。 是,执行1.c。 否,Yarn状态不健康,执行1.b。 请先修复Yarn异常,任务结束。 确定修改NodeManager的存储目录场景。 更改NodeManager角色的存储目录,执行2。
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导入
具体参数使用方法,可通过命令行查看。
具体参数使用方法,可通过命令行查看。
<系统域名> -Djava.security.krb5.conf=.
<系统域名> -Djava.security.krb5.conf=.
处理步骤 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”查看是否存在告警“ALM-14003 丢失的HDFS块数量超过阈值”。 是,执行2。 否,执行3。
设置Loader作业的执行权限 (包括作业的启动、停止和查看历史记录权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。
排查是否存在副本同步队列任务积压: select FQDN() as node,type,count() from clusterAllReplicas(default_cluster, system.replication_queue) group by node,type; 如果存在积压,请查看副本队列中的任务是否报错
观察数据传输是否生效,例如在Hudi中对表进行插入数据操作,查看DWS导入的文件内容。 父主题: 创建CDL作业
排查是否存在副本同步队列任务积压: select FQDN() as node,type,count() from clusterAllReplicas(default_cluster, system.replication_queue) group by node,type; 如果存在积压,请查看副本队列中的任务是否报错
例如执行如下命令查看OBS endpoint地址: cat /opt/Bigdata/apache-tomcat-7.0.78/webapps/web/WEB-INF/classes/cloud-obs.properties 端口 访问OBS数据的端口。默认值为“443”。
设置Loader作业的执行权限 (包括作业的启动、停止和查看历史记录权限) 在“配置资源权限”的表格中选择“待操作集群的名称 > Loader > 作业分组”。 选择某个作业分组。 在指定作业的“权限”列,勾选“执行”。
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
查看主题: ./kafka-topics.sh --describe --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka --topic 主题名称 .
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导入
查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
执行以下语句: create table test_1 (id int, name text, value text); 配置“HBase输入”算子,生成三个字段A、B和C: 设置了数据连接器后,可以单击“自动识别”,系统将自动读取数据库中的字段,可根据需要选择添加,然后根据业务场景手动进行完善或者修正即可