检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
HBase不支持此参数,请配置“Map数”。 - 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导入作业
系统域名:可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 查看作业管理界面,作业状态为“运行中”。 参考管理Kafka Topic中的消息,查看Topic并向Kafka中写入数据。 ./kafka-topics.sh --list
文件覆盖策略,目录创建等。 State Backend: Flink提供了HA和作业的异常恢复,并且提供版本升级时作业的暂停恢复。对于作业状态的存储,Flink依赖于state backend,作业的重启依赖于重启策略,用户可以对这两部分进行配置。配置项包括state backend类型,存储路径,重启策略等。
HBase不支持此参数,请配置“Map数”。 - 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导入
选择“false”,表示关闭压缩。 true 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导出
“源集群”:选择要备份数据使用的Yarn队列所在的集群。 “队列名称”:填写备份任务执行时使用的Yarn队列的名称。需和源集群中已存在且状态正常的队列名称相同。 “NFS”:表示将备份文件通过NFS协议保存在NAS中。 选择此参数值,还需要配置以下参数: “IP 模式”:目标I
ersist(blocking:Boolean = true),该函数功能如下: 将该RDD从持久化列表中移除,RDD对应的数据进入可回收状态; 将RDD的存储级别重新设置为StorageLevel.NONE。 慎重选择shuffle过程的算子 该类算子称为宽依赖算子,其特点是父
作业的执行时间。 tmp_test 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 创建Loader数据导出作业
getree/ CollapsingMergeTree CollapsingMergeTree它通过定义一个sign标记位字段记录数据行的状态。如果sign标记为1,则表示这是一行有效的数据;如果sign标记为-1,则表示这行数据需要被删除。 建表语法: CREATE TABLE
任务创建时间/版本号_数据源_任务执行时间.tar.gz”。 “队列名称”:填写备份任务执行时使用的YARN队列的名称。需和集群中已存在且状态正常的队列名称相同。 “目标NameService名称”:选择备份目录对应的NameService名称。默认值为“hacluster”。
存储空间被占满以及增加存储资源费用的风险,关于OBS更多计费说明请参考OBS计费概述。 表1 生命周期规则创建参数 参数名称 描述 示例 状态 是否启用本条生命周期规则。 启用 规则名称 规则名称,可自定义,用于识别不同的生命周期配置。 rule-test 前缀 生命周期规则适用
在Task节点组的“操作”列,选择“缩容”。 缩容类型选择“指定节点缩容”,勾选需要缩容的节点。 当节点处于关机、失联、未知、已隔离、故障状态时,可以指定节点缩容。 勾选“我已经阅读上述信息,并了解具体影响。”,并单击“确定”。 父主题: MRS集群管理
warning表示当前事件处理存在异常信息。 trace trace表示当前事件处理跟踪信息。 information information表示记录系统及各事件正常运行状态信息。 debug debug表示记录系统及系统的调试信息。 如果您需要修改日志级别,请执行如下操作: 登录FusionInsight Manager系统。
ORG_NBR) ); TOTAL 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 父主题: 创建Loader数据导出作业
Streaming应用程序在计算上有一个内在的结构:在每批次数据周期性地执行同样的Spark计算。这种结构允许把应用的状态(也叫做Checkpoint)周期性地保存到可靠的存储空间中,并在Driver重新启动时恢复该状态。 对于文件这样的源数据,这个Driver恢复机制足以做到零数据丢失,因为所有的数据都保存
”,请配置“Map数”。 1000 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导入
link-example.jar 查看调测结果 查看作业是否执行成功: 使用Flink WebUI Flink Server WebUI上状态返回运行成功,则执行成功,详细日志可以通过“操作 > 更多 > 作业详情”查看。 图2 在Flink WebUI查看运行结果 使用Flink客户端
与“Map数”同时配置。 1000 单击“保存并运行”,开始保存并运行作业。 查看作业完成情况 进入“Loader WebUI”界面,待“状态”显示“成功”则说明作业完成。 图4 查看作业 父主题: 数据导入
QL”的部分)。每个SQL语句的信息如下表3。 表3 SQL的常用信息 参数 描述 id SQL语句的ID status SQL语句的执行状态,有RUNNING、COMPLETED、FAILED三种 runningJobs SQL语句产生的job中,正在执行的job列表 successedJobs
对系统的影响 磁盘慢盘故障,导致业务性能下降,阻塞业务的处理能力,严重时可能会导致服务不可用。 可能原因 磁盘老化或者磁盘坏道。 处理步骤 检查磁盘状态。 打开MRS集群详情页面,在实时告警列表中,单击此告警。在“告警详情”区域,获取告警所在主机信息和故障磁盘信息。 确认上报告警的节点是否为虚拟化环境。