检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
的消费组，单击消费组名称，可查看该消费组所消费过的Topic，消费过的Topic有两种状态：“pending”和“running”，分别表示“曾经消费过但现在未消费”和“现在正在消费”，在弹框右上角，可以输入Topic名来进行过滤。 单击Topic名称，进入Consumer Of
在操作系统中执行以下命令采集数据： iostat -x -t 1 1 其中： “avgqu-sz”为磁盘队列深度。 “r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 svctm的计算方法为： svctm = (tot_ticks_new
配置字段分割长度，大于原字段值的长度，则数据分割失败，当前行成为脏数据。 样例 源文件如下图： 配置“固定宽度文件输入”算子，生成三个字段A、B和C。 将三个字段依次输出，结果如下： 父主题： Loader输入类算子
MY_NS.TEST VALUES(4,'Aurora'); 右键单击连接名称，单击“刷新”，再单击连接名称左侧的，即可查看在default和MY_NS中新建的表： 图13 查看表 父主题： 生态组件对接
弹出“Settings”窗口。 在左边导航上选择“Editor > File Encodings”，在“Project Encoding”和“Global Encoding”区域，设置参数值为“UTF-8”，单击“Apply”后，单击“OK”，如图1所示。 图1 设置IntelliJ
r。通过运行这个程序，可以使得HDFS集群达到一个平衡的状态，使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率
r。通过运行这个程序，可以使得HDFS集群达到一个平衡的状态，使各DataNode磁盘使用率与HDFS集群磁盘使用率的偏差不超过阈值。图1和图2分别是Balance前后DataNode的磁盘使用率变化。 图1 执行均衡操作前DataNode的磁盘使用率 图2 执行均衡操作后DataNode的磁盘使用率
章节以最常见的WordCount样例Demo进行说明，对应示例场景的开发思路： 使用Kafka客户端创建两个Topic，用于输入Topic和输出Topic。 开发一个Kafka Streams完成单词统计功能，通过读取输入Topic中的消息，统计每条消息中的单词个数，从输出Top
的消费组，单击消费组名称，可查看该消费组所消费过的Topic，消费过的Topic有两种状态：“pending”和“running”，分别表示“曾经消费过但现在未消费”和“现在正在消费”，在弹框右上角，可以输入Topic名来进行过滤。 单击Topic名称，进入Consumer Of
如果分区不存在，Zookeeper会在“/block_numbers”目录下自动创建一个和分区名称一样的znode的问题。 解决调用MRS的作业管理接口API，返回的Spark日志的url和实际不一致的问题。 解决Spark JDBCServer切换成多实例模式后shuffle数据会不断累积，导致磁盘被打满的问题。
HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢； HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode数量配额和使用量 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，选中“告警ID”为“19015”的告警，查看“附加信息”中的阈值。
rName}/${examplesRoot}/apps/spark2x 须知： 需要保证此路径和“src\main\resources\workflow.xml”文件中的<jar>标签和<spark-opts>标签路径一致。 src\main\resources\workflow
Catalog进行基于用户、用户组的授权。详细操作请参考新增授权章节。 选择“接入管理 > 创建客户端”，创建LakeFormation实例接入管理客户端。其中“虚拟私有云”和“所属子网”需要与待对接的MRS集群保持一致。详细操作请参考管理接入客户端。 MRS集群的VPC子网信息可通过MRS管理控制台中，MRS集群的概览页面中获取。
Manager页面，选择“集群 > 服务 > ZooKeeper > 实例”，查看ZooKeeper角色实例的IP地址。 --partitions主题分区数和--replication-factor主题备份个数不能大于Kafka角色实例数量。 ZooKeeper侦听客户端连接的端口获取方式：登录FusionInsight
备份策略 首次全量备份，后续增量备份 首次全量备份，后续增量备份 每次都全量备份 每n次进行一次全量备份 说明： 备份Manager数据和组件元数据时不支持增量备份，仅支持“每次都全量备份”。 在“备份配置”，勾选“业务数据”下的“ClickHouse”。 在“ClickHou
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Guardian”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Ranger”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
Manager界面，选择“运维 > 日志 > 下载”。 在“服务”框中勾选待操作集群的“Oozie”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。 告警清除 此告警修复后，系统会自动清除此告警，无需手工清除。
“Application Type” 表示作业的类型。 “Status” 表示作业的状态，包含“RUNNING”、“SUCCEEDED”、“FAILED”和“KILLED”。 “User” 表示启动该作业的用户。 “Maps” 表示作业执行Map过程的进度。 “Reduces” 表示作业执行Reduce过程的进度。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
