检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在FusionInsight Manager首页，选择“集群 > 服务 > HDFS > 配置 > 全部配置”，搜索“GC_OPTS”参数，查看“HDFS->Router”的“GC_OPTS”内存参数。 将“GC_OPTS”参数中“-Xms”、“ -Xmx”的值根据实际情况调大，并保存配置。
通过IntelliJ IDEA可直接运行Producer.java，如图1所示： 图1 运行Producer.java 运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口
--verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp
通过“CSV文件输入”算子，生成两个字段a_str和b_str。 源文件如下： 配置“Hive输出”算子，将a_str和b_str输出到Hive的表中。 执行成功后，查看表数据： 父主题： 输出算子
处理步骤 检查Topic副本数配置。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是，执行3。 否，执行5。 在FusionInsight客
"obs://testhudi/cow_table/"是OBS路径，“testhudi”是OBS并行系统文件名称，请根据实际情况修改。 使用datasource查看表建立成功，数据正常。 val roViewDF = spark. read. format("org.apache.hudi"). load(basePath
重启实例”，重启MetaStore实例。 正在重启的MetaStore实例无法对外提供服务，该实例上正在执行的SQL任务可能失败。 等待MetaStore实例重启完成后，查看该告警是否恢复。 是，操作结束。 否，执行6。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 >
通过“CSV文件输入”算子，生成两个字段a_str和b_str。 源文件如下： 配置“Hive输出”算子，将a_str和b_str输出到Hive的表中。 执行成功后，查看表数据： 父主题： Loader输出类算子
createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包，请参见打包Storm样例工程应用。 将1导出的本地Jar包，5中获取的配置文件和6中获取的jar包合并统一打出完整的业务jar包，请参见打包Storm业务。
置，从而控制不同的用户可以访问不同的Topic。Topic的权限信息，需要在Linux客户端上，使用“kafka-acls.sh”脚本进行查看和设置。 操作场景 该任务指导Kafka管理员根据业务需求，为其他使用Kafka的系统用户授予相关Topic的特定权限。 Kafka默认用户组信息表所示。
一览表。 在“拓扑调整”页面勾选服务部署的节点，部署方案可参考表2。 确认操作影响后，单击“确认”。服务添加完成后，在“组件管理”页面可以查看所添加的服务。 如果需要删除服务，可以在指定服务所在行，单击“删除”操作。 如果确认删除，在弹出的“删除服务”窗口中输入“DELETE ”，单击“确定”，删除该服务。
在“备份配置”指定需要备份的数据。 支持备份元数据和业务数据。 各组件不同数据的备份任务操作请参考备份恢复MRS集群数据。 单击“确定”保存。 在备份任务列表，可以查看刚创建的备份任务。 在指定的备份任务“操作”列，选择“更多 > 即时备份”，可以立即运行备份任务。 创建元数据备份任务（MRS 2.x及之前版本）
Manager，选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”，单击“资源”，在表“资源使用（按二级Znode）”中，查看告警对应Znode是否被写入较多数据。 是，执行3。 否，执行4。 图1 资源使用（按二级Znode） 登录ZooKeeper客户端，删除告警对应Znode下的无用数据。
Manager，选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”，单击“资源”，在表“资源使用（按二级Znode）”中，查看告警对应顶级Znode是否被写入较多数据。 是，执行3。 否，执行5。 登录FusionInsight Manager，选择“运维 > 告警
--verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp
调整Yarn任务抢占机制 操作场景 Capacity调度器抢占原理： 抢占任务可精简队列中的job运行并提高资源利用率，由ResourceManager的capacity scheduler实现，其简易流程如下： 假设存在两个队列A和B。其中队列A的capacity为25%，队列B的capacity为75%。
面。 如果是已经添加到任务里面，但是依旧没有取到，可能是因为配置文件的driver或者executor的classpath配置不正确，可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错，需要确认是否在之前就有初始化失败或者其他报错的情况发生。
面。 如果是已经添加到任务里面，但是依旧没有取到，可能是因为配置文件的driver或者executor的classpath配置不正确，可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错，需要确认是否在之前就有初始化失败或者其他报错的情况发生。
在FusionInsight Manager，选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包错误率”，查看该告警阈值是否合理（默认0.5%为合理值，用户可以根据自己的实际需求调节）。 是，执行4。 否，执行2。 根据实际服务的使用情况在“运维 >
submitTopology(args[0], conf, builder.createTopology()); } 部署运行及结果查看 导出本地jar包，请参见打包Storm样例工程应用。 将1中导出的本地Jar包，5中获取的配置文件和6中获取的jar包合并统一打出完整的
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
