检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在“脏数据目录”填写一个脏数据的保存位置，例如“/user/sqoop/obs2hdfs-dd”。 单击“保存并运行”。 在“管理作业界面”，查看作业运行结果。可以单击“刷新列表”获取作业的最新状态。 父主题： 使用Loader
待操作集群的名称 > 服务 > ZooKeeper”，单击“资源”，在精细化监控“资源使用（按二级Znode）”中单击“按Znode数量”，查看监控中是否有顶级Znode被写入较多数据。 是，执行2。 否，执行4。 登录FusionInsight Manager，选择“运维 > 告警
灰色不能选择的用户组和用户则不能进行IAM用户同步。 同步请求下发后，返回MRS控制台在左侧导航栏中选择“操作日志”页面查看同步是否成功，日志相关说明请参考查看MRS云服务操作日志。 同步成功后，即可使用IAM同步用户进行后续操作。 当IAM用户的用户组的所属策略从MRS ReadOnlyAccess向MRS
通过IntelliJ IDEA可直接运行Producer.java，如图1所示： 图1 运行Producer.java 运行后弹出控制台窗口，可以查看到Producer正在向默认Topic（example-metric1）发送消息，每发送10条，打印一条日志。 图2 Producer运行窗口
在FusionInsight Manager首页，选择“集群 > 服务 > HDFS > 配置 > 全部配置”，搜索“GC_OPTS”参数，查看“HDFS->Router”的“GC_OPTS”内存参数。 将“GC_OPTS”参数中“-Xms”、“ -Xmx”的值根据实际情况调大，并保存配置。
--verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp
通过“CSV文件输入”算子，生成两个字段a_str和b_str。 源文件如下： 配置“Hive输出”算子，将a_str和b_str输出到Hive的表中。 执行成功后，查看表数据： 父主题： Loader输出类算子
通过“CSV文件输入”算子，生成两个字段a_str和b_str。 源文件如下： 配置“Hive输出”算子，将a_str和b_str输出到Hive的表中。 执行成功后，查看表数据： 父主题： 输出算子
"obs://testhudi/cow_table/"是OBS路径，“testhudi”是OBS并行系统文件名称，请根据实际情况修改。 使用datasource查看表建立成功，数据正常。 val roViewDF = spark. read. format("org.apache.hudi"). load(basePath
处理步骤 检查Topic副本数配置。 在FusionInsight Manager首页，选择“运维 > 告警 > 告警”，单击此告警所在行的，查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是，执行3。 否，执行5。 在FusionInsight客
重启实例”，重启MetaStore实例。 正在重启的MetaStore实例无法对外提供服务，该实例上正在执行的SQL任务可能失败。 等待MetaStore实例重启完成后，查看该告警是否恢复。 是，操作结束。 否，执行6。 收集故障信息。 在FusionInsight Manager首页，选择“运维 > 日志 >
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。
使用Hue创建工作流 操作场景 用户通过Hue管理界面可以进行提交Oozie作业，提交作业之前，首先需要创建一个工作流。 前提条件 使用Hue提交Oozie作业之前，需要提前配置好Oozie客户端，并上传样例配置文件和jar至HDFS指定目录，具体操作请参考Oozie客户端配置说明章节。
createTopology()); } Storm不支持将HDFS的目的文件路径设置为HDFS的SM4加密分区。 部署运行及结果查看 导出本地jar包，请参见打包Storm样例工程应用。 将1导出的本地Jar包，5中获取的配置文件和6中获取的jar包合并统一打出完整的业务jar包，请参见打包Storm业务。
置，从而控制不同的用户可以访问不同的Topic。Topic的权限信息，需要在Linux客户端上，使用“kafka-acls.sh”脚本进行查看和设置。 操作场景 该任务指导Kafka管理员根据业务需求，为其他使用Kafka的系统用户授予相关Topic的特定权限。 Kafka默认用户组信息表所示。
调整Yarn任务抢占机制 操作场景 Capacity调度器抢占原理： 抢占任务可精简队列中的job运行并提高资源利用率，由ResourceManager的capacity scheduler实现，其简易流程如下： 假设存在两个队列A和B。其中队列A的capacity为25%，队列B的capacity为75%。
--verify-metadata-file-listing 根据文件系统验证Hudi元数据中的文件列表 N false --help、-h 查看帮助 N false --support-timestamp 将原始类型中'INT64'的TIMESTAMP_MICROS转换为Hive的timestamp
Manager，选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”，单击“资源”，在表“资源使用（按二级Znode）”中，查看告警对应顶级Znode是否被写入较多数据。 是，执行3。 否，执行5。 登录FusionInsight Manager，选择“运维 > 告警
Manager，选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”，单击“资源”，在表“资源使用（按二级Znode）”中，查看告警对应Znode是否被写入较多数据。 是，执行3。 否，执行4。 图1 资源使用（按二级Znode） 登录ZooKeeper客户端，删除告警对应Znode下的无用数据。
一览表。 在“拓扑调整”页面勾选服务部署的节点，部署方案可参考表2。 确认操作影响后，单击“确认”。服务添加完成后，在“组件管理”页面可以查看所添加的服务。 如果需要删除服务，可以在指定服务所在行，单击“删除”操作。 如果确认删除，在弹出的“删除服务”窗口中输入“DELETE ”，单击“确定”，删除该服务。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
