检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
确认工程名称和路径，单击“Finish”完成导入。 图6 Select project to import 导入完成后，IDEA主页显示导入的样例工程。 图7 已导入工程 （可选）如果导入Scala语言开发的样例程序，还需要为工程设置语言。 在IDEA主页，选择“File > Project Structures
准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通，同时配置hosts域名信息。 准备连接Kafka集群配置文件
订单支付成功后，集群开始进行转包周期流程，待集群转包周期成功后，集群状态更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费，集群在转包周期过程中已配置的弹性伸缩规则不触发新任务，请选择恰当的时间进行该操作。 父主题： 变更计费模式
Manager。 重启主备ResourceManager实例后，Yarn组件以及依赖Yarn的组件会出现短暂的服务不可用告警。 前提条件 已删除某个租户，但该租户对应的队列依然存在。 清除租户非关联队列 确定该租户对应的队列依然存在。 在FusionInsight Manager界面，选择“集群
Catalog进程的内存占用率”，检查阈值大小。 如阈值较小（小于80%），可根据实际需要适当增大告警阈值，检查告警是否消除。 是，操作结束。 否，执行3。 如阈值已超过80%，请检查告警出现时刻是否有突发的大量并发查询任务，突发大量任务将会导致内存占用飙升，待任务执行完成后检查告警将是否消失，期间可能有
警是否恢复。 如果希望及时核查故障是否恢复，可适当调整审计日志开始时间，设置开始时间为当前时间10分钟或30分钟之后，待任务启动并确认告警已恢复，再重新调整启动时间。 是，执行完毕。 否，执行5。 收集故障信息。 在MRS Manager界面，单击“系统设置 > 日志导出”。 请
conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。
YARN组件运行中的任务数。 取值范围为[0～2147483646]。 YARNContainerAllocated 整型 YARN组件中已分配的container个数。 取值范围为[0～2147483646]。 YARNContainerPending 整型 YARN组件挂起的container个数。
启弹性伸缩。Hive组件的初始配置hive.union.data.type.incompatible.enable修改为true，dfs.replication修改为4。 POST /v2/{project_id}/clusters { "cluster_version" :
").as(Encoders.bean(Person.class));//Java 还可通过已存在的DataSet上可用的transformation操作来创建数据集。 例如，在已存在的DataSet上应用map操作来创建新的DataSet： val names = people
Start页面） 选择需导入的样例工程存放路径，单击“OK”。 图9 Select File or Directory to Import 选择从已存在的源码创建工程，然后单击“Next”。 图10 Create project from existing sources 确认导入路径和名称，单击“Next”。
--打开compaction操作。 set hoodie.run.compact.only.inline = true; --compaction只执行已生成的计划，不产生新计划。 set hoodie.cleaner.commits.retained = 120; --清理保留120个commit。
d）”，检查阈值大小。 如阈值较小（小于80%），可根据实际需要适当增大告警阈值，检查告警是否消除。 是，操作结束。 否，执行3。 如阈值已超过80%，请检查告警出现时刻是否有突发的大量并发查询任务，突发大量任务将会导致内存占用飙升，待任务执行完成后检查告警是否消失，期间可能有因
准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 准备Spark连接集群配置文件 配置并导入样例工程 Spark提供了不同场景下的多种样例程序，用户可以可
列，1代表第2列，依次类推。 创建列加密表时，表所在的目录必须是空目录。 使用insert语法向设置列加密的表中导入数据。 假设test表已存在且有数据： insert into table <table_name> select <col_list> from test; 父主题：
conf文件为安全模式下的认证文件，需要在FusionInsight Manager中下载principal用户的认证凭证，样例代码中使用的用户为：super，需要修改为准备好的开发用户。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。
检查ZooKeeper组件状态。 查看ZooKeeper服务的健康状态是否为“良好”。 是，执行3.a。 否，执行2.b。 如果ZooKeeper服务已停止，则启动ZooKeeper服务，否则参考ALM-13000 ZooKeeper服务不可用（2.x及以前版本）的处理步骤进行操作。 再次执行2
Streaming中定义了每60s一个批次，回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时，会出现上述错误。 图1 应用场景 解决措施： 方式一：推荐优化Spark Streaming应用程序中定义的批次时间，降低批
Streaming中定义了每60s一个批次，回写数据总共为600MB。而Kafka中定义了接收数据的阈值大小为500MB。那么此时回写数据已超出阈值。此时，会出现上述错误。 图1 应用场景 解决措施： 方式一：推荐优化Spark Streaming应用程序中定义的批次时间，降低批
准备连接集群配置文件 应用程序开发或运行过程中，需通过集群相关配置文件信息连接MRS集群，配置文件通常包括用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点，需要与MRS集群内节点网络互通。 配置并导入样例工程 MRS提供了不同组件场景
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
