检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
r包路径一致）。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
r包路径一致）。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
作请参考查看Ranger审计信息。 Security Zone 配置安全区域，Ranger管理员可将各组件的资源切分为多个区域，由不同Ranger管理员为服务的指定资源设置安全策略，以便更好的管理，具体操作可参考配置Ranger安全区信息。 Settings 查看Ranger相关
cleanNums clean保留commits次数。 否 archiveNums archive保留commits次数。 否，如果配置该项，该值必须大于cleanNums配置项。 示例 // clean和archive按时间策略执行 call run_table_service(tables
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数，详见代码。 Properties props = initProperties(); consumer = new
FullAccess、MRS ReadOnlyAccess是细粒度的权限。MRS Administrator是RBAC策略。细粒度的权限优先于RBAC策略。当同时配置时就先看细粒度权限。细粒度权限又有deny优先原则，所以最终MRS ReadOnlyAccess起了作用，这个权限具有只读权限。所以会提示子账号没权限。
开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。
订单支付成功后，集群开始进行转包周期流程，待集群转包周期成功后，集群状态更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费，集群在转包周期过程中已配置的弹性伸缩规则不触发新任务，请选择恰当的时间进行该操作。 父主题： 管理MRS集群
准备开发和运行环境 Hive的应用程序支持使用Java、Python两种语言进行开发。推荐使用Eclipse工具，请根据指导完成不同语言的开发环境配置。 Hive应用开发环境简介 根据场景开发工程 提供了Java、Python两种不同语言的样例工程，还提供了从建表、数据加载到数据查询的样例工程。
topic) { super("KafkaConsumerExample", false); // 初始化consumer启动所需的配置参数，详见代码。 Properties props = initProperties(); consumer = new
OME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
OME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
OME” ）下。 若运行“Spark on HBase”样例程序，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark.yarn.security.credentials.hbase.enabled”设置为“true”（该参数值默认为“
different version %s than that in driver %s."。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 编包并运行程序 在IntelliJ IDEA中，打开Maven工具窗口。 在IDEA主页面，选择“View->Tool
conf文件，无法获取kerberos认证所需信息，导致ApplicationMaster启动失败。 解决办法 在客户端提交任务时，在命令行中配置自定义的spark.driver.extraJavaOptions参数这样任务运行时就不会自动加载客户端路径下“spark-defaults
否，执行6。 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > MapReduce > 配置 > 全部配置 > JobHistoryServer > 系统”。对NodeManager 的内存参数“GC_OPTS”进行调整，并单击“保存”，单击“确定”进行重启。
性能调优方式 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似，可参考Spark Core性能调优。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，
consume.mode = INCREMENTAL;，但该参数仅限于增量视图查询，不能用于Hudi表的其他类型查询，和其他表的查询。 恢复配置可设置set hoodie.hudicow.consume.mode = SNAPSHOT;或任意值。 父主题： Hudi读操作
接将Kerberos认证的文件传进去进行认证。而在MRS 1.9版本中，此方法行不通，需要先进行Kerberos认证，并且需要获取一些别的配置信息，然后再进行URL拼接。 处理步骤 请参考官方MRS 1.9样例工程中hive-examples的认证连接，样例地址请参考开发指南。 建议与总结
Hudi性能调优 性能调优方式 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据Hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
