检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Hudi支持Partial Update 本章节内容仅适用于MRS 3.3.1-LTS及之后版本。 该特性允许用户使用Hudi完成部分列更新。用户可以使用同一主键下的最新数据逐一更新每行数据的不同列字段，直到整条数据完整。 场景说明 当前开源社区提供了PartialUpdateA
FlinkServer支持审计日志。 Hadoop 升级到3.3.1版本。 HetuEngine HetuEngine支持物化视图及自动刷新。 HetuEngine支持配置IoTDB数据源。 Hudi 升级到0.11.0版本。 IoTDB 新增组件，一体化收集、存储、管理与分析物联网时序数据的服务。 集群管理
开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。
WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，日志中一直打印getApplicationReport异常且应用较长时间不退出 Spark执行应用时上报“Connection
订单支付成功后，集群开始进行转包周期流程，待集群转包周期成功后，集群状态更新为“运行中”。 转包周期后集群原有Task节点计费类型保持按需计费，集群在转包周期过程中已配置的弹性伸缩规则不触发新任务，请选择恰当的时间进行该操作。 父主题： 管理MRS集群
different version %s than that in driver %s."。 用户需保证Maven已配置华为镜像站中SDK的Maven镜像仓库，具体可参考配置华为开源镜像仓。 编包并运行程序 在IntelliJ IDEA中，打开Maven工具窗口。 在IDEA主页面，选择“View->Tool
conf文件，无法获取kerberos认证所需信息，导致ApplicationMaster启动失败。 解决办法 在客户端提交任务时，在命令行中配置自定义的spark.driver.extraJavaOptions参数这样任务运行时就不会自动加载客户端路径下“spark-defaults
否，执行6。 在FusionInsight Manager界面，选择“集群 > 待操作集群的名称 > 服务 > MapReduce > 配置 > 全部配置 > JobHistoryServer > 系统”。对NodeManager 的内存参数“GC_OPTS”进行调整，并单击“保存”，单击“确定”进行重启。
在弹出的窗口勾选“我已阅读此信息并了解其影响。”，单击“确定”完成解锁操作。 MRS 2.x及之前版本： 在MRS Manager，单击“系统设置”。 在“权限配置”区域，单击“用户管理”。 图1 用户管理 在要解锁用户所在行，选择“解锁用户”。 图2 解锁用户 在弹出的提示窗口，单击“确定”完成解锁操作。
性能调优方式 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似，可参考Spark Core性能调优。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，
接将Kerberos认证的文件传进去进行认证。而在MRS 1.9版本中，此方法行不通，需要先进行Kerberos认证，并且需要获取一些别的配置信息，然后再进行URL拼接。 处理步骤 请参考官方MRS 1.9样例工程中hive-examples的认证连接，样例地址请参考开发指南。 建议与总结
Hudi性能调优 性能调优方式 当前版本Hudi写入操作主推Spark，因此Hudi的调优和Spark比较类似。 推荐资源配置 mor表： 由于其本质上是写增量文件，调优可以直接根据Hudi的数据大小（dataSize）进行调整。 dataSize如果只有几个G，推荐跑单节点运行
nfo会执行kill -3将jstack信息打印到.out日志文件里，从而导致.out日志文件过大。 处理步骤 在每个HDFS实例的节点上部署定期清理.out日志文件的定时任务。后台登录HDFS的实例节点，在crontab -e中添加每天0点清理.out日志的定时任务。 crontab
-XX\:MetaspaceSize\=128M -XX\:MaxMetaspaceSize\=256M 解决方案 因此遇到此类异常应该检查最近的变更项，以确认是否配置有误。 METASTORE_GC_OPTS=Xms1024M -Xmx2048M -DIgnoreReplayReqDetect -XX
WebUI界面，请参考登录CDLService WebUI界面。 选择“ENV管理 > 新建ENV”，在弹出的窗口中输入相关信息。 表1 新建ENV配置参数 参数名称 描述 示例 Name ENV名称。 spark-env Type ENV类型。 spark Driver Memory Driver内存大小，单位默认为GB。
示例： 以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 相关样例介绍请参见MapReduce访问多组件样例程序。 父主题： MapReduce开发指南（普通模式）
WebUI上应用状态显示不一致 为什么Driver进程不能退出 网络连接超时导致FetchFailedException 当事件队列溢出时如何配置事件队列的大小 Spark应用执行过程中，日志中一直打印getApplicationReport异常且应用较长时间不退出 Spark执行应用时上报“Connection
示例： 以MapReduce访问HDFS、HBase、Hive为例，介绍如何编写MapReduce作业访问多个服务组件。帮助用户理解认证、配置加载等关键使用方式。 相关样例介绍请参见MapReduce访问多组件样例程序。 父主题： MapReduce开发指南（安全模式）
开发。可使用IDEA工具。 准备本地应用开发环境 准备工程 Oozie提供了不同场景下的样例程序，您可以导入样例工程进行程序学习。 导入并配置Oozie样例工程 根据场景开发工程 提供了Java语言的样例工程。 开发Oozie应用 编译并运行程序 指导用户将开发好的程序编译并提交运行。
${BIGDATA_HOME}/om-server_*/OMS/workspace0/conf/pms/application.properties 将PMS进程的内存配置参数“pms.mem”根据实际情况调大，保存并退出。 ... pms.mem=800m 修改的新值的增长量不能大于操作系统可用剩余内存。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
