检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
在集群的FusionInsight Manager界面，选择“运维 > 日志 > 下载”。 在“服务”中勾选“OmmServer”和“NodeAgent”，单击“确定”。 单击右上角的设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟，单击“下载”。 请联系运维人员，并发送已收集的故障日志信息。
PTS”参数。将“-Xmx”的值根据实际情况调大，并单击“保存”，单击“确定”进行保存。 Oozie的GC参数配置建议： 建议“-Xms”和“-Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。
zookeeper.namespace”设置的具体设定值。 系统域名可登录FusionInsight Manager，选择“系统 > 权限 > 域和互信”，查看“本端域”参数获取。 “hive/hadoop.<系统域名>”表示用户名，用户名所包含的系统域名的所有字母为小写。 以上命令执行
Module”，然后单击“Next”。如果您需要新建Java语言的工程，选择对应参数即可。 图2 选择开发环境 在工程信息页面，填写工程名称和存放路径，设置JDK版本，并勾选“Config later”（待工程创建完毕后引入scala的编译库文件），然后单击“Finish”完成工程创建。
里填写登录用户不匹配。 使用客户端环境的时间与连接的集群时间差大于5分钟。 解决措施 检查代码下载最新的用户的认证凭据文件。 查看集群环境和客户端环境的时间是否相差在5分钟之内，若超过5分钟，请修改客户端环境时间。 父主题： Hive应用开发常见问题
oin计算）能够支持50~100并发，对于简单的SQL查询，支持100~200左右查询。 如果集群有混合负载（要求极致性能的点查/范围查询和有大数据量聚合及join查询），建议将不同类型的负载拆分到不同集群；对于集群规划有远远超过100个并发业务系统，也需要设计将业务分摊到不同的集群。
程序”按钮，将其拖到操作区中。 在弹出的“Spark”窗口配置“Files”，例如“hdfs://hacluster/user/admin/examples/apps/spark2x/lib/oozie-examples.jar”。配置“jar/py name”，例如“oozie-examples.jar”
GC_OPTS”参数，将“-Xmx”的值根据实际情况调大，并单击“保存”，单击“确定”。 Oozie的GC参数配置建议： 建议“-Xms”和“-Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 重启受影响的服务或实例，观察界面告警是否清除。 是，处理完毕。
Manager首页，选择“集群 > 服务 > Ranger > 实例”，选择上报告警实例主机名对应的角色，单击图表区域右上角的下拉菜单，选择“定制 > CPU和内存 > PolicySync直接内存使用率”，单击“确定”。 图1 PolicySync直接内存使用率 查看PolicySync使用的直接
是，执行3。 否，执行5。 调整提交到background线程池的任务数（比如，取消一些后台性能低，耗时长的任务）。 “Background线程数”和“Background线程数使用率”是否下降。 是，执行7。 否，执行5。 检查HiveServer background线程池容量。 在FusionInsight
> 配置 > 全部配置 > JobHistoryServer > 系统”。将“GC_OPTS”参数根据实际情况调大。 历史任务数10000和JobHistoryServer内存的对应关系如下： -Xms30G -Xmx30G -XX:NewSize=1G -XX:MaxNewSize=2G
配置Spark数据传输加密 配置ZooKeeper数据传输加密 配置Controller与Agent间数据传输加密 配置受信任IP地址访问LDAP 加密HFile和WAL内容 配置HBase只读模式集群允许修改数据的IP白名单 配置LDAP输出审计日志 更新MRS集群加密密钥 更新MRS集群节点omm用户ssh密钥
的JVM最大使用内存 set mapred.child.java.opts=-Xms1024M -Xmx3584M;//此参数为全局参数，即对Map和Reduce统一设置 参数设置只对当前session有效。 父主题： 使用Hive
park对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer
同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时，可以使用Decimal数据类型的数值，例如，在财务应用程序中，equality和inequality检查，以及取整运算，均可使用Decimal数据类型的数值。 参考信息 无。 父主题： CarbonData故障排除
park对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer
commits个Instant不会被归档，以此保证有足够的Instant去触发compation schedule。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题： Hudi DML语法说明
在操作系统中执行以下命令采集数据： iostat -x -t 1 1 其中： “avgqu-sz”为磁盘队列深度。 “r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 svctm的计算方法为： svctm = (tot_ticks_new
说明：对此规则或建议进行的解释。 示例：对此规则或建议从正、反两个方面给出。 适用范围 基于MRS-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.3.0版本。 父主题： Hudi应用开发规范
同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时，可以使用Decimal数据类型的数值，例如，在财务应用程序中，equality和inequality检查，以及取整运算，均可使用Decimal数据类型的数值。 参考信息 无。 父主题： CarbonData故障处理
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
