检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
park对不同精度的Decimal类型处理是不同的。 UPSERT操作时,Hudi使用Avro兼容的parquet文件写入类进行写入,这个和Spark的写入方式是不兼容的。 解决方案: 执行BULK_INSERT时指定设置“hoodie.datasource.write.row.writer
commits个Instant不会被归档,以此保证有足够的Instant去触发compation schedule。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
throws SQLException { statement.close(); connection.close(); } public static void main(String[] args) throws SQLException { try {
聚合功能。 然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。 开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。 父主题: Spark Core
Module”,然后单击“Next”。如果您需要新建Java语言的工程,选择对应参数即可。 图2 选择开发环境 在工程信息页面,填写工程名称和存放路径,设置JDK版本,并勾选“Config later”(待工程创建完毕后引入scala的编译库文件),然后单击“Finish”完成工程创建。
里填写登录用户不匹配。 使用客户端环境的时间与连接的集群时间差大于5分钟。 解决措施 检查代码下载最新的用户的认证凭据文件。 查看集群环境和客户端环境的时间是否相差在5分钟之内,若超过5分钟,请修改客户端环境时间。 父主题: Hive应用开发常见问题
Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表,如果CPU使用率较高;查看FE审计日志“/var/log/Bigdata/audit/doris/fe/fe
GC_OPTS”参数,将“-Xmx”的值根据实际情况调大,并单击“保存”,单击“确定”。 Oozie的GC参数配置建议: 建议“-Xms”和“-Xmx”设置成相同的值,这样可以避免JVM动态调整堆内存大小时影响性能。 重启受影响的服务或实例,观察界面告警是否清除。 是,处理完毕。
平滑次数为1,Hive数据仓库空间使用率小于或等于阈值时,告警恢复;平滑次数大于1,Hive数据仓库空间使用率小于或等于阈值的90%时,告警恢复。 MRS集群管理员可通过增加仓库容量或释放部分已使用空间的方式降低仓库空间使用率。 告警属性 告警ID 告警级别 是否自动清除 16001 次要 是 告警参数
解决步骤 检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafk
解决步骤 检查工程conf目录下“producer.properties”中配置的“bootstrap.servers”配置值中访问的IP和端口是否正确: 如果IP与Kafka集群部署的业务IP不一致,那么需要修改为当前集群正确的IP地址。 如果配置中的端口为21007(Kafk
0版本,开启Ranger后如何对接kudu外表? 通过impala-shell连接不上Impalad的21000端口 Impala集群查询数据的时候出现bad version和invalid TType错误 如何关闭MRS集群Impalad角色的cas认证 Impala查询parquet表的Schema和文件Schema不一致时报错
以执行。 如果需要修改clean默认的参数,需要在执行前以set方式设置好需要保留的commit数等参数。 系统响应 可在driver日志和客户端中查看命令运行成功或失败。 父主题: Hudi DML语法说明
同的。 定位思路 无。 处理步骤 当需要高精度的数据比较时,可以使用Decimal数据类型的数值,例如,在财务应用程序中,equality和inequality检查,以及取整运算,均可使用Decimal数据类型的数值。 参考信息 无。 父主题: CarbonData故障处理
说明:对此规则或建议进行的解释。 示例:对此规则或建议从正、反两个方面给出。 适用范围 基于MRS-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.3.0版本。 父主题: Hudi应用开发规范
Manager界面,选择“运维 > 日志 > 下载”。 在“服务”中勾选“Controller”和“NodeAgent”,在主机中勾选主备OMS节点及告警上报节点主机,单击“确定”。 单击右上角的编辑按钮设置日志收集的“开始时间”和“结束时间”分别为告警产生时间的前后10分钟,单击“下载”。 请联系运维人员,并发送已收集的故障日志信息。
Hive服务不可用”,“ALM-25500 KrbServer服务不可用”。 是,执行4。 否,执行5。 参考ALM-16004 Hive服务不可用和ALM-25500 KrbServer服务不可用告警帮助文档进行处理后,检查本告警是否清除。 是,操作结束。 否,执行5。 检查Impala进程是否正常。
Doris”,在左侧图表分类中单击“连接”,查看“FE的MySQL端口连接数”监控图表,如果连接数较大;选择“实例 > FE > 图表”,在左侧图表分类中单击“CPU和内存”,查看“FE的CPU使用率”监控图表,如果CPU使用率较高;查看FE审计日志“/var/log/Bigdata/audit/doris/fe/fe
环境变量”。将“KAFKA_HEAP_OPTS”参数的值参考如下说明调大。 图2 KAFKA_HEAP_OPTS参数 建议“KAFKA_HEAP_OPTS”参数中“-Xmx”和“-Xms”值保持一致。 建议根据2查看“Kafka堆内存使用率”,调整“KAFKA_HEAP_OPTS”的值为“Kafka使用的堆内存大小
Manager首页,选择“集群 > 服务 > Ranger > 实例”,选择上报告警实例主机名对应的角色,单击图表区域右上角的下拉菜单,选择“定制 > CPU和内存 > RangerAdmin堆内存使用率”,单击“确定”。 图1 RangerAdmin堆内存使用率 查看RangerAdmin使用的堆