检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
"obs://testhudi/cow_table/"是OBS路径,“testhudi”是OBS并行系统文件名称,请根据实际情况修改。 使用datasource查看表建立成功,数据正常。 val roViewDF = spark. read. format("org.apache.hudi"). load(basePath
重启实例”,重启MetaStore实例。 正在重启的MetaStore实例无法对外提供服务,该实例上正在执行的SQL任务可能失败。 等待MetaStore实例重启完成后,查看该告警是否恢复。 是,操作结束。 否,执行6。 收集故障信息。 在FusionInsight Manager首页,选择“运维 > 日志 >
处理步骤 检查Topic副本数配置。 在FusionInsight Manager首页,选择“运维 > 告警 > 告警”,单击此告警所在行的,查看定位信息中上报告警的“主题名”列表。 确认发生告警Topic是否需要增加副本。 是,执行3。 否,执行5。 在FusionInsight客
通过“CSV文件输入”算子,生成两个字段a_str和b_str。 源文件如下: 配置“Hive输出”算子,将a_str和b_str输出到Hive的表中。 执行成功后,查看表数据: 父主题: Loader输出类算子
的访问热度下降以及时间的老化,这些数据应该被迁移到价格低廉的存储介质上。 以详单查询场景作为典型的用例场景,进行说明:当最新详单数据刚刚被导入HDFS上时,会被上层业务人员频繁查询,所以为了提高查询性能,可以将这些详单数据最先导入到SSD磁盘中;但是随着时间的迁移,这些数据逐渐被
Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在表“资源使用(按二级Znode)”中,查看告警对应Znode是否被写入较多数据。 是,执行3。 否,执行4。 图1 资源使用(按二级Znode) 登录ZooKeeper客户端,删除告警对应Znode下的无用数据。
一览表。 在“拓扑调整”页面勾选服务部署的节点,部署方案可参考表2。 确认操作影响后,单击“确认”。服务添加完成后,在“组件管理”页面可以查看所添加的服务。 如果需要删除服务,可以在指定服务所在行,单击“删除”操作。 如果确认删除,在弹出的“删除服务”窗口中输入“DELETE ”,单击“确定”,删除该服务。
在“备份配置”指定需要备份的数据。 支持备份元数据和业务数据。 各组件不同数据的备份任务操作请参考备份恢复MRS集群数据。 单击“确定”保存。 在备份任务列表,可以查看刚创建的备份任务。 在指定的备份任务“操作”列,选择“更多 > 即时备份”,可以立即运行备份任务。 创建元数据备份任务(MRS 2.x及之前版本)
件或目录已存在或被清除,具体报错如下: 原因分析 根据HiveServer的审计日志,确认该任务的开始时间和结束时间。 在上述时间区间内,查找是否有对同一张表或分区进行插入数据的操作。 Hive不支持对同一张表或分区进行并发数据插入,这样会导致多个任务操作同一个数据临时目录,一个
Manager,选择“集群 > 待操作集群的名称 > 服务 > ZooKeeper”,单击“资源”,在表“资源使用(按二级Znode)”中,查看告警对应顶级Znode是否被写入较多数据。 是,执行3。 否,执行5。 登录FusionInsight Manager,选择“运维 > 告警
面。 如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错,需要确认是否在之前就有初始化失败或者其他报错的情况发生。
面。 如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错,需要确认是否在之前就有初始化失败或者其他报错的情况发生。
在FusionInsight Manager,选择“运维 > 告警 > 阈值设置 > 待操作集群的名称 > 主机 > 网络读信息 > 读包错误率”,查看该告警阈值是否合理(默认0.5%为合理值,用户可以根据自己的实际需求调节)。 是,执行4。 否,执行2。 根据实际服务的使用情况在“运维 >
“保存”,单击“确定”。 出现此告警时,说明当前Doris实例设置的堆内存无法满足当前数据传输所需的堆内存,建议打开实例监控界面,在页面上查看“Doris堆内存资源状况”监控图表,观察该监控图表中“Doris使用的堆内存大小”的变化趋势,根据当前堆内存使用的大小,调整“-Xmx”
开发Manager应用 Manager样例程序开发思路 Manager登录认证 添加Manager用户 查找Manager用户 修改Manager用户 删除Manager用户 导出Manager用户列表 父主题: Manager管理开发指南
submitTopology(args[0], conf, builder.createTopology()); } 部署运行及结果查看 导出本地jar包,请参见打包Storm样例工程应用。 将1中导出的本地Jar包,5中获取的配置文件和6中获取的jar包合并统一打出完整的
退服期间如果有写入数据操作,可能导致数据丢失,请谨慎操作。快速退服相关参数如下,可以在Manager界面的HDFS服务参数全部配置页面搜索查看: dfs.namenode.decommission.force.enabled:是否开启DataNode快速退服特性。设置为“true”表示开启。
'r1','f1:c1','myvalue1'。 get 获取行的值或者行的指定cell的值。例如get 'test','r1'。 scan 查询表数据,参数中需指定表名和scanner,例如scan 'test'。 父主题: 使用HBase
面。 如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错,需要确认是否在之前就有初始化失败或者其他报错的情况发生。
面。 如果是已经添加到任务里面,但是依旧没有取到,可能是因为配置文件的driver或者executor的classpath配置不正确,可以查看日志确认是否加载到环境。 另外可能报错是类初始化失败导致后面使用这个类的时候出现上述报错,需要确认是否在之前就有初始化失败或者其他报错的情况发生。