检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
全部数据从输入路径导入到目标路径时,先保存在临时目录,然后再从临时目录复制转移至目标路径,任务完成时删除临时路径的文件。转移临时文件存在同名文件时有以下行为: “OVERRIDE”:直接覆盖旧文件。 “RENAME”:重命名新文件。
如果这些文件产生在该告警的监控范围内,那么系统会上报该告警,告警原因可以看到是由于产生的临时文件权限异常导致,可以参照上述告警处理流程处理该告警,或者确认权限异常文件为临时文件后,可以直接删除。sed命令产生的临时文件类似于下图。 收集故障信息。
在Kafka Topic中接入消息 操作场景 用户可以根据业务需求,通过Kafka客户端或KafkaUI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。
在Kafka Topic中接入消息 操作场景 用户可以根据业务需求,通过Kafka客户端或KafkaUI查看当前消费情况。 本章节内容适用于MRS 3.x及后续版本。
MRS中Kafka服务端默认可以接收的消息最大为1000012 bytes =977 KB。 解决办法 与用户确认,当前Flume发送数据确实存在超过1M的消息。因此,为了确保当前这些消息能够写入Kafka,需要调整Kafka服务端相关参数。
数据写入 写入更新数据时报错 Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间 Hudi
Hudi常见问题 写入更新数据时报错Parquet/Avro schema 写入更新数据时报错UnsupportedOperationException 写入更新数据时报错SchemaCompatabilityException Hudi在upsert时占用了临时文件夹中大量空间
*'删除临时快照。 父主题: HBase故障排除
*'删除临时快照。 父主题: HBase故障排除
数据将写入临时文件。检查点完成后,检查点生成的临时文件将被压缩。压缩前临时文件不可见。 compaction.file-size none MemorySize 压缩目标文件大小,默认值为滚动文件大小。 分区文件的提交。 文件写入分区后,通常需要通知下游应用程序。
先把数据写到临时表,一次只写入一个分区的数据,检查临时表的数据准确无误。
“CSV文件输入”步骤中,“验证输入字段”检验输入字段与值的类型匹配情况,检查不匹配时跳过该行,当前行成为脏数据。 “固定宽度文件输入”步骤中,“固定长度”指定字段分割长度,长度大于原字段值的长度则数据分割失败,当前行成为脏数据。
临时函数:添加“Temporary UDF Admin”权限。 Hive使用Manager角色鉴权,需创建具有Hive管理员权限的用户才能执行永久函数和临时函数。
该命令可以清理这些临时文件: call clean_data(table => 'mytable', sql=>'delete cleanData') 系统响应 可在客户端中查看查询结果。
临时函数:添加“Temporary UDF Admin”权限。 Hive使用Manager角色鉴权,需创建具有Hive管理员权限的用户才能执行永久函数和临时函数。
管理消息 进入Kafka服务页面: 登录FusionInsight Manager,然后选择“集群 > 服务 > Kafka”。 单击“实例”,查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。
全部数据从输入路径导入到目标路径时,先保存在临时目录,然后再从临时目录复制转移至目标路径,任务完成时删除临时路径的文件。转移临时文件存在同名文件时有以下行为: “OVERRIDE”:直接覆盖旧文件。 “RENAME”:重命名新文件。
表7 使用索引缓存服务器时是否开启数据预加载 参数 carbon.indexserver.enable.prepriming 所属配置文件 carbon.properties 适用于 数据加载 场景描述 使用索引缓存服务器过程中开启数据预加载可以提升首次查询的性能。
告警属性 告警ID 告警级别 是否可自动清除 38018 重要(用户手动配置) 紧急(用户手动配置) 是 告警参数 类别 参数名称 参数含义 定位信息 服务名 产生告警的集群内服务名称。 消费者组 产生告警的Kafka消费者组名称。
MRS 3.x及后续版本,登录FusionInsight Manager,然后选择“集群 > 待操作的集群名称 > 服务 > Kafka”。 单击“实例”,查看Kafka Broker角色实例的IP地址。 记录Kafka角色实例其中任意一个的IP地址即可。