检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
如何处理HetuEngine数据源丢失问题 问题 登录客户端查看HSConsole界面对接的数据源,数据源丢失。 回答 数据源丢失可能原因是DBservice主备倒换或数据库连接数使用率超过阈值造成。 用户可以登录FusionInsight Manager页面查看告警信息。 根据
在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。 观察数据传输是否生效,例如在PgSQL数据库中对表进行插入数据操作,然后参考查看Kafka数据生产消费详情进入KafkaUI界面查看Kafka的Topic中是否有数据生成。 父主题: 创建CDL作业
新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“clickhouse”和“hudi”连接,相关数据连接参数介绍请参见创建CDL数据库连接。 表1 ClickHouse数据连接配置参数 参数名称 示例 Link Type clickhouse Name cklink Host
如果运行任务的BE节点故障,需查看具体的故障原因再进行解决。 如果RPC源端有大量未发送的数据超过了阈值,可设置如下参数: brpc_socket_max_unwritten_bytes:用于设置未发送的数据量的阈值,默认为1GB。如果未发送数据量超过该值,则会报OVERCROWDED错,可适当调大该值。 ta
是否可以手动调整DataNode数据存储目录 问题 数据块在DataNode上的存储目录由“dfs.datanode.data.dir”配置项指定,是否可以修改该配置项来修改数据存储目录? 是否可以手动拷贝数据存储目录下的文件? 回答 “dfs.datanode.data.dir”配置项用于指定数据块在D
Base备份功能的数据增量同步到备集群中。数据同步完成后,备集群可以作为主集群使用。 参数配置 参数 描述 默认值 hbase.replication.bulkload.enabled 是否开启批量加载数据复制功能。参数值类型为Boolean。开启批量加载数据复制功能后该参数须在主集群中设置为“true”。
体界面显示以实际为准。 元数据 选择“外置数据连接”,并配置以下参数: LakeFormation元数据:单击按钮开启。 LakeFormation连接实例:选择创建LakeFormation数据连接已创建的LakeFormation数据连接名称。 数据连接类型:保持默认。 例如
ALM-27004 DBService主备数据不同步 告警解释 DBService主备数据不同步,每10秒检查一次主备数据同步状态,如果连续6次查不到同步状态,或者同步状态不正常,产生告警。 当同步状态正常,告警恢复。 告警属性 告警ID 告警级别 是否自动清除 27004 紧急
ALM-12035 恢复任务失败后数据状态未知 告警解释 执行恢复任务失败后,系统按60分钟周期自动回滚,如果回滚失败,可能会导致数据丢失等问题,如果该情况出现,则上报告警,如果下一次该任务恢复成功,则恢复告警。 告警属性 告警ID 告警级别 是否自动清除 12035 紧急 是 告警参数
对系统的影响 如果将DataNode数据目录挂载在根目录等系统关键目录,长时间运行后会将根目录写满,导致系统故障。 不合理的DataNode数据目录配置,会造成HDFS的性能下降。 可能原因 DataNode数据目录创建失败。 DataNode数据目录与系统关键目录(“/”或“/boot”)使用同一磁盘。
ALM-50221 BE数据盘的使用率超过阈值 告警解释 系统每30秒周期性检查BE数据盘的使用率,当检查到该值超出阈值(默认值为95%)时产生该告警。 当系统检测到BE数据盘的使用率低于阈值时,告警清除。 告警属性 告警ID 告警级别 是否可自动清除 50221 紧急 是 告警参数
Storm开发指南 Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Storm应用 Storm应用开发常见问题
Kafka开发指南 Kafka应用开发概述 准备Kafka应用开发环境 开发Kafka应用 调测Kafka应用 Kafka应用开发常见问题
产生告警的主机名。 对系统的影响 OMS数据库主备不同步会导致主数据库上的数据无法正常同步至备数据库,在告警上报时间段若主实例异常可能会导致用户业务数据丢失或者Manager页面数据显示异常。 可能原因 主备节点网络不稳定。 备OMS数据库异常。 备节点磁盘空间满。 处理步骤 检查主备节点网络是否正常。
Storm开发指南(普通模式) Storm应用开发概述 准备Storm应用开发环境 开发Storm应用 调测Strom应用 Storm应用开发常见问题
Impala开发指南(安全模式) Impala应用开发概述 准备Impala应用开发环境 开发Impala应用 调测Impala应用 Impala应用开发常见问题 Impala开发规范
Impala开发指南(普通模式) Impala应用开发概述 准备Impala应用开发环境 开发Impala应用 调测Impala应用 Impala应用开发常见问题 Impala开发规范
ClickHouse开发指南(普通模式) ClickHouse应用开发简介 ClickHouse应用开发流程介绍 准备ClickHouse应用开发环境 开发ClickHouse应用 调测ClickHouse应用
当分配的内存太小或者被更高优先级的进程抢占资源时,会出现物理内存超限的情况。调整如下参数,可以防止物理内存超限。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults.conf”配置文件中调整如下参数。 表1 参数说明 参数
ApplicationClientProtocol 用于Client与ResourceManager之间。Client通过该协议可实现将应用程序提交到ResourceManager上,查询应用程序的运行状态或者中止应用程序等功能。 表1 ApplicationClientProtocol常用方法 方法 说明 forc