检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
访问Tez WebUI界面异常 问题 登录Manager界面,跳转Tez WebUI界面,显示404异常或503异常。 回答 Tez WebUI依赖Yarn的TimelineServer实例,需要预先安装TimelineServer,且处于良好状态。 父主题: Tez常见问题
采集数据时报错HoodieException 问题 数据采集时报错: com.uber.hoodie.exception.HoodieException: created_at(Part -created_at) field not found in record. Acceptable
IoTDB日志列表 日志类型 日志文件名 描述 运行日志 log-all.log IoTDB服务全部日志。 log-error.log IoTDB服务错误日志。 log-measure.log IoTDB服务监控日志。 log-query-debug.log IoTDB查询DEBUG日志。
Spark shuffle异常处理 问题 在部分场景Spark shuffle阶段会有如下异常 解决方法 JDBC应该: 登录FusionInsight Manager管理界面,修改JDBCServer的参数“spark.authenticate.enableSaslEncryp
SELECT查询表数据 本章节主要介绍ClickHouse查询表数据的SQL基本语法和使用说明。 基本语法 SELECT [DISTINCT] expr_list [FROM [database_name.]table | (subquery) | table_function]
DESC查询表结构 本章节主要介绍ClickHouse查询表结构的SQL基本语法和使用说明。 基本语法 DESC|DESCRIBE TABLE [database_name.]table [INTO OUTFILE filename] [FORMAT format] 使用示例 --查询表t1的表结构
UPDATE 命令功能 UPDATE命令根据列表达式和可选的过滤条件更新Hudi表。 命令格式 UPDATE tableIdentifier SET column = EXPRESSION(,column = EXPRESSION) [ WHERE boolExpression]
DELETE 命令功能 DELETE命令从Hudi表中删除记录。 命令格式 DELETE from tableIdentifier [ WHERE boolExpression] 参数描述 表1 DELETE参数 参数 描述 tableIdentifier 在其中执行删除操作的Hudi表的名称。
操作权限。 还需在源端集群和目标集群启用集群间复制功能。 需配置源端集群访问目标集群HDFS服务地址参数。 登录源端集群的FusionInsight Manager,选择“集群 > 服务 > Hive > 配置”,搜索“hdfs.site.customized.configs”,新增自定义参数“dfs
配置Hudi历史数据清理 本章节仅适用于MRS 3.3.0-LTS及之后版本 操作场景 随着时间的推移,Hudi表中的数据越来越多,表中的老数据价值逐渐变弱并且还会占用存储空间,对这些老数据Hudi需要支持删除操作以便节约存储成本。 delete/drop partition语句直接删除历史数据
Flink SQL语法增强 本章节适用于MRS 3.3.0及以后版本。 FlinkSQL DISTRIBUTEBY FlinkSQL新增DISTRIBUTEBY特性,根据指定的字段进行分区,支持单字段及多字段,解决数据仅需要分区的场景。示例如下: SELECT /*+ DISTRIBUTEBY('id')
MRS集群已安装CDL组件,并且正常运行。 CDL数据同步任务使用到Kafka组件。 操作步骤 登录FusionInsight Manager,选择“集群 > 服务 > Kafka > 配置 > 全部配置”。 在右上角搜索框中搜索如下表2参数,并修改对应的参数值。 表2 修改Kafka参数 参数 推荐值
balancer_ip_list ClickHouse服务Balancer实例IP地址列表,整体使用括号括起,单个IP使用双引号引起,IP之间使用空格分隔。 ("192.168.1.1" "192.168.1.2") balancer_tcp_port ClickHouse服务Balancer实例TCP端口。
使用可访问HetuEngine WebUI界面的管理员用户登录FusionInsight Manager,选择“集群 > 服务 > HetuEngine”,进入HetuEngine服务页面。 在概览页签下的“基本信息”区域单击“HSConsole WebUI”后的链接,进入HSConsole界面。
对系统的影响 更改DataNode角色的存储目录需要停止并重新启动HDFS服务,集群未完全启动前无法提供服务。 更改DataNode单个实例的存储目录需要停止并重新启动实例,该节点DataNode实例未启动前无法提供服务。 服务参数配置如果使用旧的存储目录,需要更新为新目录。 前提条件 在各
SparkResource2x日志 spark.log Spark2x服务初始化日志。 prestart.log prestart脚本日志。 cleanup.log 安装卸载实例时的清理日志。 spark-availability-check.log Spark2x服务健康检查日志。 spark-service-check
y_network”参数值导致BE启动时匹配了错误的IP地址。 处理步骤 登录FusionInsight Manager,选择“集群 > 服务 > Doris > 配置”。 搜索“priority_network”参数,并正确设置BE的该参数值,BE节点已绑定的网卡IP可通过“B
告警属性 告警ID 告警级别 是否可自动清除 50226 紧急 是 告警参数 参数名称 参数含义 来源 产生告警的集群或系统名称。 服务名 产生告警的服务名称。 角色名 产生告警的角色名称。 主机名 产生告警的主机名。 Trigger Condition 系统当前指标取值满足自定义的告警设置条件。
HBase输入 概述 “HBase输入”算子,将HBase表的指定列转换成同等数量的输入字段。 输入与输出 输入:HBase表列 输出:字段 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 HBase表类型 配置HBase表类型,可选项为normal(普通表)和phoenix表。
文件输出 概述 “文件输出”算子,用于配置已生成的字段通过分隔符连接并输出到文件。 输入与输出 输入:需要输出的字段 输出:文件 参数说明 表1 算子参数说明 参数 含义 类型 是否必填 默认值 输出分隔符 配置分隔符。 string 是 无 换行符 用户根据数据实际情况,填写字