检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
多副本场景下，运行在副本丢失损坏的BE节点的查询任务报错 现象描述 如果多个副本直接从磁盘上丢失了副本，比如mv改名，内核不会感知到该副本丢失，执行查询时如果请求运行在副本丢失的BE节点，报错： 处理步骤 登录安装了MySQL的节点，连接Doris数据库。 调用BE的check_tablet_segment_lost
请根据业务需要规划集群节点的磁盘，如果需要存储大量业务数据，请及时增加云硬盘数量或存储空间，以防止存储空间不足影响节点正常运行。 MRS集群扩容（包含存储能力和计算能力）可通过增加Core节点或者Task节点的方式实现。
约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 volumeType String 参数解释： 磁盘类型。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 subnetId String 参数解释： 子网ID。
Kafka性能调优 操作场景 通过调整Kafka服务端参数，可以提升特定业务场景下Kafka的处理能力。 参数调优 修改服务配置参数，请参考修改集群服务配置参数。调优参数请参考表1。 表1 调优参数 配置参数 缺省值 调优场景 num.recovery.threads.per.data.dir
创建HBase索引进行数据查询 操作场景 HBase是一个Key-Value类型的分布式存储数据库，HIndex为HBase提供了按照某些列的值进行索引的能力，缩小搜索范围并缩短时延。 使用约束 列族应以“;”分隔。 列和数据类型应包含在“[]”中。 列数据类型在列名称后使用“->
创建HBase索引进行数据查询 操作场景 HBase是一个Key-Value类型的分布式存储数据库，HIndex为HBase提供了按照某些列的值进行索引的能力，缩小搜索范围并缩短时延。 使用约束 列族应以“;”分隔。 列和数据类型应包含在“[]”中。 列数据类型在列名称后使用“->
Spark应用开发建议 RDD多次使用时，建议将RDD持久化 RDD在默认情况下的存储级别是StorageLevel.NONE，即既不存磁盘也不放在内存中，如果某个RDD需要多次使用，可以考虑将该RDD持久化，方法如下： 调用spark.RDD中的cache()、persist()
Hudi在upsert时占用了临时文件夹中大量空间 问题 Hudi在upsert时占用了临时文件夹中大量空间。 回答 当UPSERT大量输入数据时，如果数据量达到合并的最大内存时，Hudi将溢出部分输入数据到磁盘。 如果有足够的内存，请增加spark executor的内存和添加“
十进制函数和操作符 DECIMAL字面量 可以使用DECIMAL 'xxxxxxx.yyyyyyy' 语法来定义DECIMAL类型的字面量。 DECIMAL类型的字面量精度将等于字面量（包括尾随零和前导零）的位数。范围将等于小数部分（包括尾随零）的位数。 示例字面量 数据类型 DECIMAL
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时，不支持使用Hive类似的隐式类型转换来编写Impala SQL： Impala示例： select * from default.tbl_src where id = 10001; select
Impala开发建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时，不支持使用Hive类似的隐式类型转换来编写Impala SQL： Impala示例： select * from default.tbl_src where id = 10001; select
使用LZC压缩算法存储HDFS文件 配置场景 文件压缩可以减少储存文件的空间，并且提高数据从磁盘读取和网络传输的速度。HDFS有Gzip和Snappy这两种默认压缩格式。本章节为HDFS新增加的压缩格式LZC（Lempel-Ziv Compression）提供配置方法。这种压缩格式增强了
EditLog不连续导致NameNode启动失败 问题 在JournalNode节点有断电，数据目录磁盘占满，网络异常时，会导致JournalNode上的EditLog不连续。此时如果重启NameNode，很可能会失败。 现象 重启NameNode会失败。在NameNode运行日志中会报如下的错误
Core节点出现df显示的容量和du显示的容量不一致 问题现象 Core节点出现df显示的容量和du显示的容量不一致： 分别使用命令df -h 和命令du -sh /srv/BigData/hadoop/data1/查询得到的/srv/BigData/hadoop/data1/目录磁盘占用量相差较大
ALM-14010 NameService服务异常（2.x及以前版本） 告警解释 系统每180秒周期性检测NameService服务状态，当检测到NameService服务不可用时产生该告警。 NameService服务恢复时，告警清除。 告警属性 告警ID 告警级别 可自动清除
更新域 概述 “更新域”算子，当满足某些条件时，更新字段的值。 目前支持的类型有“BIGINT”、“DECIMAL”、“DOUBLE”、“FLOAT”、“INTEGER”、“SMALLINT”、“VARCHAR”。当类型为“VARCHAR”时，运算符为“+”时，表示在字符串后追加串
更新域 概述 “更新域”算子，当满足某些条件时，更新字段的值。 目前支持的类型有“BIGINT”、“DECIMAL”、“DOUBLE”、“FLOAT”、“INTEGER”、“SMALLINT”、“VARCHAR”。当类型为“VARCHAR”时，运算符为“+”时，表示在字符串后追加串
使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffle
使用Hash shuffle出现任务失败 问题 使用Hash shuffle运行1000000（map个数）*100000（reduce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffle
配置Yarn大作业扫描 Yarn大作业扫描功能主要用于监控Hive、HetuEngine、Spark等作业的本地临时文件（例如shuffle文件是否过大）、监控Hive、HetuEngine、Spark的关键HDFS目录（不支持OBS）是否过大。对于占用存储资源（本地磁盘或者关键HDFS
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
