检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
Flink SQL语法增强 本章节适用于MRS 3.3.0及以后版本。 FlinkSQL DISTRIBUTEBY FlinkSQL新增DISTRIBUTEBY特性，根据指定的字段进行分区，支持单字段及多字段，解决数据仅需要分区的场景。示例如下： SELECT /*+ DISTRIBUTEBY('id')
硬盘、未绑定的EIP等。 计费模式优化 不同类型的业务对资源使用周期有不同的要求，为每一类业务确定合适的计费模式，灵活组合以达到最优效果。 针对长期稳定的成熟业务，使用包年/包月计费模式。 针对不能中断的短期、突增或不可预测的业务，使用按需计费模式。
Impala用开发建议 Coordinator和Executor分离部署，Coordinator根据集群规模部署2-5个 Coordinator承担缓存元数据，解析SQL执行计划，和响应客户端请求的功能主要使用jvm内存，而Executor承担数据读写，算子计算等功能，主要使用o
则可以使用MapPartitions，按每个分区计算结果，如 rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
则可以使用MapPartitions，按每个分区计算结果，如 rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
properties中的group.id与命令中--group的参数均配置为待查询的group。 Kafka集群IP端口号安全模式下是21007，普通模式下是9092。 使用KafkaUI查看当前消费情况（MRS 3.1.2及之后版本） 进入KafkaUI界面。 使用具有Kafk
用的内存更大，但会导致集群并发能力变小，可根据实际业务情况动态调整。 添加完成后将“立即启动”置为“是”，单击“确定”。 启用TASK容错模式后，会产生中间数据并缓存到文件系统中，过大的查询并发会对文件系统产生较大的磁盘压力。当前HetuEngine默认支持将中间数据缓冲至HDF
产生该告警表示HBase服务的znode的容量使用率已经严重超过规定的阈值，会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢。 HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode容量配置和使用量
产生该告警表示HBase服务的znode的数量使用率已经严重超过规定的阈值，会导致HBase服务的写入请求失败。 可能原因 HBase配置了容灾并且容灾存在数据同步失败或者同步速度慢； HBase集群存在大量的WAL文件在进行split。 处理步骤 检查znode数量配置和使用量
出的路径。 通过以上过滤规则，拼凑到的字符串“*20160221.txt”，会作为文件过滤器的模糊匹配模式，在作业配置的输入路径下，所有符合“*20160221.txt”这个模式的文件都将被作业处理。 父主题： 客户端工具说明
出的路径。 通过以上过滤规则，拼凑到的字符串“*20160221.txt”，会作为文件过滤器的模糊匹配模式，在作业配置的输入路径下，所有符合“*20160221.txt”这个模式的文件都将被作业处理。 父主题： 客户端工具说明
COM" useTicketCache=false storeKey=true debug=true; }; 在Spark on YARN模式下，jaas.conf和user.keytab通过YARN分发到Spark on YARN的container目录下，因此KafkaCli
配置SparkSQL的分块个数 配置场景 SparkSQL在进行shuffle操作时默认的分块数为200。在数据量特别大的场景下，使用默认的分块数就会造成单个数据块过大。如果一个任务产生的单个shuffle数据块大于2G，该数据块在被fetch的时候还会报类似错误： Adjusted
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同
集群已启用Kerberos认证（安全模式）： kinit 组件业务用户 clickhouse client --host 上报告警的ClickHouseServer实例IP --port 9440 --secure 集群未启用Kerberos认证（普通模式）： clickhouse client
配置MRS集群告警屏蔽状态 配置MRS集群对接SNMP网管平台上报告警 配置MRS集群对接Syslog服务器上报告警 配置定时备份告警与审计信息 开启MRS集群维护模式停止上报告警 配置MRS集群告警事件消息通知 父主题： MRS集群运维
则可以使用MapPartitions，按每个分区计算结果，如： rdd.mapPartitions(records => conn.getDBConn;for(item <- records) write(item.toString); conn.close) 使用mapPartition
配置矢量化读取ORC数据 配置场景 ORC文件格式是一种Hadoop生态圈中的列式存储格式，它最初产生自Apache Hive，用于降低Hadoop数据存储空间和加速Hive查询速度。和Parquet文件格式类似，它并不是一个单纯的列式存储格式，仍然是首先根据行组分割整个表，在每
执行netstat -anp|grep pid | grep LISTEN查看RangerAdmin进程是否监测端口，安全模式集群监测21401端口，普通模式集群监测21400端口。 是，执行4。 否，重启RangerAdmin故障实例或Ranger服务，执行3。 重启服务期间服
Repartition时有部分Partition没数据 问题 在repartition操作时，分块数“spark.sql.shuffle.partitions”设置为4500，repartition用到的key列中有超过4000个的不同key值。期望不同key对应的数据能分到不同
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
