检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
本章节适用于MRS 3.x及后续版本。 操作步骤 设置参数的路径如下： 在FusionInsight Manager页面中，选择“集群 > 服务 > HDFS > 配置”，选择“全部配置”，并在搜索框中输入参数名称。 表1 配置参数 参数 描述 默认值 dfs.client.failover
DataNode的容量计算出错如何处理 问题 当多个data.dir被配置在一个磁盘分区内，DataNode的容量计算将会出错。 回答 目前容量计算是基于磁盘的，类似于Linux里面的df命令。理想状态下，用户不会在同一个磁盘内配置多个data.dir，否则所有的数据都将写入一个磁盘，在性能上会有很大的影响。
HDFS上更新了Oozie的share lib目录但没有生效 问题 在HDFS的“/user/oozie/share/lib”目录上传了新的jar包，但执行任务时仍然报找不到类的错误。 回答 在客户端执行如下命令刷新目录： oozie admin -oozie https://xxx
Join结果进行Union操作，以达到消除数据倾斜的效果。 配置参数 登录FusionInsight Manager系统，选择“集群 > 服务 > Spark2x > 配置”，单击“全部配置”，搜索以下参数。 参数 说明 默认值 spark.sql.adaptive.enabled
Quantile digest函数 概述 Quantile digest（分位数摘要）是存储近似百分位信息的数据草图。HetuEngine中用qdigest表示这种数据结构。 函数 merge(qdigest) → qdigest 描述：将所有输入的qdigest数据合并成一个qdigest。
Set Digest函数 概述 HetuEngine提供了几个处理MinHash技术的函数。 MinHash用于估计两个集合的Jaccard相似系数。它通常用于数据挖掘，用于大规模检测近乎相同的网页。通过使用这些信息，搜索引擎有效地避免了在搜索结果中显示两个几乎相同的网页。 以下示例展示了如何使用Set
Impala对接低版本kudu后，无法执行join 问题 Impala 4.3.0版本（MRS 3.3.1-LTS和MRS 3.5.0-LTS）对接低版本的kudu（MRS 3.0.5）后，无法执行join，报错如下： Unable to open scanner for node
FE的查询连接端口，可以通过登录Manager，单击“集群 > 服务 > Doris > 配置”，查询Doris服务的“query_port”参数获取。 Doris FE实例IP地址可通过登录MRS集群的Manager界面，单击“集群 > 服务 > Doris > 实例”，查看任一FE实例的IP地址。
ALTER MATERIALIZED VIEW STATUS 语法 ALTER MATERIALIZED VIEW qualifiedName SET STATUS <status> 描述 修改物化视图的状态，仅支持ENABLE和SUSPEND相互转换，以及将DISABLE状态修
doAs”为“false”时，如何配置Hive能插入数据到不存在的目录中。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“HiveServer（角色） > 自定义”，对参数文件“hive-site.xml”添加自定义参数，设置“名称”为“hive
mapreduce.per.task.max.splits”参数可用于从服务端限定Hive任务的最大map数，避免HiveSever服务过载而引发的性能问题。 操作步骤 登录FusionInsight Manager页面，选择“集群 > 服务 > Hive > 配置 > 全部配置”。 选择“MetaStore（角色）
则需要修改本应用配置目录中的对应文件，并注意需要将配置文件上传到executor端。 由于hdfs和hbase客户端访问服务端时，使用hostname配置服务端地址，因此，客户端的/etc/hosts需要保存有所有需要访问节点的hosts配置。用户可预先将对端集群节点的host添
扩容场景中，可以使用该工具将原节点上的部分数据迁移至新增节点上，从而达到扩容后的数据均衡。 前提条件 ClickHouse服务运行正常，Zookeeper服务运行正常，迁入、迁出节点的ClickHouseServer实例状态正常。 请确保迁入节点已有待迁移数据表，且确保该表是MergeTree系列引擎的分区表。
0之前版本：登录FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 数据同步状态”。 MRS 3.2.0及之后版本，登录FusionInsight Manager，选择“集群 > 服务 > ClickHouse > 逻辑集群”，单击逻辑集群名称。进
获取运行中Spark应用的Container日志 运行中Spark应用的Container日志分散在多个节点中，本章节用于说明如何快速获取Container日志。 场景说明 可以通过yarn logs命令获取运行在Yarn上的应用的日志，针对不同的场景，可以使用以下命令获取需要的日志：
网络连接超时导致FetchFailedException 问题 在380节点的大集群上，运行29T数据量的HiBench测试套中ScalaSort测试用例，使用以下关键配置（--executor-cores 4）出现如下异常： org.apache.spark.shuffle.F
FlinkSQL ClickHouse表开发建议 配置多个ClickHouseBalancer实例IP 配置多个ClickHouseBalancer实例IP可以避免ClickHouseBalancer实例单点故障。相关配置（with属性）如下： 'url' = 'jdbc:cli
Redis实例的端口计算方式为：22400+该实例的ID-1。 实例ID可以通过在FusionInsight Manager中选择“集群 > 服务 > Redis > Redis管理”，单击Redis集群名称查看。 例如Redis集群内角色R1对应的Redis实例的端口为22400+1-1=22400。
FlinkSQL Redis表开发建议 Sink表设置合适的批写参数 sink.batch.max-size：开启批写Redis并设置批写数量（正整数），单位：条。“-1”表示不开启批写Redis。 开启该功能可提升大数据场景下性能表现，但不适合对实时性要求过高的场景，建议批写数量不超过30000。
在“现有集群”列表中，单击指定的集群名称。 记录集群的“可用区”、“虚拟私有云”、“安全组”。 在管理控制台首页服务列表中选择“弹性云服务器”，进入ECS管理控制台，创建一个新的弹性云服务器。 弹性云服务器的“可用区”、“虚拟私有云”、“安全组”，需要和待访问集群的配置相同。 选择一个Window
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
