检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
检测到您已登录华为云国际站账号，为了您更好的体验，建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark.executor.extraLibraryPath的值。 方案二： 在FusionInsight Mnanager中Spark2
Access Protocol，简称为LDAP），为Kerberos认证提供用户和用户组数据保存能力。 KrbServer及LdapServer结构 用户登录时安全认证功能主要依赖于Kerberos和LDAP。 图1 安全认证场景架构 图1可分为三类场景： 登录Manager WebUI
在操作系统中执行以下命令采集数据： iostat -x -t 1 1 其中： “avgqu-sz”为磁盘队列深度。 “r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 MRS 3.1.0版本： 在操作系统中执行iostat
配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark.executor.extraLibraryPath的值。 方案二： 在FusionInsight Mnanager中Spark2
配置项spark.driver.extraLibraryPath、spark.yarn.cluster.driver.extraLibraryPath和spark.executor.extraLibraryPath的值。 方案二： 在FusionInsight Mnanager中Spark2
keytab和krb5.conf文件拷贝到Spark客户端conf目录下，如：/opt/client/Spark/spark/conf；未开启Kerberos认证集群可不必拷贝user.keytab和krb5.conf文件。 运行Spark Core（Scala和Java）样例程序。
以下说明进行调大。 HMaster的GC参数配置建议 建议“-Xms”和“-Xmx”设置成相同的值，这样可以避免JVM动态调整堆内存大小时影响性能。 调整“-XX:NewSize”大小的时候，建议把其设置成和“-XX:MaxNewSize”相同，均为“-Xmx”大小的1/8。 当
集群ID。如果指定集群ID，则获取该集群做过补丁更新的最新版本元数据。获取方法，请参见获取集群ID。 约束限制： 不涉及 取值范围： 只能由英文字母、数字以及“_”和“-”组成，且长度为[1-64]个字符。 默认取值： 不涉及 表2 Query参数 参数 是否必选 参数类型 描述 node_group 否
worker.config.properties “retry-policy”设置为“TASK”时可配置该参数，不配置默认为5GB。节点会根据可用内存和估计的内存使用情况分配任务。 用于初始任务分配节点时的内存需求估计。值越大表明每个TASK预估使用的内存更大，但会导致集群并发能力变小，可根据实际业务情况动态调整。
driver.memory和spark.executor.memory，根据作业的需要调大或者调小该值，具体以提交的Spark作业的复杂度和内存需要为参考（一般调大）。 如果使用到SparkJDBC作业，搜索并修改SPARK_EXECUTOR_MEMORY和SPARK_DRIVER
MergeTree ClickHouse拥有非常庞大的表引擎体系，MergeTree作为家族系统最基础的表引擎，提供了数据分区、一级索引和二级索引等功能。在创建表的时候需要指定表引擎，不同的表引擎会决定一张数据表的最终“性格”，比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。
MergeTree ClickHouse拥有非常庞大的表引擎体系，MergeTree作为家族系统最基础的表引擎，提供了数据分区、一级索引和二级索引等功能。在创建表的时候需要指定表引擎，不同的表引擎会决定一张数据表的最终“性格”，比如数据表拥有何种特性、数据以何种形式被存储以及如何被加载。
在操作系统中执行以下命令采集数据： iostat -x -t 1 1 其中： “avgqu-sz”为磁盘队列深度。 “r/s”和“w/s”之和为“iops”。 “rkB/s”和“wkB/s”之和为带宽。 “%util”为“ioutil”。 svctm的计算方法为： svctm = (tot_ticks_new
说明：对此规则或建议进行的解释。 示例：对此规则或建议从正、反两个方面给出。 适用范围 基于MRS-Hudi进行数据存储、数据加工作业的设计、开发、测试和维护。 该设计开发规范是基于MRS 3.3.0版本。 父主题： Hudi应用开发规范
HBase会把数据存储在HDFS上，主要包括HFile文件和WAL文件，由配置项“hbase.rootdir”指定在HDFS上的路径，华为云MRS集群的默认存储位置是“/hbase”文件夹下。 HBase自带的一些机制和工具命令也可以实现数据搬迁，例如通过导出Snapshots快
2 -H --all /dev/sda ... 依次尝试不同磁盘类型和槽位信息的命令组合，如果执行结果中显示“SMART support is: Enabled”，表示磁盘支持smart，记录命令执行成功时磁盘类型和槽位信息组合参数；如果尝试完以上所有的命令组合，执行结果都未显示“SMART
主机名和IP地址（业务平面）映射。主机名和IP地址请保持一一对应。 配置HBase上层应用所在主机的时间与备集群的时间保持一致，时间差要小于5分钟。 检查主集群的认证模式。 如果为安全模式，执行8。 如果为普通模式，任务结束。 获取HBase上层应用用户的keytab文件和krb5
置主机名和IP地址（业务平面）映射。主机名和IP地址请保持一一对应。 配置HBase上层应用所在主机的时间与备集群的时间保持一致，时间差要小于5分钟。 检查主集群的认证模式。 若为安全模式，执行8。 若为普通模式，任务结束。 获取HBase上层应用用户的keytab文件和krb5
2分钟后，查看告警列表中，该告警是否已清除。 是，处理完毕。 否，执行5。 检查用户名、密码和转储目录是否正确。 查看转储配置页面中当前的第三方服务器用户名、密码和转储目录是否正确。 是，执行8。 否，执行6。 修改用户名、密码和转储目录，单击“确定”，重新下发一次配置。 2分钟后，查看告警列表中，该告警是否已清除。
件。 转储目录的磁盘空间不足。 处理步骤 检查用户名、密码和转储目录是否正确。 在MRS Manager查看转储配置页面中当前的第三方服务器用户名、密码和转储目录是否正确。 是，执行3 否，执行1.b。 修改用户名、密码和转储目录，单击“确定”，重新保存配置。 等待2分钟，查看告警列表中，该告警是否已清除。
长按/截图保存，微信识别二维码
或者关注公众号“华为云”
