检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置Spark Executor堆内存参数 配置场景 当分配的内存太小或者被更高优先级的进程抢占资源时,会出现物理内存超限的情况。调整如下参数,可以防止物理内存超限。 配置描述 参数入口: 在应用提交时通过“--conf”设置这些参数,或者在客户端的“spark-defaults
SDK”为“SDKs”中添加的JDK。 图6 修改“Module SDK” 单击“Apply”,单击“OK”。 配置Maven。 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。 修改完成后,在IntelliJ IDEA选择“File > Settings
配置Oozie MapReduce作业 功能描述 MapReduce任务节点,负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称
配置Oozie MapReduce作业 功能描述 MapReduce任务节点,负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义,请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称
Manager页面。 选择“集群 > 服务 > HDFS > 配置 > 全部配置”进入HDFS全部配置页面。 搜索并修改“dfs.namenode.file.close.num-committed-allowed”参数,配置项详细说明如下表。 参数 参数说明 dfs.namenode
配置ClickHouse SQL防御规则 配置ClickHouse SQL防御操作场景 用户可以在Manager界面配置ClickHouse的SQL防御规则,根据业务调整对应SQL防御规则的参数。 配置ClickHouse SQL防御前提条件 已安装包含ClickHouse服务的
配置Hive分区元数据冷热存储 分区元数据冷热存储介绍 为了减轻集群元数据库压力,将长时间未使用过的指定范围的分区相关元数据移动到备份表,这一过程称为分区数据冻结,冻结的分区数据称为冷分区,未冻结的分区称为热分区,存在冷分区的表称为冻结表。将被冻结的数据重新移回原元数据表中,这一过程称为分区数据解冻。
更换MRS集群证书 更换CA证书 更换HA证书 父主题: MRS集群安全配置
存储,也可以从冷存储到热存储。 图1 HBase冷热分离原理图 配置HBase冷热数据分离存储 通过在Manager界面修改HBase配置开启冷热分离特性,支持将冷数据存储在OBS,热数据存储在HDFS中。 参考配置Guardian服务对接OBS章节对接OBS。 登录FusionInsight
MRS集群服务对接OBS示例 配置Flink通过Guardian访问OBS 配置HDFS通过Guardian访问OBS 配置HetuEngine通过Guardian访问OBS 配置Hive通过Guardian访问OBS 配置Hudi通过Guardian访问OBS 配置Mapreduce通过Guardian访问OBS
BulkLoad工具配置文件说明 配置自定义的组合rowkey 使用BulkLoad工具批量导入HBase数据时,支持用户自定义组合rowkey。BulkLoad组合rowkey即通过一些规则将多个列名经过一些自定义处理,组合生成新的rowkey。 列的名称不能包含特殊字符,只能由字母、数字和下划线组成。
BulkLoad工具配置文件说明 该章节主要介绍使用BulkLoad工具的其他配置操作以获取需要查看的数据。 配置自定义的组合rowkey 使用BulkLoad工具批量导入HBase数据时,支持用户自定义组合rowkey。BulkLoad组合rowkey即通过一些规则将多个列名经
添加监听器”。 在“添加监听器”界面,根据界面提示完成具体配置,下列步骤中未提及的参数保持默认即可。 配置监听器。 “前端协议”选择“TCP”,“前端端口”填写相应的访问端口号,配置完成单击“下一步:配置后端分配策略”。 配置后端分配策略。 “分配策略类型”参数选择“加权轮询算法”
前提条件 已安装Alluxio服务的集群。 获取用户“admin”账号密码。“admin”密码在创建MRS集群时由用户指定。 配置HDFS作为Alluxio的底层文件系统 开启Kerberos认证的安全集群不支持该功能。 请参考修改集群服务配置参数,进入Alluxio的“全部配置”页面。
单击“计算实例”,查看待操作的租户的实例状态,当绿色图标和蓝色图标数量均为“0”时,可执行5配置开启物化视图改写能力。 在“计算实例”页签,在待操作的实例所属租户所在行的“操作”列单击“配置”,进入“配置实例”页签,添加如下自定义参数。 表1 自定义参数 名称 值 参数文件 materialized
以Hetu_user用户登录FusionInsight Manager页面。 选择“集群 > 服务 > HetuEngine > 配置 > 全部配置 > QAS(角色) > 物化视图推荐“,参考表1配置物化视图推荐参数,其他参数保持默认即可。 表1 物化视图推荐参数 参数名称 值 描述 qas.enable
HBase双读操作相关配置项说明 表1 hbase-dual.xml配置项 配置项名称 配置项详解 默认值 级别 hbase.dualclient.active.cluster.configuration.path 主集群HBase客户端配置目录 无 必选配置 hbase.dualclient
HBase双读操作相关配置项说明 表1 hbase-dual.xml配置项 配置项名称 配置项详解 默认值 级别 hbase.dualclient.active.cluster.configuration.path 主集群HBase客户端配置目录 无 必选配置 hbase.dualclient
HBase双读操作相关配置项说明 表1 hbase-dual.xml配置项 配置项名称 配置项详解 默认值 级别 hbase.dualclient.active.cluster.configuration.path 主集群HBase客户端配置目录 无 必选配置 hbase.dualclient
ALM-12062 OMS参数配置同集群规模不匹配 告警解释 系统每一个小时,整点检查一次OMS参数配置和集群规模是否匹配,如果检查OMS配置的参数不足以支撑当前的集群规模,系统将发送此告警。待用户修改OMS参数配置,该告警会自动清除。 告警属性 告警ID 告警级别 是否自动清除