检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
ssl开启时有效。 false 否 taskmanager.numberOfTaskSlots TaskManager占用的slot数,一般配置成物理机的核数,yarn-session模式下只能使用-s参数传递,yarn-cluster模式下只能使用-ys参数传递。 1 否 parallelism
安全认证的用户文件,可从已创建好的MRS集群中获取相关内容。 用于程序调测或运行的节点,需要与MRS集群内节点网络互通,同时配置hosts域名信息。 场景一:准备本地Windows开发环境调测程序所需配置文件。 登录FusionInsight Manager,选择“集群 > 概览
config. 方法三:(仅适用于MRS 3.3.1及之后版本) 登录FusionInsight Manager。 选择“集群 > 客户端管理”,在客户端管理界面查看是否存在待操作的客户端。 是,执行3。 否,单击“添加”,根据界面提示配置待添加客户端的相关信息,单击“确定”。然后执行3。
substr(string, start, length) → varchar 描述:从start位置开始截取字符串,截取的长度为length。 一般用于截取时间戳格式。 Select substr('2019-03-10 10:00:00',1,10); --截取到日 2019-03-10
/test,其中/clickhouse/tables/{shard}为固定值,default为数据库名,test为创建的表名。 副本名称,一般用{replica}即可。 CREATE TABLE default.test ON CLUSTER default_cluster_1 (
2.0及之后版本。 Phoenix开源CsvBulkLoad工具当前仅支持指定单个字符作为数据分隔符,当用户数据文件中可能包含任意字符时,一般会采用特殊的字符串作为分隔符,为了满足此类场景,增加了对用户自定义分隔符的支持,用户可以采用限定长度内的任意可见字符进行组合作为分隔符来导入数据文件。
补丁基本信息 补丁号 MRS_3.3.0-LTS.1.1 发布时间 2024-12-20 解决的问题 解决Manager问题: 修改Chrony的域名会导致Nodeagent无法启动。 集群扩容时,在同步组件配置时HDFS组件配置同步失败,导致启动HDFS服务失败。 Chrony时钟偏移
extraClassPath 附加至Executor classpath的额外的classpath。这主要是为了向后兼容Spark的历史版本。用户一般不用设置此选项。 - spark.executor.extraLibraryPath 设置启动executor JVM时所使用的特殊的library
extraClassPath 附加至Executor classpath的额外的classpath。这主要是为了向后兼容Spark的历史版本。用户一般不用设置此选项。 - spark.executor.extraLibraryPath 设置启动executor JVM时所使用的特殊的library
修改OMS密码 该操作会重启OMS各进程,影响集群的管理维护。 修改前确认操作的必要性,修改时确保同一时间无其它管理维护操作。 导入证书 该操作会重启OMS进程和整个集群,影响集群的管理维护和业务。 修改前确认操作的必要性,修改时确保同一时间无其它管理维护操作。 恢复OMS 该操作会重启Ma
clustering.plan.strategy.class和hoodie.clustering.execution.strategy.class。一般情况下指定plan.strategy为SparkRecentDaysClusteringPlanStrategy或者SparkSizeBa
同时处于启动中、创建中、删除中、停止中、扩容中、缩容中或滚动重启中等状态的计算实例个数默认最多为10个,超过10个的计算实例运维操作会在后台进入等待状态。若需要修改并发处理个数,可在Manager界面,选择“HetuEngine > 配置 > 全部配置”,搜索并调整参数“hsbroker
管理MRS租户资源 管理MRS租户资源目录 管理MRS租户资源池 清除MRS租户队列配置 重装Yarn服务后手动恢复MRS租户数据 删除MRS租户 Superior调度器模式下管理MRS全局用户策略 Capacity调度器模式下清除租户非关联队列 父主题: 管理MRS集群租户
管理MRS集群用户 创建MRS集群用户 修改MRS集群用户信息 锁定MRS集群用户 删除MRS集群用户 初始化MRS集群用户密码 下载MRS集群用户认证凭据文件 父主题: 管理MRS集群用户
管理MRS集群用户组 根据不同业务场景需要,管理员使用Manager创建并管理不同用户组。用户组通过绑定角色获取操作权限,用户加入用户组后,可获得用户组具有的操作权限。用户组同时可以达到对用户进行分类并统一管理多个用户。 MRS 3.x及之后版本,Manager最大支持5000个用户组(包括系统内置用户组)。
管理MRS集群作业 停止删除MRS集群作业 克隆MRS集群作业 配置MRS集群作业消息通知 父主题: 管理MRS集群
节点标签管理 标签是集群/节点的标识,为集群/节点添加标签,可以方便用户识别和管理拥有的集群/节点资源。MRS服务通过与标签管理服务(TMS)关联,可以让拥有大量云资源的用户,通过给云资源打标签,快速查找具有同一标签属性的云资源,进行统一检视、修改、删除等管理操作,方便用户对大数据集群及其他相关云资源的统一管理。
管理MRS集群SQL防御规则 SQL防御概述 添加MRS SQL防御规则 配置Hive SQL防御规则 配置ClickHouse SQL防御规则 配置HetuEngine SQL防御规则 配置Spark SQL防御规则 配置Doris SQL防御 父主题: 管理MRS集群
图1 Spark结构 表1 基本概念说明 模块 说明 Cluster Manager 集群管理器,管理集群中的资源。Spark支持多种集群管理器,Spark自带的Standalone集群管理器、Mesos或YARN,系统默认采用YARN模式。 Application Spark应用,由一个Driver
成本管理 随着上云企业越来越多,企业对用云成本问题也越发重视。使用MRS时,如何进行成本管理,减轻业务负担呢?本文将从成本构成、成本分配、成本分析和成本优化四个维度介绍成本管理,帮助您通过成本管理节约成本,在保障业务快速发展的同时获得最大成本收益。 成本构成 使用MRS集群时,成本主要包括两个方面: