检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置AM自动调整分配内存 本章节适用于MRS 3.x及后续版本集群。 配置场景 启动该配置的过程中,ApplicationMaster在创建Container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 参考修
开启“SNMP服务”开关。 MRS 3.x之前版本 登录MRS Manager,单击“系统设置”。 在“配置”区域“监控和告警配置”下,开启“SNMP配置”开关。 根据表1所示的说明填写对接参数。 表1 对接参数 参数 示例 参数说明 版本 V3 SNMP协议版本号,取值范围: V2C:低版本,安全性较低。
概览”页签,单击“IAM用户同步”右侧的“同步”进行IAM用户同步)。 选择“HBase > 服务配置”,将“基础配置”切换为“全部配置”,进入HBase配置界面修改参数配置。 表1 HBase参数说明 参数 参数说明 参数值 hbase.regionserver.hfile.durable
通过该参数限制。 100 MRS 3.x及后续版本集群执行以下操作: 用户可在Manager系统中,选择“租户资源 > 动态资源计划 > 队列配置”。 参数说明以修改Superior调度器的default租户为例,其他队列的配置类似,单击“修改”编辑。 表2 队列配置参数 参数名
ZooKeeper常用配置参数 参数入口: 请参考修改集群服务配置参数,进入ZooKeeper“全部配置”页面。在搜索框中输入参数名称。 表1 参数说明 配置参数 说明 默认值 skipACL 是否跳过ZooKeeper节点的权限检查。 no maxClientCnxns Zoo
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。 配置描述 登录Manager,选择“集群 > 服务
配置Doris SQL防御 操作场景 用户可以在Manager界面配置Doris的SQL防御规则,根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。
Manager。 单击“服务管理 > HBase > 服务配置”,“参数类别”类型选择“全部配置”,然后在左边窗口选择“HMaster > 系统”。 在“hbase.coprocessor.master.classes”配置项中增加值“org.apache.hadoop.hbase
tuEngine用户配置操作数据源的数据库、表、列的管理权限。 前提条件 已安装Ranger服务且服务运行正常。 已创建用户需要配置权限的用户、用户组或角色。 用户已加入hetuuser组。 在使用HetuEngine前,请确保客户端操作用户/连接数据源的配置文件中的用户是具备预
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。 Yarn资源不足情况下,不建议开启多租户模式。 配置描述
业务量大导致连接HiveServer单个节点最大连接数超过了200,需要调大连接HiveServer实例的最大连接数。 解决办法 进入Hive服务配置页面: MRS 3.x之前版本,单击集群名称,登录集群详情页面,选择“组件管理 > Hive > 服务配置”,单击“基础配置”下拉菜单,选择“全部配置”。 如果集群
删除。 若“数据连接”页面没有关联连接,单击“配置数据连接”进行增加。 一种模块类型只能配置一个数据连接,如在Hive元数据上配置了数据连接后,不能再配置其他的数据连接。当没有可用的模块类型时,“配置数据连接”按钮不可用。 表2 配置Hive数据连接 参数 说明 组件名称 Hive
使用“Ctrl + C”退出spark beeline。 集群安装后使用spark sql 使用安装客户端用户登录客户端安装节点。 配置环境变量。 source 客户端安装目录/bigdata_env 修改配置文件: vim 客户端安装目录/Spark2x/spark/conf/hdfs-site
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时,句柄数限制导出,出现如下错误: IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员增加各用
设置HBase和HDFS的句柄数限制 操作场景 当打开一个HDFS文件时,句柄数限制导出,出现如下错误: IOException (Too many open files) 此时可以参考该章节设置HBase和HDFS的句柄数。 设置HBase和HDFS的句柄数限制 联系集群管理员增加各用
A集群和B集群(对端集群、互信集群)是不同类型集群,请执行如下步骤分别更新对端集群的配置文件到本端集群和本端集群自身的配置文件。 将A集群的客户端配置文件更新到B集群上。 将B集群的客户端配置文件更新到A集群上。 更新A集群的客户端配置文件。 更新B集群的客户端配置文件。 登录MRS Manager(A集群)。 单
> 创建配置”,参考如下配置计算实例。 配置“基本配置”,参数配置请参考表1。 表1 基本配置说明 参数 描述 取值样例 所属租户 实例所属租户,新建计算实例只能选择无计算实例的租户。 在“所属租户”下拉列表中选取。 实例部署超时时间(秒) 通过Yarn Service部署启动计算
面。 选择“数据源”,单击“添加数据源”。在“添加数据源”页面填写参数。 配置“基本配置”,填写数据源名称,选择数据源类型“HBase”。 配置“HBase配置”,参数配置请参考表1。 表1 HBase配置 参数 描述 取值样例 驱动 默认为“hbase-connector”。 hbase-connector
warehouse.dir配置 保存并重启Hive服务。 (可选)安装客户端,具体请参考安装MRS集群客户端。如果集群已安装客户端请执行4。 更新客户端配置文件。 执行以下命令修改客户端Hive配置文件目录下的“hivemetastore-site.xml”。 vim 客户端安装目录/Hive
HBase ACL安全配置 功能简介 访问权限控制,在关系型数据库中是一个已经很成熟的技术,HBase实现了一个较为简单的特性。这些特性归纳为读(R)、写(W)、创建(C)、执行(X)和管理(A)等。在普通模式下,该功能只有在开启HBase权限管理时才支持。 ACL的方法定义在工具类org