检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
配置MRS集群静态资源 当需要控制集群服务可以使用节点资源的情况,或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时,集群管理员可以在Manager调整资源基数,并自定义资源配置组。 配置MRS集群静态资源对系统的影响 配置静态服务池后,受影响的服务的配置状态将配置过期
配置Hive表、列或数据库的用户权限 操作场景 使用Hive表或者数据库时,如果用户访问别人创建的表或数据库,需要授予对应的权限。为了实现更严格权限控制,Hive也支持列级别的权限控制。如果要访问别人创建的表上某些列,需要授予列权限。以下介绍使用Manager角色管理功能在表授权、
sudo su - omm 在MRS管理控制台,查看指定集群“节点管理”页面的“IP”地址。 记录需使用客户端的Core节点IP地址。
MRS 3.x之前版本,操作如下: 在MRS控制台,选择“现有集群”,单击集群名称,在“节点管理”页签中查看节点名称,名称中包含“master1”的节点为Master1节点,名称中包含“master2”的节点为Master2节点。
集群内节点业务IP获取方式如下: 登录MapReduce服务管理控制台,选择“现有集群”,选中当前的集群并单击集群名,进入集群信息页面。在“节点管理”中查看安装客户端所在的节点IP。 keytab路径。
如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。
如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。
使用HDFS异步删除特性 操作场景 HDFS异步删除特性适用于存在删除大目录的场景,通过异步以及流量控制的方式删除block块的方式,能有效降低连续持有锁的时间。 该操作仅适用于MRS 3.5.0及之后版本。 操作步骤 请参考修改集群服务配置参数,进入HDFS的“全部配置”页面。
xx.xx.xxx.xxx,xx.xx.xxx.xxx jobmanager.web.allow-access-address: xx.xx.xxx.xxx,xx.xx.xxx.xxx,xx.xx.xxx.xxx 客户端安装节点的业务IP获取方法: 集群内节点: 登录MapReduce服务管理控制台
HMaster日志中频繁打印出FileNotFoundException信息 问题 当集群重启后会进行split WAL操作,在splitWAL期间,HMaster出现不能close log,日志中频繁打印出FileNotFoundException及no lease信息。 2017
HMaster日志中频繁打印出FileNotFoundException信息 问题 当集群重启后会进行split WAL操作,在splitWAL期间,HMaster出现不能close log,日志中频繁打印出FileNotFoundException及no lease信息。 2017
运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected to the target VM, address: '127.0.0.1:53321', transport: 'socket' 2021-04-21 21:02:16,914
Spark并发写Hudi建议 涉及到并发场景,推荐采用分区间并发写的方式:即不同的写入任务写不同的分区 分区并发参数控制: SQL方式: set hoodie.support.partition.lock=true; DataSource Api方式: df.write .format
ZooKeeper常用配置参数 参数入口: 请参考修改集群服务配置参数,进入ZooKeeper“全部配置”页面。在搜索框中输入参数名称。 表1 参数说明 配置参数 说明 默认值 skipACL 是否跳过ZooKeeper节点的权限检查。 no maxClientCnxns ZooKeeper
su - omm 登录MRS管理控制台页面,选择“现有集群”,在集群列表中单击指定的集群名称,然后单击补丁管理,进入补丁信息界面,确定当前安装的最新补丁版本号,执行脚本: sh /opt/Bigdata/patches/{补丁版本号}/generate_client_patch.sh
ZooKeeper常用配置参数 参数入口: 请参考修改集群服务配置参数,进入ZooKeeper“全部配置”页面。在搜索框中输入参数名称。 表1 参数说明 配置参数 说明 默认值 skipACL 是否跳过ZooKeeper节点的权限检查。 no maxClientCnxns ZooKeeper
运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected to the target VM, address: '127.0.0.1:53321', transport: 'socket' 2021-04-21 21:02:16,900
运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected to the target VM, address: '127.0.0.1:53321', transport: 'socket' 2021-04-21 21:02:16,900
运行clickhouse-examples的完整样例后,控制台显示部分运行结果如下: Connected to the target VM, address: '127.0.0.1:53321', transport: 'socket' 2021-04-21 21:02:16,900
如果本地网络无法直接连接客户端节点上传文件,可先将jar文件或者源数据上传至OBS文件系统中,然后通过MRS管理控制台集群内的“文件管理”页面导入HDFS中,再通过HDFS客户端使用hdfs dfs -get命令下载到客户端节点本地。