检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
客户端提交作业时通过with属性添加HBase配置信息 Flink客户端提交作业,如SQL client提交,在建表语句中添加如下配置: 表1 Flink作业with属性 配置 说明 'properties.hbase.rpc.protection' = 'authentication' 需和HBase服务端的配置一致。
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时,ZooKeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如
加入“hive”组,绑定角色“hive_hbase_create”和“hive_hbase_submit”,用于创建SparkSQL表和HBase表。 以客户端安装用户登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env
加入“hive”组,绑定角色“hive_hbase_create”和“hive_hbase_submit”,用于创建SparkSQL表和HBase表。 以客户端安装用户登录安装客户端的节点。 执行以下命令,配置环境变量。 source /opt/client/bigdata_env
ue”。 单击“保存”保存配置。单击“实例”,勾选所有HiveServer实例,选择“更多 > 重启实例”,输入当前用户密码后单击“确定”重启所有HiveServer实例。 以客户端安装用户登录安装了Hive客户端节点,执行如下命令: cd 客户端安装目录 source bigdata_env
Spark客户端和服务端权限参数配置说明 SparkSQL权限管理功能相关的配置如下所示,客户端与服务端的配置相同。要使用表权限功能,需要在服务端和客户端添加如下配置。 “spark-defaults.conf”配置文件 表1 参数说明(1) 参数 描述 默认值 spark.sql
配置ClickHouse对接OpenLDAP认证系统 ClickHouse支持和OpenLDAP进行对接,通过在ClickHouse上添加OpenLDAP服务器配置和创建用户,实现账号和权限的统一集中管理和权限控制等操作。此方案适合从OpenLDAP服务器中批量向ClickHouse中导入用户。
configs”中增加如上两个参数。 保存配置并重启Presto服务。 选择“组件管理 > Hive > 服务配置”。 将“基础配置”切换为“全部配置”。 搜索并配置如下参数。 “fs.obs.access.key”配置为获取AK/SK和Endpoint信息准备的AK。 “fs.obs
配置Flume角色的服务端参数,并将配置文件上传到集群。 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图4 选择配置工具 “Agent
改为当地时区。 解决步骤 登录FusionInsight Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”。 在左侧搜索框搜索“clickhouse-config-customize”,添加参数名:timezone,值:Asia/Shanghai,如下图所示:
配置AM自动调整分配内存 配置场景 启动该配置的过程中,ApplicationMaster在创建container时,分配的内存会根据任务总数的浮动自动调整,资源利用更加灵活,提高了客户端应用运行的容错性。 配置描述 参数入口: 在Manager系统中,选择“集群 > 待操作集群的名称
配置HBase主备集群数据自动备份 前提条件 主备集群已经安装并且启动。 主备集群上的时间必须一致,而且主备集群上的NTP服务必须使用同一个时间源。 当主集群HBase服务关闭时,Zookeeper和HDFS服务应该启动并运行。 该工具应该由启动HBase进程的系统用户运行。 如
执行如下命令获得认证。 kinit 组件业务用户 配置认证: 可以通过以下3种方式的任意一种指定安全认证信息。 在客户端的“spark-defaults.conf”配置文件中,配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。
端执行如下命令获得认证。 kinit组件业务用户 配置认证: 可以通过以下3种方式的任意一种指定安全认证信息。 在客户端的“spark-defaults.conf”配置文件中,配置“spark.kerberos.keytab”和“spark.kerberos.principal”参数指定认证信息。
配置Flume角色的服务端参数,并将配置文件上传到集群。 使用FusionInsight Manager界面中的Flume配置工具来配置服务端参数并生成配置文件。 登录FusionInsight Manager,选择“集群 > 服务 > Flume > 配置工具”。 图4 选择配置工具 “Agent
配置Doris SQL防御 操作场景 用户可以在Manager界面配置Doris的SQL防御规则,根据业务调整对应SQL防御规则的参数。 该功能仅MRS 3.5.0及之后版本支持。 前提条件 待连接Doris数据库的节点与MRS集群网络互通。 FE和BE实例状态正常。 已安装MySQL客户端。
已创建ClickHouse集群,并且ClickHouse集群和Kafka集群网络可以互通,并安装ClickHouse客户端。 操作步骤 登录ClickHouse服务所在集群的Manager页面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置 > ClickHouseServer(角色)
系统当前指标取值满足自定义的告警设置条件。 对系统的影响 后台Background线程数过多,导致新提交的任务无法及时运行。 可能原因 Hive后台的background线程池使用率过大。 HiveServer后台的background线程池执行的任务过多。 HiveServer后台的background线程池的容量过小。
修改请求。IP白名单通过配置项“hbase.replication.allowedIPs”配置。 在FusionInsight Manager系统中,选择“集群 > 服务 > HBase > 配置”,在搜索框中输入表1中的参数名称。 表1 参数说明 配置参数 说明 hbase.replication
号的keytab文件和krb5文件。 用户可登录FusionInsight Manager,选择“系统 > 权限 > 域和互信”,查看“本端域”参数,即为当前系统域名。 “zookeeper/hadoop.<系统域名>”为用户名,用户的用户名所包含的系统域名所有字母为小写。例如“