检测到您已登录华为云国际站账号,为了您更好的体验,建议您访问国际站服务网站 https://www.huaweicloud.com/intl/zh-cn
不再显示此消息
tableName=testtb batchRows=10000 batchNum=10 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录Manager,选择“集群 > 服务 > ClickHouse
false:不支持机机用户认证的功能。 该参数配置请通过以下操作确认: 登录Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,在“ClickHouseServer(角色)”下选择“安全”,查看“SUPPORT_MACHINE_USER”参数配置。 说明: 该参数仅适用于MRS
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。 配置描述 登录Manager,选择“集群 > 服务
优化元数据预先缓存的能力: 登录FusionInsight Manager界面,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,修改以下参数。 参数 值 参数说明 merge_tree_metadata_cache.continue_if_corrupted
tableName=testtb batchRows=10000 batchNum=10 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录Manager,选择“集群 > 服务 > ClickHouse
该参数配置请通过以下操作确认: 登录FusionInsight Manager,选择“集群 > 服务 > ClickHouse > 配置 > 全部配置”,在“ClickHouseServer(角色)”下选择“安全”,查看“SUPPORT_MACHINE_USER”参数配置。 说明:
配置ClickHouse副本间数据强一致 本章节适用于MRS 3.3.0-LTS及之后版本。 操作场景 ClickHouse支持多副本能力,进行本地表写入的时候,当前节点的数据会立即更新成功,但其他副本之间的数据同步是异步的。 本章节主要介绍如何配置ClickHouse保证副本间数据强一致。
MRS集群服务对接OBS示例 配置Flink通过IAM委托访问OBS 配置Flume通过IAM委托访问OBS 配置HDFS通过IAM委托访问OBS 配置Hive通过IAM委托访问OBS 配置Hudi通过IAM委托访问OBS 配置MapReduce通过IAM委托访问OBS 配置Presto通过IAM委托访问OBS
配置Spark多租户模式 配置场景 多租户模式是将JDBCServer和租户绑定,每一个租户对应一个或多个JDBCServer,一个JDBCServer只给一个租户提供服务。不同的租户可以配置不同的Yarn队列,从而达到资源隔离。 Yarn资源不足情况下,不建议开启多租户模式。 配置描述
配置MRS集群通过IAM委托对接OBS 配置MRS集群通过IAM委托对接OBS 配置MRS集群组件回收站目录清理策略 MRS集群服务对接OBS示例 配置MRS集群用户的OBS的细粒度访问权限 父主题: 配置MRS集群存算分离
默认情况下,系统会将container日志收集到HDFS中。如果您不需要将container日志收集到HDFS中,可以配置参数见表3。具体配置操作请参考修改集群服务配置参数。 表3 参数说明 配置参数 说明 默认值 yarn.log-aggregation-enable 设置是否将container日志收集到HDFS中。
本章节配置新用户的回收站目录清理策略。 针对HBase配置存算分离的场景,在MRS 3.1.2及后续版本中,需参考本章节配置组件数据回收站清理策略。 需为MRS集群预置用户所涉及的回收站目录和其他新增的有防误删需求的用户的回收站目录配置生命周期策略。若委托权限较小或参考配置MRS
当前系统只支持部署在x86节点的ClickHouse集群对接HDFS,部署在ARM节点的ClickHouse集群不支持对接HDFS。 操作步骤 以客户端安装用户,登录客户端所在节点。 执行以下命令切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source
如果为非root用户,请参考创建并配置RDS实例操作。 单击“确定”完成创建。 配置Ranger数据连接 登录MRS控制台。 单击集群名称进入集群详情页面。 单击“数据连接”右侧的“单击管理”,进入数据连接配置界面。 单击“配置数据连接”,并配置相关参数: 组件名称:Ranger
Hudi自定义配置项样例程序 HoodieDeltaStreamer 自定义排序器 父主题: 开发Spark应用
导入并配置ClickHouse springboot样例工程 操作场景 为了运行MRS产品ClickHouse组件的SpringBoot接口样例代码,需要完成下面的操作。 本章节以在Windows环境下开发SpringBoot方式连接ClickHouse服务的应用程序为例。 该章节内容适用于MRS
(`int_id`, `float`) VALUES (1,2); 登录ClickHouse客户端安装节点。执行以下命令,切换到客户端安装目录。 cd /opt/client 执行以下命令配置环境变量。 source bigdata_env 如果当前集群已启用Kerberos认证,执行
efaults.conf配置文件中,在spark.driver.extraJavaOptions和spark.executor.extraJavaOptions配置项中添加参数:"-verbose:gc -XX:+PrintGCDetails -XX:+PrintGCTimeStamps"
2 │ │ 3 │ 4 │ └─────┴──── ┘ 配置ClickHouse开启mysql_port配置 本操作指导用户配置ClickHouse的端口配置,以使用MySQL客户端连接ClickHouse。 本操作仅适用于MRS 3.1.2版本。
tableName=testtb batchRows=10000 batchNum=10 表1 配置说明表 配置名称 默认值 含义 loadBalancerIPList - 必填参数,配置为LoadBalance的IP列表。 登录FusionInsight Manager,选择“集群